Геотехнические данные в открытых форматах обмена

Всемирная паутина произвела революцию в сфере доступа к данным во всех аспектах нашей повседневной жизни. Теперь мы можем быстро находить информацию, не выходя из дома или рабочего стола.

Тем не менее, что касается использования геоинженерных данных из Интернет для профессиональной деятельности, необходимо, чтобы данные, хранящиеся в общем доступе имели структурированную и стандартизированную форму. Это позволит использовать всемирную паутину как международное хранилище для геотехнической информации доступной для всего общества.
В настоящее время находятся в стадии разработки несколько видов форматов хранения геоинженерных данных, позволяющих представлять данные, например, записи о скважинах, данные полевых испытаний и склонов.

Формат AGS

Формат AGS является цифровым форматом обмена данными для геотехнических сообществ, состоящее из словаря данных, правил и файлового формата. Ассоциацией геотехников и геоэкологов (Association of Geotechnical and Geoenvironmental Specialists, AGS) создана рабочая группа в 1991 году с целью снизить быстрое разрастание количества различных форматов данных и основать единый формат для передачи данных между различными информационными системами. Формат AGS доработан и расширен в соответствии с отраслевыми требованиями. AGS3.1 (декабрь 2004) дополнительно включает в себя возможность хранения данных процессов мониторинга и измерительных приборов. В дальнейшем в формат AGS разработчики предполагают включать новые методы вычислений и управления данными. Промышленное использование формата предполагает экономию времени и ресурсов.

Предпосылки возникновения формата AGS

В Великобритании в конце 1980-х годов с началом использования компьютеров и, в частности, электронных таблиц, в геотехнической инженерии возникла потребность собираемые при исследовании подрядчиками данные передавать проектировщикам в электронном виде. Тем не менее, у каждого, кто использовал эти данные свои собственные представления о том, как они должны быть оформлены, а каждый производитель и потребитель данных используют свои собственные программы для работы с этими данными. В результате получился хаос и это было признано Ассоциацией геотехников и геоэкологов (AGS) в 1991 году, что привело к созданию рабочей группы по созданию общего формата обмена, что позволило производить передачу данных между различными программными системами с минимальными изменениями для их самих.Таким образом, родился документ озаглавленный как «Электронная передача геотехнических и геоэкологических данных» (Electronic Transfer of Geotechnical and Geoenvironmental Data) и который стал известен как формат AGS. Первая версия AGS.1 была опубликована в 1992 году. Об этом впервые было доложено в работе Threadgold и Hutchinson (1992) на конференции в Париже.

Формат был успешно внедрен в геотехническую и геоэкологическую промышленности, т.к. данные, описываемые форматом удовлетворяют большинству исследований, проведенных в Великобритании, и точно соответствует требованиям наиболее крупных клиентов и организаций. Он используется при исследовании грунтов подрядными организациями и испытательными лабораториями, инженерами-консультами, специалистами по забивке свай, клиентов и тех, кто хранит данные в архивах, как, например, Британская геологическая служба передачи данных наземных исследований.

Поколение форматов на базе XML

XML предоставляет простой и очень гибкий способ представления данных, позволяющий непрерывно развивать стандарты данных для удовлетворения потребностей геоинженеров. XML является более обобщенной формой языка разметки HTML (англ. Hyper-Text Markup Language — язык гипертекстовой разметки), который до этого оставался основным языком, используемый во всемирной паутине. XML позволяет разметить тегами простые текстовые файлы для придания смысла его содержимому. Например, данные могут быть помечены тегом <borehole> ... </borehole> для обозначения того, что все данные между этими тегами относятся к информации о скважинне. Эти теги могут распознаваться любым XML-совместимым веб-браузером.
XML в настоящее время широко применяется веб-разработчиками для создания веб-материалов.

Концепция создания геотехнической версии XML была впервые предложена Мете Онером (Mete Oner) и World Wide Web of Geotechnical Engineers (http://www.ejge.com/) в 1998 году. Есть в настоящее время целый ряд инициатив, направленных на разработку схем представления, как для инженерно-геологических, так и гео-научных данных. Три международных геоинженерных общества (Международное общество по механике грунтов и геотехнике (ISSMGE), Международная ассоциации по инженерной геологии и окружающей среды (IAEG) и Международное общество по механике горных пород (ISRM)) представляют совместный технический комитет — JTC2 http://www.dur.ac.uk/geo-engineering/jtc2, созданный для наблюдения за развитием международно согласованных форм представления инженерно-геологических данных. Разработанные стандарты данных могут использоваться для хранения таких данных в сети Интернет и будут гарантировать, что геоинженерные данные будут храниться в том же формате, в любом месте сети.
Основным преимуществом наличия данных стандартов для веб-данных, заключается в том, что это позволит вести поиск по всем геотехническим данным в сети Интернет используя язык запросов к структурированным данным (XQuery). Например, можно было бы найти XML-файлы, содержащие проекты в рамках конкретного географического расположения или имеющие особенности породы — скальный/не скальный тип грунта или по дате выполнения конкретного вида испытаний. Таким образом, Интернет станет международным хранилищем для геотехнической информации, доступным для всего общества. Это позволит избежать необходимости создания национальных или международных геотехнических баз данных. Каждый владелец данных может сделать свои данные доступными непосредственно со своих собственных веб-серверов.

Еще одним преимуществом разработки данных стандартов является возможность передачи данных между компьютерными системами. XML использует очень простые текстовые файлы, к которым можно легко получить доступ на чтение или запись. Таким образом, он может быть использован в качестве формата обмена данными между различными организациями или являться форматом обмена для различных программных пакетов. Таким образом, XML может стать интегратором между различными видами инженерно-геологических инструментов (баз данных,базами знаний, систем визуализации, обычным программным обеспечением, пакетами численного моделирования и т.д.).

Формат AGSML

В сентябре 2004 года ассоциация геотехников и геоэкологов (AGS) анонсировала проект, призванных поддерживать формат AGS в будущем. Основные цели заключаются в исследовании способов доведения существующих систем, работающих с этим форматом до соответствия глобальному стандарту передачи данных через веб-коммуникации — языку расширенной разметки XML.
Тем не менее основной задачей ассоциации было защитить интересы собственных членов, в частности:
  • Обеспечить совместимость с уже установленной практикой;
  • Обеспечить возможность использовать данные, собранные в более ранних продуктах;
  • Обеспечить независимость формата от сторонних программных средств.

По этой причине было принято решение не создавать новую редакцию формата, а расширить сферу действия существующей редакции AGS3, так чтобы данные на выходе могли быть представлены либо в прежнем текстовом виде, в соответствии с действующими правилами и практикой формата, либо в форме документов XML с идентичным словарем данных (который многие считают сердцем формата AGS), но с совершенно иным набором правил.

Формат DIGGS

DIGGS является крупным проектом, целью которого является разработка схем XML для описания данных, получаемых при исследования поверхности земли. Термин DIGGS (англ. аббр. Data Interchange for Geotechnical and Geoenvironmental Specialists) расшифровывается как «Обмен данными специалистов инженерной геологии и геоэкологии», по сути является форматом обмена данными. Данный формат нейтрален по отношению к любому программному обеспечению и является некоммерческим продуктом.

DIGGS может быть использован для передачи любых инженерно-геологических и геоэкологических данных на протяжении всех стадий проекта, при этом предлагает огромные преимущества с точки зрения эффективности рабочего процесса, точности и достоверности, хранения и управления записями, и, следовательно, экономию средств.
Проект DIGGS является результатом сотрудничества между Федеральной дорожной администрации (Federal Highway Administration), агентства по охране окружающей среды США (United States Environmental Protection Agency), инженерного корпуса армии США (US Army Corps of Engineers), геологической службой США (US Geological Survey) и ряда департаментов транспорта США. Также в сотрудничество входит британское агентство автомобильных дорог (UK Highways Agency). DIGGS объединяет существующие стандарты, разработанные в Великобритании AGS (www.ags.org.uk/agsml), консорциум организаций систем наблюдения за сильными движениями (Strong Motion Observation Systems , COSMOS) (http://www.cosmos-eq.org/GVDC.html) и факультет гражданского строительства университета Флориды( http://fdot.ce.ufl.edu/). DIGGS является стандартом, основанном на XML.
DIGGS версии 1.0a был выпущен в черновом виде и в настоящее время находится на экспертизе.

Область применения формата DIGGS

DIGGS предназначен для упрощения работы тех, кто хочет получать или отправлять геотехнические и геоэкологические данные, такие как частные агентства, компании, применяющие программное обеспечение и базы данных, научные учреждения, промышленные организации, научно-исследовательские организации и т.д.
Версией 1.0 формата DIGGS поддерживаются следующие виды данных:

  • Геотехнические данные об исследованиях грунта;
  • Геоэкологические данные;
  • Данные о фундаментах глубокого заложения;
  • Данные о геофизических исследования, получаемых методами бурения скважин.
Дальнейшее развитие будет включать в себя:

  • Управление активами в геотехнической отрасли;
  • Данные о геофизических исследованиях на поверхности грунта;
  • Геотехнические электронные документы;
  • Данные об оценке геологических, инженерно-геологических и геоэкологических рисков и управлении рисками;
  • Геотехническое оборудование.

В настоящее время данные могут передаваться между участниками проекта в самых разных форматах — от бумажных отчетов до электронных документов, электронных таблиц и т.д…
Diggs может предложить многое для того, чтобы повысить качество данных и информационных потоков по многим причинам:

  • Электронные данные более эффективны по сравнению с отчетами на бумажных носителях;
  • Передача данных происходит быстрее и более эффективно, и могут передаваться в близком к реальному времени;
  • Проверка данных осуществляется с помощью набора правил, которые одинаковы для всех;
  • Данные не нужно будет вводить заново на каждом шаге проекта, что сокращает время и ошибки.
  • Данные DIGGS, могут сопровождаться географическими привязками, что позволяет использовать их в САПР и ГИС системах.

Формат DIGGS доступен свободно каждому, кто желает его использовать. Для использования формата DIGGS требуется программное обеспечение для чтения и записи данных. Как и с любым программным обеспечением это подразумевает определенные затраты на покупку или разработку, но эти затраты быстро должны окупиться и даже должны приносить экономию в результате использования DIGGS. Экономия может быть весьма значительной, как было подтверждено примером использования формата AGS, использующегося в промышленности Соединенного Королевства на протяжении более 15 лет.
Дорожное агентство Великобритании считает, что применение формата AGS позволяет экономить около $60000 (£30000) на каждом проекте средних размеров и ожидает увеличение размера экономии в будущем в связи с планируемым использованием формата DIGGS.

Американские аналитики считают, что при задействовании единого формата DIGGS в процессах извлечения ранее добытых инженерно-геологических сведений возможно достигать экономии в 10-20% от стоимости проекта исследования. По оценкам департамента транспорта штата Огайо, эта экономия составит $12-24 млн. (£24-48 млн.) в год.

Что можно и что не следует ожидать от DIGGS

DIGGS является форматом, предназначенным для электронного обмена данными.Важно не путать его с программным продуктом или структурой базы данных.

Если вы уже используете систему управления геотехническими данными, оснащенную возможностью экспорта и импорта в какой-либо формат передачи данных, отличный от DIGGS имеет смысл поменять его на DIGGS, т.к. есть ключевые моменты, в которых формат DIGGS имеет значительные преимущества по сравнению с существующими форматами для электронной передачи геологических и геоэкологических данных:

  • позволяет лучше производить проверку достоверности данных, снижает количество ошибок;
  • обеспечивает более единообразное описание данных;
  • может настраиваться под индивидуальные требования;
  • открывает возможность взаимодействия с совместимым с форматом программным обеспечением;
  • позволяет осуществлять привязку данных ГИС;
  • предоставляет более высокий уровень целостности данных и качества;

Если вы обнаружите, что формат DIGGS не позволяет передавать какие-либо требуемые вам виды данных, то формат позволяет это исправить. DIGGS позволяет модифицироваться для удовлетворения потребностей пользователей. Имеется стандартный способ расширения формата таким образом, чтобы любые данные, созданные с помощью новых расширений, могли полностью подтверждаться и проверяться на наличие ошибок.

Дополнительная информация по данному формату доступна по адресу www.diggsml.com.

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *