Организация данных за век

По материалам Esri

Spatial data infrastructure for Barrick gold mining company

Значимость компании Barrick, как крупнейшей золотопромышленной компании во многом зависит от ее ресурсной базы, то есть золота, которое может быть добыто, но пока не добывается. Поскольку компания сейчас производит около 8 млн. унций золота ежегодно, ей необходимо добавлять как минимум такое же количество к своей ресурсной базе, иначе ее привлекательность и, как следствие, стоимость ее акций на рынке начнут снижаться. В связи с этим, геологические данные компании Barrick оказывают прямое влияние на ее стабильность и совокупную стоимость.

Внушительный срок пригодности

У геологических данных необыкновенно большая продолжительность жизни. Поскольку золотообразующие процессы протекают на масштабах миллионов или десятков миллионов лет, данные, полученные даже десятилетия назад, до сих пор актуальны для любого горнодобывающего предприятия. У компании Barrick имеются собственные собранные и обработанные данные более чем за четверть века, и более чем вековые данные, унаследованные от приобретенных за время ее деятельности компаний. И очень важно эффективно управлять этим быстро растущим собранием геологических, геохимических, геофизических данных и данных дистанционного зондирования. Чтобы использовать эти внушительные архивные материалы наилучшим образом, Barrick запустила проект, призванный улучшить организацию и обслуживание этих данных внутри компании, В результате на основе ArcGIS была сформирована корпоративная инфраструктура пространственных данных (ИПД).

Компания ведет разведку и добычу золота в разных регионах мира.

Внутри горнодобывающей компании многие отделы располагают данными, которыми, в принципе, могут и хотят пользоваться и другие подразделения. Так, собранные данные геосъемки на территорию рудников могут заинтересовать геологов и многих других специалистов. ИПД упрощает и расширяет способы распространения пространственных данных и доступа к ним в пределах всей компании. «Наш обширный архив данных разведки послужил катализатором новой разработки, но этот проект разросся и включил в себя группы по охране окружающей среде, планированию земельных активов, обеспечению безопасности, охране здоровья и предотвращения аварий», – отметил Ян Аллен, координатор систем глобальных пространственных данных в Barrick. «Открытие доступа к данным каждой группы для любой другой подавляет желание удвоить архив данных за счет их дублирования и/или купить его».

Головная боль от разобщенности

Ключевым шагом в создании удобного для поиска каталога данных является формирование метаданных для каждого набора данных. Впрочем, как знает всякий, кто имел дело с метаданными, загвоздка кроется в деталях. «Все зависит от метаданных, но никто не любит их создавать», – смеется Аллен. «Мы используем кастомизированный редактор метаданных, MetaTools 5, созданный Питером Баррсом из компании Data Arterial в г. Станторп, Австралия, который запускается в приложениях ArcMap и ArcCatalog. В Barrick введен стандарт на 14 обязательных элементов метаданных и на 4 опциональных. У нас нет выделенных специалистов по управлению данными, поэтому мы ориентируемся на конечного пользователя. Если создание метаданных будет слишком сложным, они не станут это делать. Поэтому мы постарались найти баланс между тем, что мы хотели бы знать о наборах данных, и тем, что можно в реальности ожидать от людей».

Результаты поиска по Каталогу. Кнопки Layer (Слой) и MXD позволяют передавать данные с сервера портала или скачивать их.

Редактор метаданных в Barrick использует отсортированные списки по каждому из атрибутов метаданных. Эти списки автоматически синхронизируются с помощью Сводной базы данных ключевых слов каждый раз при открытии редактора, обеспечивая пользователю наиболее свежую версию ключевых слов. Добавление новых ключевых слов производится через веб-форму. Редактор также упрощает копирование метаданных. Работа в ArcMap, где у наборов данных часто имеется много общих атрибутов, может значительно ускорить создание метаданных. Пользователь заполняет все общие элементы метаданных для одного набора данных, копирует их во все другие наборы данных и затем сам добавляет один или два остающихся меняющихся элемента.

Опубликовать или выбросить

Детализированные метаданные бесполезны, если сами данные трудно найти и к ним нельзя обратиться. Для публикации данных в Barrick применяется модуль MXD Publisher, созданный в компании NGIS (Австралия). MXD Publisher не дает опубликовать данные при отсутствии полных метаданных и создает файловую базу геоданных в определенном месте в сети, включая все файлы со слоями и копию MXD, которая относится к только что созданной файловой базе геоданных. «Это наш метод преодоления синдрома диска С. Мы обнаружили, что огромное количество данных существует только на ноутбуке отдельного пользователя, и никто другой даже и не подозревает об их существовании,» – говорит Аллен. В MXD Publisher все наборы данных, использованные в создании MXD-файлов, копируются в сеть. И данные, доступные прежде только на отдельном ноутбуке, теперь доступны и в сети с полными метаданными.

На первом шаге публикации данных с помощью MXD Publisher все наборы данных приводятся в виде списка и проверяются на правильность и полноту метаданных.

SDE Publisher публикует файловую базу геоданных из хранилища MXD в хранилище SDE.

Окончательным этапом рабочего процесса консолидации геоданных и управления ими в Barrick является использование модуля SDE Publisher, еще одного инструмента, настроенного в NGIS для нужд пользователей. Он обеспечивает публикацию файловой базы геоданных в сети предприятия на основе средств ArcGIS Server. Каждую ночь сборщик метаданных запускает и обновляет каталог данных метаданными по новым наборам данных. Этот каталог разработан с помощью средств ESRI GIS Portal Toolkit (сейчас этот отдельный продукт называется Esri Geoportal Server) для представления и ArcGIS Server с SQL Server для хранения данных и управления ими. Установкой и настройкой этих серверных составляющих занимались специалисты компании GIS Technologies из г.Анкоридж, Аляска.

Результаты поиска включают ссылки на наборы данных и на исходные MXD-файлы. Результаты представлены выбранными метаданными, а специальные кнопки позволяют пользователям либо передать набор данных или MXD прямо с сервера на свой рабочий компьютер, либо скачать данные напрямую. FME Server используется для поддержки ETL (извлечения, преобразования и загрузки данных), то есть имеется возможность передачи результаты поиска в любом желаемом формате. Это важно, поскольку Barrick поддерживает два пакета настольных ГИС.

Безопасность данных

«Люди, как правило, заботятся о сохранности своих данных, поэтому у нас есть два атрибута метаданных, относящихся к безопасности данных», –рассказал Аллен. Один контролирует видимость метаданных, а второй – доступ к данным. Это дает Barrick гибкую возможность оповещения о существовании определенных наборов данных. Когда метаданные добавляются в каталог, это отображается в результатах поиска. Однако доступ к данным ограничен только той группой (или группами) пользователей, которые больше других нуждаются в них. Если другие группы хотят получить доступ к этим данным, они должны обратиться к лицам, приведенным в специальном атрибуте метаданных Responsible Party, и получить у них разрешение. Например, земельные менеджеры Barrick хотят, чтобы люди знали, есть ли данные о каком-то земельном участке, но они не хотят, чтобы другие люди получили доступ к этим данным без консультации со специалистом. Эта процедура гарантирует, что любой пользователь данных поставлен в известность относительно соглашений конфиденциальности или области интересов, связанных с тем или иным земельным участком.

Будущее

Снабдив свой огромный архив геологических данных метаданными, компания Barrick сделала первый значительный шаг в повышении ценности данных. Будущие разработки предполагают централизацию и консолидацию пространственных данных, находящихся в других хранилищах, таких как acQuire от компании acQuire Technology Solutions, где хранятся данные по геохимии и бурению, и EQuIS от компании EarthSoft, бизнес партнера Esri, с данными по окружающей среде. Barrick также обеспечит доступ к данным ИПД из других приложений. Это, например, приложения для отслеживания передвижения транспортных средств, для которых необходимы подробные пространственные данные, источником которых служит ИПД.