Игорь Стрельцов, Владимир Андрианов, DATA+
Сервер метаданных – зачем он нужен
Каждое предприятие проходит определенные этапы развития. Эти же этапы развития проходит и пространственная информация, используемая в компании.
Сначала, когда информации немного, и она сосредоточена в одном каталоге (возможно, с подкаталогами), заинтересованные лица знают практически все о хранимых данных. Постепенно в число заинтересованных лиц начинает входить большее количество специалистов, причем предмет их деятельности уже не геоинформатика или не только геоинформатика. Они не только используют существующую информацию, но и изменяют существующие данные, создают новые. Геоданные становятся все более рассредоточенными по дискам сервера, серверам и даже локальным компьютерам.
Через некоторое время, когда объем данных увеличивается в десятки раз, поднимается вопрос о корпоративном хранилище. И тут оказывается, что данных накопилось настолько много, что никто не имеет полного представления об их содержании. В этот момент и возникает необходимость не только централизованно хранить данные, но и централизованно хранить описательную информацию к ним.
Рис. 1. Интерфейс Metadata Explorer сети Geography Network со списком найденных ресурсов.
Именно метаданные – дословно, данные о данных, — исполняют роль необходимой описательной информации.
Метаданные содержат, прежде всего, информацию о территории, покрываемой исходными данными, а также дополнительную описательную информацию, например, первоисточник, исходный масштаб, автор, время создания, тематика и т.п.
Для упорядочивания метаданных и организации поиска должна применяться служба метаданных. Как правило, такая служба строится на основе сервера.
Инструментарий Сервера метаданных
Каталог метаданных, если рассматривать линейку продуктов ESRI, создается на основе двух программных продуктов – инструмента публикации web-служб ArcIMS и шлюза хранилища пространственных данных ArcSDE. Каждый из этих продуктов несет ответственность за разные процессы: первый отвечает за общение с клиентскими приложениями, второй – за управление записями метаданных в БД (ArcSDE нужен для реализации функции пространственной индексации записей метаданных, каждой записи соответствует полигон в специальном классе объектов). В большинстве случаев на предприятии имеет смысл устанавливать один сервер метаданных, который будет хранить и предоставлять пользователям описательную информацию обо всех имеющихся на предприятии пространственных данных.
Каталог метаданных может содержать информацию о любых пространственных данных – как опубликованных в сети, так и доступных иным образом (на оптических носителях и др.). Для организации каталога отнюдь необязательно, чтобы описанные в нем геоданные находились в одном месте. Более того, это могут быть данные, различные по структуре, форматам и методам доступа – файлы для скачивания (все форматы, поддерживаемые ArcGIS), данные в персональных БГД, данные в корпоративных базах геоданных на основе ArcSDE, карты, представляемые с помощью картографических web-служб ArcIMS, или даже бумажные карты в библиотеке.
Подготовка метаданных
Фраза президента ESRI вынесена в эпиграф не случайно. В большинстве информационных систем (не только ГИС) подготовка метаданных осуществляется приложениями, специально написанными для работы с метаданными. Распространена даже практика привлечения сторонних фирм для выполнения этой работы соответственно стандартам. Философия ESRI другая: метаданные должны создаваться одновременно с самими геоданными, а инструмент их подготовки должен быть интегрирован в ГИС пользователя. Поэтому в ArcGIS Desktop этот процесс максимально упрощен и автоматизирован: часть элементов создается автоматически, контактная информация берется из базы контактов, остальные элементы создаются с помощью Мастера метаданных.
Механизм публикации метаданных
Процесс публикации метаданных достаточно прост – в приложении ArcCatalog программного комплекса ArcGIS Desktop достаточно перетащить геоданные из той папки, где они лежат, на значок подключения к ArcIMS Metadata Server. При этом сами геоданные остаются на своем старом месте, а сопровождающие их метаданные копируются в БД ArcIMS Metadata Server. Во время внесения метаданных в каталог может происходить проверка корректности метаданных. «Может» – потому, что эту проверку можно отключить. Во время проверки контролируются следующие параметры:
- обязательное ключевое слово, определяющее, к какой теме относится информация – административному делению, экономике, экологии, сельскому хозяйству, военному делу, транспорту и т.д.
- тип данных – «живые» данные и карты, скачиваемые данные, данные, доступные по запросу, статические растровые карты, приложения, картографические службы и т.д.
- автор данных
- экстент данных – он должен быть в пределах градусной сетки, покрывающей Землю (?180… 180 градусов по долготе и от ?90…90 градусов по широте).
Если при включенной проверке данные удовлетворяют этим условиям, то происходит публикация метаданных – описание попадает в каталог ArcIMS Metadata Server. При выключенной проверке данные в любом случае попадают в каталог, но поиск по таким метаданным может быть затруднен. То есть, в данном случае для получения полноценных метаданных обязательным требованием является корректность исходной информации.
Рис. 2. Схема выполняемых функций ArcIMS Metadata Server и его клиентов.
В целом, состав метаданных в программных продуктах семейства ArcGIS соответствует международному стандарту ISO 19115:2003 или американскому FGDC-STD-001-1998. Служба доступа к каталогу соответствует стандарту ISO 19119:2005 и спецификации OpenGIS Catalogue Services Specification 2.0. Обмен клиентского приложения со службой каталога осуществляется по протоколам Z39.50 (ISO 23950), CS-W (спецификация Open Geospatial Consortium), PMH (стандарт Open Archive Initiative). Здесь следует отметить, что ESRI играет одну из ключевых ролей в разработке и поддержке этих и других стандартов, связанных с ГИС и пространственными метаданными.
Хранение метаданных в ArcCatalog и передача их между сервером метаданных и клиентом реализуется на основе языка XML. Сам ArcIMS Metadata Server хранит метаданные в таблице СУБД, при этом часть элементов метаданных записывается в отдельные поля таблицы для поддержки поиска (название, публикатор, экстент, тема, тип). В полном виде документ метаданных помещается в поле произвольного типа (BLOB) и выдается клиенту по запросу.
Механизм поиска
Поиск в каталоге можно осуществлять с помощью поискового приложения Metadata Explorer, работающего в среде обычного веб-браузера. Metadata Explorer позволяет определить географическую область (очертить рамкой на встроенной карте), задать тематику и тип искомых данных, ввести ключевые слова. Затем из предложенных вариантов с краткими описаниями можно выбрать уже конкретно интересующие данные (рис. 1).
Другим клиентом каталога метаданных может быть ArcCatalog. Подключившись к службе метаданных, опубликованной ArcIMS Metadata Server, вы сможете в ArcCatalog просматривать опубликованные службой метаданные точно также как и метаданные ваших собственных ресурсов (рис. 2). Кстати, ArcIMS может публиковать не только метаданные, но и собственно геоданные и карты в виде картографических веб-служб. Если метаданные этих служб внесены в каталог, то после поиска вы сможете добавить эти службы в ArcMap, как говорится, «не отходя от кассы» (то есть от каталога метаданных).
Еще один вид клиентов ArcIMS Metadata Server – это узлы информационного обмена (порталы) инфраструктуры пространственных данных. О последнем случае поговорим далее подробнее.
Распределенный поиск
Ранее мы говорили, что на предприятии целесообразно устанавливать один общий сервер метаданных, однако возможно и другое решение. Если компания имеет удаленные подразделения, которые обладают собственными геоинформационными ресурсами, то в этом случае с помощью GIS Portal Toolkit можно организовать распределенный каталог. Когда пользователь обращается с запросом к порталу, этот запрос транслируется на все зарегистрированные каталоги метаданных, и их ответы выдаются на странице портала. Таким образом, реализуется распределенный поиск. Другой механизм – портал может сам периодически опрашивать зарегистрированные в нем каталоги метаданных для ведения централизованной базы метаданных. Такая функция реализуется модулем Harvester в составе GIS Portal Toolkit.
В составе ArcIMS поставляется Z39.50 Connector для подключения клиентов, работающих в стандарте Z39.50. Это общий стандарт удаленного доступа к базам данных, который используется для интеграции компонентов распределенных систем. Примером такой интегрирующей системы могут служить порталы www.geographynetwork.com, www.geocommunicator.gov, www.geodata.gov, http://deli.dnr.state.mn.us. Подобная распределенная система может быть полезна не только на государственном уровне, но и для обеспечения потребностей территориально распределенной корпорации. В этом случае также можно организовать иерархическую структуру хранения метаданных, при которой сервер головной организации периодически собирает информацию с серверов дочерних предприятий. Такая архитектура предоставляет значительные преимущества, среди которых можно выделить следующие:
- быстрый и эффективный поиск, единая «точка входа»;
- высокий уровень защищенности данных;
- перенос загрузки с локальных ArcIMS-серверов на глобальный портал.
В любом случае, сервер метаданных, либо в виде ArcIMS Metadata Server, либо в виде портала, будет являться интегрирующей службой для поиска геоданных.
Одни пользователи смогут использовать браузер для прямого подключения к ArcIMS Metadata Server и поиска нужных геоданных через Metadata Explorer, другие будут иметь возможность искать геоданные через интегрирующий портал, третьи – использовать клиентское приложение на основе Z39.50, четвертые – искать геоданные и веб-службы, не выходя из ArcCatalog. И все смогут получить необходимую информацию.
Благодаря тому, что программное обеспечение ESRI отвечает стандартам на метаданные ISO и FGDC, появляется возможность создания гибкого решения, совместимого с метаданными всего ГИС-сообщества и без дополнительных затрат. Таким образом, метаданные представляют собой средство обеспечения взаимодействия между различными системами, компаниями, людьми, сообществами, странами.
