Система управления обменом данными: проверка, приемка

Костров Владимир Александрович, маркшейдер, «Тюменский нефтяной научный центр», e-mail: vakostrov@tnk-bp.com

Введение

Сейчас в практику комплексного управления нефтяными компаниями входит создание команд, состоящих из представителей разных направлений: геофизиков, геологов, инженеров-нефтяников, инженеров по обслуживанию объектов и коммуникаций, юристов, экологов, спасателей. Эффективность деятельности таких групп значительно повышается за счет использования ими общих баз данных, особенно при создании и работе с многослойными комплексными тематическими картами, включающими информацию о пространственном расположении ключевых объектов производственной и коммунальной сфер. Хотя по старой «доброй» традиции некоторые из таких групп порой мало осведомлены о работе других групп, все они имеют дело с одним и тем же «пространственным» подходом к данным, основанным на географическом положении объектов хозяйственной инфраструктуры. ГИС-технологии, которые изначально используют географическое положение в качестве основного критерия в привязке данных и связанных с ними описательных атрибутов, наилучшим образом соответствуют таким потребностям. ГИС способствуют координации действий всех подразделений и групп специалистов, занимающихся решением разнообразных задач, привязанных к конкретной территории.

Применение ГИС-технологий во многих компаниях обусловлено необходимостью эффективного управления пространственными данными на корпоративном уровне. Под управлением подразумевается возможность поиска, хранения, обработки и анализа многофакторной информации, поступающей из различных источников, и принятия в последующем решений, основанных на результатах анализа.

В связи с внедрением на предприятии ГИС-технологии предоставление информации Исполнителем, выполняющим работы по договорам, осуществляется одновременно в двух формах: как в традиционной форме – на бумажной основе, так и в электронной форме – на магнитных носителях (дискеты, CD-диски).

Создание полноценной корпоративной геоинформационной системы подразумевает и наличие специального модуля или подсистемы, обеспечивающей принятие данных от внешних источников, их проверку, приемку и передачу в общую базу данных, а также их поиск. Это должен быть комплекс программных средств, дополняющий базовое ПО (на нашем предприятии это ArcGIS).

Стандартизация представления материалов

Разработанное проектное решение основано на результатах исследования этапов взаимодействия Заказчика и Исполнителя на всем протяжении выполнения работ – от момента получения заказа до момента сдачи результатов работы и загрузки в корпоративную базу данных.

В основе подсистемы ввода и учета цифровых материалов, поступающих в базу данных предприятия, лежат документ «Стандарт предприятия на цифровые пространственные материалы» и согласованный регламент по подготовке и передаче комплектов данных от Исполнителя Заказчику.Документ детально описывает файловую структуру комплекта в зависимости от вида работы, допустимые форматы текстовых, графических и табличных файлов, а также форматы и структуру векторных данных, в том числе и чертежей САПР. Требования дополняют действующие инструкции и ГОСТы в части представления электронной версии отчетных материалов. Ключевым требованием Стандарта предприятия является формирование и передача Исполнителем комплекта (пакета) цифровых материалов.

Подготовка и проверка материалов

Подсистема Input призвана обеспечить минимальное время на приемку и проверку комплекта материалов, поступающих в единую базу данных предприятия, а также их учет, архивирование, поиск и обмен.

Цифровой комплект содержит упорядоченный набор материалов выполнения работы на магнитном носителе. Он должен удовлетворять следующим основным условиям:

  • Независимость от программных средств, применяемых на предприятиях в процессе компьютерного составления отчетных данных.
  • Адекватная передача содержания полевых, расчетных материалов и цифровой топографической карты.
  • Обеспечение возможности построения автоматических процедур приема, проверки и преобразования данных, позволяющих переходить к моделям, наиболее удобным для решения конкретных задач обработки данных на предприятии.

Для выполнения этих условий необходимо решить три основные задачи:

  1. Автоматизировать подготовку, приемку и проверку представляемых материалов;
  2. Сохранить представленные материалы в электронном архиве предприятия, сформировав базу метаданных;
  3. Подготовить цифровые пространственные материалы для загрузки в корпоративную базу данных.

Процесс подготовки электронного пакета данных затрагивает все заинтересованные стороны, поэтому подсистема контролирует формирование цифрового пакета на каждой стадии работы с цифровым комплектом.

Начальную стадию подготовки цифрового пакета начинает Заказчик, который с помощью подсистемы формирует цифровой пакет с необходимой структурой, подготовленными шаблонами и исходными данными, достаточными (читай, разрешенными для передачи) для выполнения конкретного вида работ по договору.

Заказчик передает сформированный шаблон пакета и часть модуля Подрядчику. Исполнитель вместе с техническим заданием получает: «выписку» из Стандарта предприятия, описывающую данную работу; «границу съемки» с предписанной системой координат; набор шаблонов векторных слоев; набор справочников для адекватного описания объекта; модуль-сборщик файлов, таблиц и рисунков.

Подрядчик заполняет представленные шаблоны данными, полученными в результате выполнения работы. Заполняя формы, Заказчик формирует базу метаданных и материалов, созданных или подготовленных при выполнении работы. База метаданных является неотъемлемой частью комплекта.

Подрядчику предоставляется возможность с помощью модуля выполнить проверку объема и качества данных, полученных при выполнении работы.

Проверка передаваемого комплекта материалов подготовленных Исполнителем включает в себя:

  • антивирусную проверку
  • комплектность материалов и наличие описаний файлов
  • проверку вырожденности файлов и данных
  • проверку семантики обязательных атрибутов.

Далее подготовленный цифровой комплект передается Заказчику, где производится его углубленная проверка и выдается акт приемки материалов цифрового комплекта. «Читая» базу метаданных Исполнителя, подсистема последовательно и методично проверяет каждый входящий в комплект файл. Правила проверки определены и прописаны в базе правил «матрица проверки». Принятый цифровой комплект помещается в архив принятых материалов и регистрируется в поисковой системе Web–сайта «Атлас» путем простого копирования записей из базы метаданных Исполнителя.

Структура и функционирование подсистемы

Подсистема позволяет производить поиск необходимых данных в архиве принятых материалов по большому количеству критериев: объект, исполнитель, тип работы, дата, территория и т.д.

Данные принятых материалов могут быть использованы для формирования новых цифровых комплектов или для подборок исходных данных для выполнения конкретных работ. Интеграция с системой доступа позволяет контролировать ограничения при приеме/передаче пакетов информации.

Общий вид подсистемы представлен на рисунке. Вся подсистема состоит из трех основных блоков: подготовка цифрового пакета документов к передаче (модуль «Подготовка»), приемка цифрового пакета документов (модуль «Приемка»), передача цифрового пакета в электронный архив предприятия (модуль «Загрузка»).


Общий вид подсистемы Input: проверка и приемка цифровых картматериалов.

 

Этап подготовки данных включает выполнение следующих задач:

  • Формирование структур цифровых пакетов для типовых работ в соответствии со стандартом предприятия.
  • Формирование необходимого количества файлов данных, файлов-шаблонов и правил контроля цифровых материалов для заполнения структур цифровых пакетов.
  • Формирование цифровых пакетов с исходными данными, необходимыми для выполнения работы.
  • Оформление материалов выполненной работы в соответствии со стандартом предприятия для данного типа работы (для выполнения работы Исполнителю поставляется дополнительный модуль).
  • Проверка правильности комплектования цифрового комплекта.

На этапе приемки реализуются такие задачи:

  • Приемка поступающих цифровых материалов и их проверка на соответствие стандарту.
  • Формирование акта проверки цифрового комплекта.
  • Формирование и размещение архива принимаемого цифрового комплекта в файловом архиве предприятия.
  • Учет принятых материалов.
  • Формирование базы метаданных имеющихся на предприятии материалов.

На этапе загрузки реализуются две основные задачи:

  • Выбор информации из архива принятых материалов для ее последующей загрузки в базу данных предприятия.
  • Регистрация факта загрузки в журнале загрузки материалов в базу данных предприятия.

Предлагаемое решение в значительной степени является инновационным, поскольку задача автоматизации приемки цифрового пакета документов, содержащего большое количество многофакторной информации, пока не имеет полноценного стандартного решения.

Практика

Для полномасштабного внедрения предлагаемой системы требуется хороший классификатор. Поскольку его разработка требует много времени и ресурсов, мы на практике реализовали механизм создания классификатора при выполнении текущей работы – создание топографических планов М 1:25000 (80 листов).

Исполнителю был передан Стандарт предприятия и структурированный набор таблиц-шаблонов в формате *.shp.

Повлияло ли это на работу подрядчика? Создало ли дополнительные сложности? Нет, хотя Подрядчик выполнял основной объем работы средствами MapInfo – привычный для него программный продукт, привычная технология.

Основные требования к подрядчику – сохранение структуры таблиц и максимально полное заполнение семантики объекта – не привели к дополнительным трудозатратам. Забавно, что во время выполнения работы исполнители неоднократно интересовались шаблонами шрифтов и условных обозначений, применяемых на нашем предприятии. И всегда были удивлены, услышав один и тот же ответ: «Для нас главное семантика, а не набор условных знаков». «А как же Вы увидите то, что видим мы, и как проверите работу?» Вот как это делалось.

После получения первых результатов (10 листов) нами была выполнена следующая процедура: с помощью модуля приемки был проведен анализ структуры таблиц и составлен список использованных обозначений (см. таблицу 1). На первом этапе с исполнителем были уточнены и согласованы наборы допустимых значений для каждого поля таблицы. Желтая закраска поля в приведенном примере – недопустимые значения. В дальнейшем этот список составил основу классификатора.

Табл. 1. Пример анализа таблицы по рекам «River»

Слой

River

Тип геометрии

линия

Кол-во объектов

2836

Соответствие стандарту ДА НЕТ

Примеч.

Название

да

Структура

да

Замечания

Наличие объектов длиной менее 50 м. — более 100 шт.(0,96м?). Направление течения не соответствует направлению течения реки — более 30 % объектов.

Образцы использованных записей

Obj

Property

Bottom

Name

канава гидрография

0

0

линия линия форватера вязкое Гунъёган
линия фарватера не определенно илистое Ершовая речка
линия форватера пересыхающая не оперделено канава
постоянная постоянаая не определена линия форватера
протока постоянная не определенно протока
река постоянная береговая линия не определено протока Айпинский Урий
ручей проавдающая не оределено р.
старица пропадающая песчаное р. Ай — каткунъёган
река постоянная береговая р. Ай-Ватьяун
пропадающая р. Ай-Гунтъеган
р. Куйёган р. Айёган
р. Ай-Пысесъеган
р. Ай-Пысесъёган

И вот, наконец, мы получили полный объем данных – 80 листов. Как их проверять?

Структура таблиц определена, набор семантики согласован и проверен. Необходимо проверить топологию карты и правильность рисования. Нами были составлены правила проверки и определена возможность их формализации для запуска автоматических процедур проверки. Правила проверки касаются и правил отрисовки (длина бергштриха – 1 мм.), и правил топологии (пересечение леса и озера), и правил цифрования (направление течения реки). Всего было составлено более 20 правил (см. таблицу 2).

Табл. 2. Примеры формализации правил проверки – матрица проверки

№ п/п

Правило

Вариант автоматизации – Model Builder

1 Длина бергштриха – 1 мм. Выбрать на слое горизонтали все объекты «бергштрих» длиной менее 20 м и более 30 м и создать в слое «Line_ remark» объект бергштрих-длина
2 Пересечение горизонтали и водоема. Выбрать все пересечения горизонталей и водоемов, и создать объекты пересечения, записать в слое «Line_ remark» как объект горизонталь-озеро
Пересечение полигона растительность и полигона озеро Выбрать все пересечения растительности и водоемов, и создать объекты пересечения, записать в слое «Poligon_ remark» как объект лес-озеро.

Как показано в этой таблице, удобные возможности для проведения геообработки предоставляет ModelBuilder – стандартное приложение ArcGIS.

По каждому правилу было составлено технологическое задание для программы и … «одним нажатием кнопки» правило было проверено. Поскольку исходные данные изначально были очень жестко структурированы, составить набор моделей проверки не представляло большого труда. Результаты проверки зафиксированы в виде пространственных объектов с описанием ошибки и переданы исполнителю на исправление. На выполнение работы, начиная с составления правил и моделирования технологической задачи и заканчивая формированием отчетного документа, было потрачено 5 рабочих дней.

Электронный редактор с легкостью проделал колоссальный объем работы.

Подрядчик был крайне удивлен, получив менее чем через неделю многостраничный отчет по замечаниям и набор файлов с зафиксированным и, главное, описанным набором ошибок.

Это помогло избежать недоразумений при завершении этой работы и существенно повысить качество материала. Подобная технология была в дальнейшем реализована и при выполнении работ по приемке цифрового материала М 1:5000 (134 планшета).

Заключение

Набор составленных задач проверки органичным образом включен в подсистему Input. Наше предприятие получило в пользование систему, которая позволит максимально ускорить, упорядочить и упростить процесс подготовки, проверки и приемки поступающих данных, что влечет за собой повышение эффективности и качества работы с пространственными данными.