Мировой опыт создания корпоративных систем хранения данных в нефтегазовой отрасли

Бакланов А.В., компания СИБИНТЕК, г. Москва, e-mail: BaklanovAV@sibintek.ru

Creation of Corporate Data Storage Systems: Global Practice in Oil-and-Gas Companies

В статье на примере нефтегазовой отрасли анализируется связь между размерами производственной компании и вариантами организации хранилищ баз геопространственных данных. Сделана попытка выявить современный тренд и перспективы в хранении корпоративных геоданных.

Современные геоинформационные системы (ГИС) столь разнообразны, гибки и масштабируемы, что одна и та же задача может решаться на их основе множеством принципиально различающихся способов. Одной из таких задач является хранение корпоративных ГИС-данных.

Над крупными компаниями постоянно висит связка дамокловых мечей из разноплановых проблем, связанных с этими данными. Прежде всего, пользователи в любой точке пространственно распределенной компании хотят видеть одну и ту же привычную глазу картинку. Пока это относится к обзорным картам и укрупненным показателям, проблем не возникают. Но когда есть необходимость отображения в деталях инфраструктуры множества подразделений компании, находящихся за сотни и тысячи километров друг от друга, возникают сложные вопросы, требующие неоднозначных решений:

• Как избежать дублирования данных в различных подразделениях компании?
• Как делиться данными, находящимися на балансах различных юридических лиц, входящих в компанию?
• Как лучше хранить данные:
  • в узлах дочерних обществ?
  • реплицировать их из узлов в центральное хранилище компании?
  • создать единое центральное хранилище компании, раздающее унифицированные данные в узлы?
• Как соблюсти коммерческую тайну в случае централизации данных?

Любое решение имеет свои плюсы и минусы экономического и функционального характера. Их обсуждение вызывает нешуточные теоретические войны как внутри компаний, так и в обслуживающих их консалтинговых организациях. И тут самое время вспомнить известное высказывание о том, что критерием истины является общественная практика. Причем не просто общественная практика, а практика наиболее успешных компаний мира.

Простейшим способом выявления успешности компаний является обращение к публичным экономическим рейтингам. При этом принимается вполне разумное допущение, что геоинформационные технологии вносят значимый вклад в экономический успех и коррелируют с ним. В таблице 1 представлены данные по суточной добыче наиболее успешных нефтегазовых компаний мира.

Табл. 1. Крупнейшие нефтегазовые компании мира в 2014 году.

В конце повествования станет понятно, почему для анализа использованы столь давние данные.

Перенос на карту мест добычи нефти и газа для каждой из компаний позволяет выявить закономерности, которые совершенно неочевидны при анализе табличных данных. Так, на рисунке 1 цифрами отображены номера компаний в топ-списке в местах добычи ими углеводородов. По ряду формальных признаков компании можно разделить на три группы:

1. Компактные компании
   • Saudi Aramco (1)
   • Petroleos Mexicanos (Pemex) (9)
   • Kuwait Petroleum Corporation (11)
2. Крупные компании
   • National Iranian Oil Company(NIOC) (3)
   • Petrochina (5)
3. Глобальные (межнациональные) компании
   • Газпром (2)
   • Роснефть (6)
   • ExxonMobil (4)
   • British Petroleum (7)
   • Royal Dutch Shell (8)
   • Chevron Corporation (10)

Рис. 1.Места добычи нефти и газа крупнейшими нефтегазовыми компаниями мира.

Первая группа: Компактные нефтегазовые компании – это владельцы крупных и гигантских месторождений, расположенных компактно на территории одного небольшого государства. Пространственные размеры компаний столь невелики, что выбор централизованного хранения данных становится единственно возможным и разумным.

Saudi Aramco – государственная национальная нефтяная компания Саудовской Аравии, которая на 100% контролируется правительством страны. Основные запасы сырой нефти расположены на прибрежных равнинах Восточной провинции, в области, простирающейся более чем на 300 километров к северу и югу от города Дахран. Saudi Aramco разрабатывает проект управления стратегическими активами в Интегрированной ГИС окружающей среды. Корпоративная ГИС компании создается на основе интеграции ArcGIS и SAP. По упомянутым выше причинам используется централизованное хранилище геоданных.

Petroleos Mexicanos (Pemex) –мексиканская государственная нефтегазовая и нефтехимическая компания. Добыча нефти осуществляется из многочисленных мелких нефтяных линз супергигантского месторождения на восточном побережье Мексики и на супергигантских нефтяных месторождениях в Мексиканском заливе.

Компания Pemex ориентируется на использование сервисов DigitalGlobe (Global Basemap). Это иной тип централизации хранения данных, когда архивные и постоянно актуализируемые графические данные сверхвысокого разрешения хранятся в облаке компании DigitalGlobe. Создаются локальные проекты для каждого подразделения на основе сервисов Global Basemap.

Kuwait Petroleum Corporation (KPC) –государственная нефтяная компания Кувейта. 75% всех доказанных запасов нефти находятся в границах группы гигантских месторождений Большой Бурган на юге Кувейта. Компания серьезно относится к разработке геоинформационных продуктов на платформе Esri. С 1995 г. KPC развивает ГИС-приложения для большинства департаментов нефтяной компании. Данные хранятся в централизованной корпоративной базе данных, которая адаптируется под потребности разных служб всех департаментов KPC.

Вторая группа: Крупные нефтегазовые компании –владельцы месторождений, пространственно разнесенных на территории одного большого государства. Единый учет и хранение пространственно привязанных сведений об активах таких компаний затруднены. Метод хранения данных определяется развитостью транспорта данных, мощностью ЦОД, доступностью и применимостью облачных технологий.

National Iranian Oil Company(NIOC) – иранская государственная нефтегазовая компания, вторая по размеру после Saudi Aramco нефтяная компания мира. Закрытость страны (Иран) и многолетние санкции против нее не позволяют делать какие-либо выводы о ГИС-технологиях компании. Определенно известно, что Иран входит в пятерку стран (Куба, Иран, Северная Корея, Судан и Сирия), на которую распространяется эмбарго на поставку продуктов компании Esri.

Petrochina – китайская нефтегазовая компания, акционерное общество, ее контрольный пакет принадлежит Китайской национальной нефтегазовой корпорации. Компания ориентируется на использование экономически эффективной виртуализированной системы хранения данных Egenera BladeFrame (США). Технология Egenera позволяет создавать гибридные общедоступные облачные сервисы, которые упрощают все рабочие процессы в облаке, включая индивидуальный дизайн, развертывание, масштабируемость, управление.

Интересной особенностью ГИС китайских нефтяных компаний является то, что линейка китайских картографических продуктов SuperMap изначально рассчитана на облачное хранение данных. Программное обеспечение обладает всеобъемлющей функциональностью, но более половины нефтяных ГИС-проектов выполняются с использованием технологий и программных продуктов компании Esri.

Опыт IT деятельности Petrochina показывает, что традиционное хранение данных в физических ЦОДах компании на 70% менее выгодно, чем использование виртуальной облачной инфраструктуры, так как к значительному пласту данных обращение идет 1-2 раза в год. А традиционные ЦОДы работают по схеме 24х7х365. Применение облачных хранилищ в любом самом мелком и удаленном нефтедобывающем подразделении компании становится возможным благодаря тому, что 80% всей территории Китая к настоящему моменту покрыты оптоволоконной сетью Интернета.

Третья группа: Глобальные (межнациональные) нефтегазовые компании – это владельцы месторождений, пространственно распределенных на территориях множества государств. Учет и хранение пространственно привязанных сведений об активах компаний осуществляется либо децентрализовано в границах региона, либо централизовано, либо в облачных структурах.

ПАО «НК «РОСНЕФТЬ» – одна из крупнейших публичных нефтегазовых компаний мира. Территории деятельности компании расположены на просторах нашей страны и за рубежом. Таким же образом распределены бизнес-процессы компании. По этой причине хранение геоинформационных данных осуществляется в региональных узлах. Компания РОСНЕФТЬ находится в процессе выбора метода централизации хранения корпоративных данных.

ПАО «Газпром» – российская транснациональная энергетическая корпорация. Она, как и «НК «РОСНЕФТЬ», находится в поиске решения централизации хранения данных. Обе компании успешно решают задачи на уровне региональных хранилищ, но сталкиваются с проблемами актуализации и дублирования данных. Обе компании сознательно идут по пути импортозамещения программного обеспечения, что неизбежно связано с применением нестандартных технологий и решений.

ExxonMobil –крупнейшая в мире публичная нефтяная компания (США), добывает нефть на всех континентах, кроме Антарктиды (рис. 2). При этом она никогда не заявляла о создании стратегии глобальной ГИС. ExxonMobil создает крупные региональные ГИС-проекты, которые не связаны между собой. Да и неудивительно: геоинформационные проекты компании имеют междисциплинарный характер и требуют использования различных типов данных с единой пространственной привязкой. Транспортировка таких данных нуждается в больших затратах ресурсов. Но такой подход делает ГИС ExxonMobil одинаково привлекательными и доступными для всех сотрудников региональных отделений компании. То, что компания стала проявлять интерес к облачному хранению региональных данных, делает возможным в будущем переход к их глобальному использованию.

Рис. 2.Территории операционной деятельности компании ExxonMobil.

British Petroleum –вторая по величине публичная нефтегазовая компания мира (Великобритания). Компания занимается добычей нефти во всем мире. Она является самым крупным после Военного ведомства США пользователем продуктов Esri. ArcGIS используется во всех пространственно привязанных региональных бизнес-процессах. Тем более удивительно, чтоBritish Petroleum нигде и никогда не декларирует идею создания корпоративной геоинформационной системы с единым хранилищем данных.

Royal Dutch Shell – глобальная группа компаний, занимающихся энергетикой и нефтехимией. Shell работает в более чем 70 странах мира.Группа компаний награждена премией Esri-2014 за создание централизованной корпоративной системы на платформе ArcGIS, связывающей все дочерние компании мира. Система охватывает все сегменты деятельности вертикально интегрированной компании. Стандартизированные и документированные рабочие процессы компании позволили ей не создавать единое хранилище данных, а обращаться к любому из многочисленных узлов глобальной архитектуры хранения, сопровождения и обмена данными.

Chevron Corporation. По косвенным признакам можно предположить, что на глобальном уровне существует лишь обзорная информация, доступная во всех филиалах компании через базу метаданных. Детальная бизнес-информация собирается в региональных проектах и региональных хранилищах данных: например, в Нигерийской или Австралийской группах. Основное направление развития ГИС в компании – создание простых в понимании и использовании приложений для далеких от ГИС профильных специалистов.

Таким образом, обобщенный анализ деятельности крупнейших нефтяных компаний показывает, что хранение геоданных в едином хранилище возможно лишь для компактных нефтегазовых компаний, либо при применении облака в качестве единого хранилища. Последнее решение пригодно для компаний любого уровня.

Для крупных нефтегазовых компаний целесообразно децентрализованное хранение информации в регионах их операционной деятельности. Это снижает требования к качеству транспортных сетей, большая часть которых обслуживается внешними провайдерами, и снижает стоимость обслуживания пересылки защищенных данных.

Глобальные нефтегазовые компании развиваются по двум направлениям:

• Консервативные, применяющие традиционные ЦОДы (например, British Petroleum, Роснефть и Газпром), работают исключительно с региональными узлами (децентрализованное хранение данных).
• Продвинутые (например, Royal Dutch Shell) используют облачные хранилища и создают глобальные корпоративные ГИС со стандартизированным представлением данных.

Такие выводы сложно было бы сделать при использовании данных 2016 года. По данным компании Forbes, список крупнейших нефтегазовых компаний 2016 года представлен практически одними лишь глобальными (межнациональными) компаниями. В таблице 2 приведены данные по их суточной добыче нефтепродуктов.

Табл. 2. Крупнейшие нефтегазовые компании мира в 2016 году.

Но, по-видимому, наиболее рациональной структурой хранения данных обладает транснациональная компания ENI S.p.A. (Италия), которая заняла 12 место в списке Forbes.

Базовые и проектные данные компании ENI S.p.A. хранятся на сервере в США. Единые по структуре ГИС-репозитории находятся на серверах в Великобритании, Польше, Италии, Алжире, Египте, Нигерии, Анголе (рис. 3).

Рис. 3. Места добычи нефти и организация хранения геоданных компанией ENI S.p.A.

Через спутниковый всемирный каталог данных Engis полнообъемный доступ к этим данным имеют филиалы ENI в Норвегии, России, Китае, Ираке, Пакистане, Вьетнаме, Индонезии, Тунисе, Гане, Того, Конго, Восточной Африке, Австралии. Любой конечный пользователь геоданных ENI при наличии полномочий может получить доступ к данным из любой точки Земли. Такой подход позволяет не только обмениваться данными, но и делиться так называемыми «Полезными практиками» – моделями данных, методиками и технологиями, справочниками, классификаторами, структурами баз данных.

Российские компании проявляют законное опасение относительно использования облачных хранилищ данных из-за неуверенности в сохранности данных, особенно если «облако» принадлежит стороннему провайдеру. Будущее хранения данных – в создании «туманных» хранилищ данных. Итальянские ученые из Университета Камерино в провинции Мачерата создают новую концепцию удаленных распределенных хранилищ документов, в которой преимущества облачного хранения и вычислений сохраняются, но без рисков несанкционированного доступа, которые порождаются тем, что документы полностью хранятся на одном удаленном сервере. В туманных хранилищах файлы не будут иметь определенного места хранения на сервере. Новая технология использует стандартные сетевые протоколы так, что посредством «виртуальных буферов» интернет-роутеров она обеспечивает бесконечное перемещение пакетов данных между множеством серверов. Доступ к полному образу данных будет иметь только их владелец.