Джефф Лидтке, компания Esri
Raster analytics expands imagery use in GIS
Спутниковые изображения, данные аэрофотосъемки и снимки с беспилотников сегодня стали более доступными и массовыми, чем когда-либо прежде. И они могут добавить в ГИС-проекты важную и чрезвычайно полезную информацию. Это было справедливо и раньше, но включение в геоинформационные системы на платформе ArcGIS мощных средств для внедрения аналитики в рабочие процессы обработки больших массивов растровых изображений и управления ими может принести ошеломляющие результаты в вашу работу.
Изображения и ГИС имеют давние симбиотические отношения, поскольку они удачно дополняют друг друга: изображения являются важным источником большинства наборов данных ГИС, а ГИС может использоваться для более эффективного управления изображениями и быстрого получения на их основе информации высокого качества (рис. 1). Платформа ArcGIS предоставляет развитые возможности интеграции изображений в рабочие процессы и повседневную деятельность многих организаций.
Рис. 1. Изображения являются ценнейшим источником данных для ГИС, а ГИС –дружественной средой для извлечения информации из изображений и ее отображения на картах.
В недавно выпущенные версии платформы ArcGIS компания Esri включила новые мощные средства растровой аналитики. Они предназначены для быстрой обработки больших коллекций изображений, извлечения из них и публикации информации, необходимой для успешного выполнения ваших проектов и исследований и поддержки критически важных решений. Для более полной реализации этих возможностей базовый функционал серверной компоненты ArcGIS Enterprise может быть расширен с помощью дополнительного модуля ArcGIS Image Server. Этот продукт специально сконфигурирован для выполнения растровой аналитики и работы динамических сервисов изображений с целью выполнения распределенной обработки данных и хранения полученных результатов. В этой масштабируемой среде вы можете запускать большие объемы вычислений по обработке и анализу изображений, которые раньше были труднореализуемыми, невозможными или весьма дорогостоящими.
Растровая аналитика может выполняться и на локальной машине, в полном объеме используя функции ArcGIS Image Server. Однако добавление возможностей масштабирования серверных компонент Raster Analysis Server и Raster Image Server в распределенной среде облачных вычислений повышает эффективность работы за счет применения гибких технологий обработки и хранения данных и использования таких платформ как Amazon Web Services (AWS) и Microsoft Azure. Благодаря этой гибкости задействования ресурсов вы можете оперативно увеличить или уменьшить производительные мощности в зависимости от размера проектов и требований по срокам их выполнения. Работы по обработке и анализу изображений, которые обычно занимали нескольких дней или даже недель, теперь могут быть выполнены в течение нескольких минут или часов, что делает доступными проекты обработки изображений, ранее казавшиеся невероятно большими или сложными. Ниже приведен пример подобного проекта.
С помощью данной конфигурации системы вы можете применять стандартные инструменты и функции обработки растров ArcGIS, создавать пользовательские инструменты и функции, а также комбинировать несколько инструментов и функций в цепочках обработки растров для выполнения настроенных алгоритмов обработки больших коллекций растровых данных (рис. 2). А полученные результаты автоматически сохраняются, могут быстро публиковаться и распространяться среди пользователей вашей организации.
Рис. 2. Функции обработки и анализа растровых данных можно в интерактивном режиме объединять в последовательные цепочки с помощью панели «Редактор функций растра» в настольном приложении ArcGIS Pro (приведен пример для Чесапикского проекта).
Такая гибкость в обработке и хранении данных позволяет удовлетворить такие требования к выполнению проектов, как сжатые сроки и ограниченные затраты. Задействованные вычислительные ресурсы при необходимости можно быстро наращивать, а затем отключать, когда они больше не нужны.
Пример решения задач фундаментального проекта
Чесапикский залив является крупнейшим речным эстуарием в Соединенных Штатах. Для поддержки управления водными и прочими природными ресурсами на этой обширной территории и их сохранения, а также планирования мер по сокращению загрязнения территории залива некоммерческой организации Chesapeake Conservancy необходимо было подготовить карты земной поверхности с разрешением в один метр, охватывающие 100 000 квадратных миль водосбора этого залива. При их составлении широко использовались разнообразные изображения.
Для реализации поставленных задач необходимо было сначала обработать более 20 терабайт растровых данных и распределить их по 12 типам земель. Эту работу Chesapeake Conservancy выполняла в партнерстве с Университетом Вермонта и компанией WorldView Solutions, консалтинговой фирме в области геопространственных технологий. Этот монументальный проект был завершен в 2016 году за 10 месяцев с использованием локальных вычислительных ресурсов.
Однако полученный набор данных по землепользованию необходимо регулярно обновлять, чтобы учитывать ежегодное добавление 100 000 новых жителей, поддерживающей инфраструктуры, услуг и предприятий. Затраты в долларах и время, необходимые для внесения обновлений, оказались слишком высоки, если использовать прежний подход с задействованием только собственных машинных мощностей. Требовался альтернативный способ для быстрого внесения обновлений полуавтоматическим способом. И он был найден.
Теперь Chesapeake Conservancy выполняет такие обновления, используя растровую аналитику в облаке, и эта методология является более эффективной и экономичной. Предварительная обработка, сегментация изображений и классификация с использованием технологии случайных деревьев выполняются на основе шаблонов цепочек обработки, созданных с помощью приложения ArcGIS Pro. А затем выполненные задания передаются из ArcGIS Pro на общий портал на основе ArcGIS Enterprise, который управляет распределенной обработкой, хранением и публикацией результатов в облаке (рис. 3).
Рис. 3. Карта землепользования Чесапикского водосборного бассейна с пространственным разрешением 1 метр. (создана Chesapeake Conservancy)
Мощь, расширяемость и доступность
Модуль ArcGIS Image Server специально сконфигурирован для реализации возможностей растровой аналитики и на выполнение распределенных вычислений в среде обработки и хранения, что максимизирует скорость и эффективность обработки растровых данных (рис. 4). Встроенные инструменты и функции включают предварительную обработку, ортотрансформирование и создание мозаик, анализ данных дистанционного зондирования и широкий спектр математических и тригонометрических операторов. Эти функции обеспечивают обработку мультиспектральных и гиперспектральных изображений и многомерных научных данных, используемых в решениях на основе OLAP-кубов, и временных данные для анализа временных рядов.
Рис. 4. Общая схема рабочего процесса обработки и анализа растровых данных: 1) Подготовка изображений и хранилищ растровых данных; 2) Создание/тестирование цепочек обработки и хранения данных; 3) Ввод заданий растровой аналитики; 4) Распределенная обработка; 5) Средства хранения и управления изображениями; 6) Карты и приложения для использования и представления результатов.
Расширенные цепочки растрового анализа могут быть построены из более чем 200 функций и инструментов, которые доступны из коробки и сохранены в виде шаблонов растровых функций. Вы также можете создавать пользовательские функции, расширяющие аналитические возможности платформы, и разворачивать собственные алгоритмы обработки изображений, ориентированные на уникальные прикладные приложения и проблемы. Разработчики могут создавать рабочие процессы управления разработкой, используя инструментарий ArcGIS Enterprise REST API, ArcGIS Server REST API или ArcGIS API for Python в приложении к объектам растровых функций, используя образцы кода, взятые с веб-сайта для разработчиков ArcGIS for Developers (developers.arcgis.com), или скрипты, доступные из репозитория Esri в модуле arcgis.raster.functions на ресурсе GitHub.
Пользовательские цепочки обработки данных могут быть созданы и с использованием функций Python Raster Function, что позволяет писать алгоритмы обработки изображений на Python и выполнять их в распределенной среде (дополнительную информацию см. на Github.com/Esri/raster-functions/wiki/PythonRasterFunction).
Растровая аналитика объединяет обработку и анализ изображений с другими частями платформы ArcGIS, оптимизируя и упрощая взаимодействие и обмен данными. Пользователи в вашей организации могут предоставлять данные, запускать модели и давать экспертные заключения по проекту, использующему изображения, а результатами можно быстро делиться как с отдельными сотрудниками, так и с отделами и подразделениями вашей организации.
Устранение барьеров
Среда ArcGIS Server с модулем Image Server – это оптимальная комбинация лицензий, которая позволяет создавать и размещать сервисы изображений (сервер хостинга изображений). Когда ArcGIS Server с Image Server объединяются с сервером ArcGIS Enterprise (хост-сервер), становятся доступны возможности продвинутой растровой аналитики. Эти серверы используют хранилища данных ArcGIS Server для хранения результатов растровой аналитики и доступа к ним (рис. 5).
Рис. 5. Компоненты и отношения растровой аналитики.
Эффективная и мощная обработка больших коллекций изображений и других растровых данных с использованием вычислительных цепочек обработки данных позволяет выполнять проекты и решать задачи, которые до появления таких возможностей были практически недоступны. Это снижает планку для небольших или средних компаний, позволяя им осуществлять проекты, которые ранее были исключительно приоритетом крупных, хорошо обеспеченных ресурсами организаций. Ограниченность собственных вычислительных ресурсов для обработки и хранения данных больше не является препятствием для организаций, желающих использовать возможности, отвечающие современным требованиям к обработке изображений и срокам выполнения работ.
В ряде случаев, например для таких приложений, как поддержка управления в кризисных ситуациях, обработка многомерных научных данных с множества сенсоров или постоянный мониторинг с применением беспилотных летательных аппаратов, необходима оперативная обработка данных. Это достаточно легко и быстро реализуется за счет гибкости при развертывании растровой аналитики, при этом обеспечивается высокая степень масштабируемости с точки зрения скорости обработки и подключаемого программного обеспечения, а также отсутствия ограничений по размеру наборов данных.
Еще одним важным преимуществом быстрого масштабирования является увеличение мощности вычислительных ресурсов в соответствии с текущими потребностями, что раньше часто было проблемой для подрядчиков и поставщиков услуг. Ресурсы и затраты теперь могут быть адаптированы к конкретным проектам. Использование облачных ресурсов позволяет организации удовлетворять потребности в расширении производственной мощности без больших капиталовложений, затрат на техническое обслуживание или рисков.
Когда организация разворачивает или выигрывает новый масштабный проект, она может быстро нарастить объемы доступных машинных ресурсов до уровня, соответствующего временным рамкам и бюджету проекта, а после завершения проекта освободить избыточные ресурсы, когда они уже не нужны. По мере накопления опыта оценка времени выполнения и стоимости определенных типов проектов будет уточняться, что сделает организации более конкурентоспособными и снизит сопутствующие риски и ответственность.
За кулисами растровой аналитики
Одним из основных назначений модуля ArcGIS Image Server является выполнение растровой аналитики. Он предоставляет собой программное обеспечение и пользовательские интерфейсы для организации и управления обработкой, хранением и совместным использованием растровых данных (прежде всего, – изображений), а также карт и другой географической информации на различных устройствах. Эта интегрированная система обеспечивает распространение и хранение результатов на внутренних рабочих местах и за сетевым экраном при развертывании с соблюдением всех требований и стандартов организации к безопасности, во внешних облачных средах обработки и хранения данных или в гибридной инфраструктуре, которая использует комбинацию локальных и облачных развертываний и вычислений.
Базисной средой для растровой аналитики является технология ArcGIS Enterprise, включающая корпоративный ГИС-портал, хранилище ArcGIS Data Store, серверную составляющую ArcGIS Server и Image Server, сконфигурированный под растровую аналитику и хранение растровых данных, а также связующую утилиту ArcGIS Web Adaptor. ArcGIS Enterprise интегрирует основные компоненты системы растровой аналитики для поддержки масштабируемых рабочих процессов при выполнении реальных проектов.
Возможности хранения и обработки данных можно масштабировать в широком диапазоне, разворачивая ArcGIS Enterprise в облачной среде на базе AWS или Microsoft Azure. Например, вы можете автоматически масштабировать производительность вычислений, увеличивая или уменьшая ее в соответствии с задаваемыми условиями, или распределять трафик приложений для нескольких экземпляров подсистем с целью повышения производительности. Esri упрощает развертывание такой инфраструктуры, предоставляя инструментарий Cloud Builder с образцами шаблонов для Microsoft Azure или AWS CloudFormation при настройке и развертывании вашей системы в облаке.
Запуск задания растрового анализа
Удобный пользовательский интерфейс в ArcGIS Pro или во вьюере веб-карт помогает упростить выполнение растрового анализа. Вы просто отправляете определенное задание, а настройки вашего портала определяют то, как обработка и хранение распределятся между доступными серверами, экземплярами и хранилищами данных.
Рабочий процесс растрового анализа начинается с подготовки ваших изображений и растровых данных для дальнейшей эффективной обработки (рис. 4). Эта процедура включает в себя регистрацию данных и преобразование их в распределенную версию для оптимизированной, распределенной обработки и хранения, однако, распределенное хранилище не является обязательным условием. Данные преобразуются в формат Cloud Raster Format (CRF), формат с разбиением на листы, оптимизированный для достижения наилучшей производительности.
Средства растрового анализа могут работать и с исходными данными, но этот процесс не будет столь эффективным, как при использовании оптимизированных данных. Оптимальная производительность достигается при предварительной подготовке исходных данных и размещении их в хранилище данных. Для преобразования ваших данных в распределенную версию данных с целью их оптимизации для эффективной распределенной обработки и хранения опубликованных результатов предоставляются все необходимые инструменты.
Для разработки, тестирования и оптимизации цепочек растровой обработки в приложении ArcGIS Pro или во вьюере веб-карты доступно более 200 функций и инструментов. С помощью редактора растровых функций в ArcGIS Pro вы можете интерактивно создавать и тестировать цепочку обработки данных, просматривать результаты и проверять эти результаты в динамической среде обработки. С ArcGIS Pro вы также можете создавать настраиваемые функции с помощью языка Python.
После завершения построения цепочки обработки данных ее можно сохранить в качестве шаблона. Шаблоны обработки можно опубликовать через ArcGIS Enterprise для совместного использования внутри вашей организацией. После оптимизации цепочки обработки растров вы отправляете ее на портал ArcGIS, который управляет распределением обработки, хранения и автоматической публикации результатов.
Вы отправляете задание по выполнению растрового анализа, указав портал и задав имена выходным веб-слоям изображений. Задание отправляется на сервер анализа растров для распределенной обработки растровых данных с использованием вашей цепочки обработки данных и подготовленных растровых данных, хранящихся в репозиториях хранилища растровых данных.
Выходные растровые данные с сервера анализа растров автоматически публикуются в распределенном хранилище растровых данных (Raster Data Store), а любые векторные выходные данные публикуются в хранилище ГИС-данных (GIS Data Store). Поскольку результаты анализа вашего задания публикуются автоматически, они сразу же становятся доступными в вашей организации для совместного использования и дальнейшего анализа.
Развертывание сервера изображений Image Server
Идеальная схема развертывания Image Server с растровой аналитикой состоит из трех (или более) серверных компонентов, выполняющих основные роли хост-сервера портала, сервера растрового анализа и сервера хостинга изображений. Для продвинутой растровой аналитики требуются две лицензии: ArcGIS Enterprise и Image Server.
Хост-сервер – это сервер вашего портала для стандартного администрирования системы и выполнения таких операций, как управление процессом обработки данных и ее распределение между доступными ресурсами, хранение и публикация результатов на серверах анализа растров, серверах изображений и в хранилищах данных. Он также содержит хранилище для ГИС-данных (ArcGIS Data Store) и позволяет публиковать данные, карты и веб-сервисы для широкой аудитории.
Задания с использованием растрового анализа обрабатываются серверами изображений, предназначенными для проведения растровой аналитики и состоящими из одного или нескольких серверов, каждый из которых может иметь по несколько процессорных ядер. Задачи обработки изображений и растровой аналитики распределяются на уровне сцены или подсцены, в зависимости от используемых инструментов и функций. Image Server управляет результатами обработки либо в ArcGIS Data Store на хост-сервере для продуктов векторных данных, либо в хранилище растровых данных для продуктов изображений и растровых данных. Хранилище растровых данных может быть реализовано с использованием распределенного файлового хранилища или с использованием облачного хранилища, такого как Amazon S3 или Microsoft Azure Blob Storage.
На сервере хостинга изображений размещены все сервисы изображений, созданные сервером растрового анализа. Он включает в себя хранилище растровых данных и возвращает результаты, запрошенные пользователями вашей организации.
Шаблоны и приложения для настройки системы назначают роли серверов и хранилищ данных, а также задают структуру выдачи разрешений для всех пользователей вашей организации. Это обеспечивает оптимальную гибкость при настройке и внедрении систем растровой аналитики в целевые проекты. Задействованные серверы могут масштабироваться в зависимости от потребных вычислительных мощностей для выполнения растровой аналитики и хранения данных и полученных результатов.
Архитектура системы может меняться в соответствии с вашими требованиями и бюджетом. Например, сервер хостинга изображений и хост-сервер могут быть одним и тем же сервером. Репозитории изображений могут быть локальными дисками на серверах ArcGIS в одном из хранилищ данных сервера или в облачном хранилище, таком как контейнер Amazon S3. где Amazon AWS размещает репозитории опубликованных изображений и растровых данных. (Для получения актуализируемой информации о том, как настроить ArcGIS Enterprise для растровой аналитики, обратитесь к интерактивной справке для ArcGIS Enterprise.)
Невозможное становится возможным
Растровая аналитика интегрирована с другими компонентами ArcGIS и использует преимущества этой передовой платформы. Она применяет богатый набор аналитических возможностей обработки данных в продуктах ArcGIS Desktop и ArcGIS Enterprise и ускоряет все рабочие процессы, распределяя и оптимизируя ресурсы хранения и обработки растров (рис. 6). Эти возможности создают мощную распределенную систему для работы с растровыми данными и их совместного использования, которая может масштабироваться для выполнения любого проекта в соответствии с его требованиями.
Рис. 6. Платформа ArcGIS 10.7 предоставляет развитый инструментарий для обработки и анализа больших массивов изображений и данных дистанционного зондирования.
За счет этого происходит изменение системного подхода к использованию изображений. Благодаря мощным средствам растровой аналитики организации, как крупные, так и небольшие, получили возможность выполнять проекты с самыми разнообразными требованиями, ранее невыполнимыми, масштабируя процессы наиболее эффективным и экономичным способом.
Об авторе. Джефф Лидтке (Jeff Liedtk) является инженером по продуктам для работы с растрами в компании Esri.
