Mixing the Real with the Virtual for New Jersey Utility
Коммунальная служба из штата Нью-Джерси использует технологию смешанной реальности для просмотра имитируемых объектов на фоне реального окружения с применением возможностей ArcGIS. Созданное приложение позволяет значительно точнее ориентироваться на местности и наглядно отображать скрытые под землей инженерные сетевые структуры при проведении выездных ремонтных и профилактических работ, обмениваться этой информацией с коллегами и другими организациями. Это один из хороших примеров технологического альянса для создания решений, расширяющих возможности работы с данными о нашем мире.
В последние годы затопившие Интернет статьи о виртуальной и дополненной реальности стали очередным большим трендом. Лен Бундра, директор по ИТ/ГИС Управления муниципальных и коммунальных служб в г. Томс-Ривер (Toms River Municipal Utilities Authority; TRMUA), штат Нью-Джерси, предвидел это. Он верил в то, что эти технологии позволят полевым работникам «видеть сквозь землю», как он выразился, и просматривать инженерные сети под ногами, не полагаясь на установленные на автомобилях ноутбуки усиленной конструкции, которые позволяли отображать лишь статичные объекты в 2D-ГИС. Он поместил сообщение в сети LinkedIn, в котором изложил свою идею использовать очки с поддержкой виртуальной или дополненной реальности, чтобы проецировать в реальном мире объекты из ArcGIS.
Функции цветового кодирования приложения смешанной реальности для коммунальной сферы компании Meemim позволяют показать электрические сети красным цветом; водопроводные – голубым; канализационные и ливневые – зеленым; а газовые, нефтяные и, например, паровые трубы – желтым.
Хотя этот пост на сайте социальных сетей просматривался несколько сотен раз, он оставался без позитивного ответа почти три года. Но затем, в октябре 2016 года, было получено сообщение от Алека Пестова, разработчика из г. Торонто, Канада, который разделял видение Бундры. Пестов, основатель и главный исполнительный директор компании Meemim, Inc., участника партнерской программы для стартапов Esri, предположил совместно создать нечто совершенно новое — приложение смешанной реальности, которое позволит коммунальным предприятиям (а, в конечном итоге, и другим организациям) изменить подходы и взаимодействовать с общим контентом и данными по-новому,
Смешанная реальность (mixed reality: MR), часто описываемая как сочетание виртуальной реальности (virtual reality; VR) и дополненной реальности (augmented reality; AR), позволяет пользователям видеть виртуальные объекты, которые не видны с реальной точки зрения. Это похоже на отображение в VR, хотя при этом представление реального мира также остается. В среде смешанной реальности пользователи могут просматривать и получать информацию как о видимых объектах реального мира, окружающих их, так и о проецируемых вместе с ними виртуальных или скрыты от взгляда объектах. По мнению Бундры, смешанная реальность была идеальной средой для того, чтобы позволить своим работникам на местах видеть скрытые коммунальные сети, оставаясь при этом ситуативно осведомленным об их реальном окружении.
Бундра и Пестов немедленно приступили к воплощению этой идеи в жизнь.
Получение поддержки для моделирования
Прежде чем два новатора могли бы начать работу над проектом, Бундра должен был получить одобрение от своего руководства. Пестов предложил, чтобы Meemim финансировала авансовые расходы на программирование, а сотрудники TRMUA помогли в технических консультациях и полевом тестировании на этапе разработки и доработки задуманного приложения. А дополнительное финансирование со стороны TRMUA можно будет отложить до завершения демонстрации результатов пилотного проекта Meemim.
К счастью, совет TRMUA имел историю поддержки раннего внедрения технологий, которые позволили бы работникам коммунальной службы быть более эффективными и, в свою очередь, сэкономить деньги на последующих этапах работ. Поэтому после того, как Meemim создала тестовый пример и представила технологию для рассмотрения консультационным советом, было получено одобрение на продолжение работы над проектом.
Как продемонстрировал основатель и главный исполнительный директор Meemim Алек Пестов (на фото), смешанная реальность позволяет работникам на местах видеть скрытые сетевые объекты, получая при этом расширенную ситуационную осведомленность для принятия решений и действий.
На начальном этапе работы команда Пестова в качестве одного из важных элементов выбрала технологию умных очков Microsoft HoloLens. Этот наголовный голографический компьютер был наиболее удобным устройством, которое отвечало всем функциональным требованиям TRMUA. Кроме того, его поддержка обеспечивалась крупнейшей сетью технических и программных специалистов и разработчиков Microsoft. Многолетнее партнерство Esri с Microsoft также учитывалось, поскольку TRMUA уже много лет является корпоративным клиентом обеих компаний.
Затем ему пришлось разработать способ подключения функциональности ArcGIS в проект TRMUA, передачи в него таких вещей как координаты объектов съемки, данные и проекции. Хотя Бундра имел 25-летний опыт в редактировании, создании объектов в ГИС, их экспорте в другие форматы и из них, но экспорт голографических проекций на оборудование смешанной реальности был чем-то совершенно новым. Поскольку некоторые из программистов Meemim уже имели опыт в работе с Unity, платформой разработки, используемой для создания 3D-миров для многих онлайн-игр, стартап выбрал ее в качестве механизма моделирования. Таким образом, программисты ГИС встретились и стали взаимодействовать с программистами Unity, и этот подход отлично сработал.
Превращение виртуального в реальность
Meimim начал активную разработку этой технологии в декабре 2016 года. В течение трех месяцев компания создала свое приложение под названием vGIS. Оно позволяет взаимодействовать с сервисами объектов ArcGIS, загружать результаты в сервис Meemim в облачной среде Microsoft Azure и напрямую связываться с оборудованием HoloLens для создания голографической проекции подземных коммуникаций, выводить их отображение относительно местоположения и направления взгляда носителя этой гарнитуры. Как Microsoft, так и Esri подтвердили, что эта разработка Meemim и TRMUA является новаторской, поскольку они не знали о каком-либо другом подобном проекте, имеющем явную прикладную направленность.
К маю 2017 года пришло время протестировать новую технологию в полевых условиях. Основная проблема заключалась в том, могло ли оборудование Microsoft HoloLens точно спроектировать и отобразить скрытые под землей объекты ГИС TRMUA. Эти объекты были обследованы в поле и подвергнуты постобработке с субдециметровой точностью, поэтому пользователь мог бы видеть их в соответствии с картиной реального мира.
«Мы имеем дело с пятью или шестью разными типами инженерных коммуникаций под поверхностью улицы», – отметил Бундра. – И мы должны обнаружить эти коммунальные сети, чтобы знать точное расположение каждой из них, когда начинаем копать. Надо учитывать и более динамичную ситуацию: автомобиль врезается в телефонный столб, столб падает на дорогу – и тут на сцене появляются семь отдельных компаний, каждая из которых просматривает в ГИС свои коммунальные сети на отдельных устройствах. То, что я пытаюсь сделать, – предоставить всем полевым сотрудникам единую точку доступа, чтобы они могли увидеть все подземные коммуникации под их ногами и получить одну общую картину через общий интерфейс».
Демонстрация возможностей приложения vGIS для поддержки смешанной реальности, несколько коротких видео можно посмотреть в YouTube и на сайте компании Meemim.
Затем Бундра предпринял попытку сделать следующий шаг в будущее ГИС. На тихой улице в Томс-Ривере он встал на тротуар, поправил свою гарнитуру HoloLens и запустил приложение vGIS. Используя запатентованный Meemim метод геокалибровки, он привязался к близлежащему видимому ГИС-объекту (канализационному люку), а затем задал гарнитуре HoloLens точную ориентацию, используя простой двухэтапный процесс. Потребовалось меньше минуты, чтобы HoloLens выполнил калибровку, а затем Бундра увидел, что все водопроводные, газовые, электрические, санитарные и ливневые канализационные системы начали проецироваться вокруг него.
После этого, используя систему голосового и тактильного управления, которую Meemim встроил в свой интерфейс vGIS, Бунда смог задавать отображению HoloLens стандартные для ГИС команды, такие как «увеличить масштаб», «панорамирование влево», «выбрать» и «закрыть». Это позволило первопроходцу – и уже позволяет другим работникам на местах – видеть и получать информацию о коммунальных сетях вокруг него, в том числе с использованием голосовой связи.
В соответствии общими договоренностями, в приложение была включена утилита цветового кодирования объектов слоя инженерных коммуникаций; электрические сети отображались красными, водопроводные были голубыми, канализационные и дождевые стоки – зелеными и т.д. Meemim также обеспечила возможность отображать на голограммах размеры труб в соответствии с их фактическими диаметрами, так чтобы труба диаметром в два дюйма была тоньше, чем труба диаметром восемь дюймов. Кроме того, каждая линия инженерных коммуникаций была представлена двумя линиями: сплошной, которая показывала ее глубинное положение, и пунктирной, которая показывала ее проекцию на поверхности дороги или тротуаре.
Всякий раз, когда Бундра двигал глазами, за линией его взгляда следовал маленький цветной курсор. При взгляде на ГИС-объект он мог сказать «выбрать», и тогда появлялось окно с информацией об атрибутах этого объекта. А после команды «закрыть» окно исчезает.
В ходе тестирования приложения Бундра шел вдоль водопроводной магистрали. Он сделал поворот на первой линии водоснабжения и закончил свой тур по смешанной реальности над счетчиком воды под ногами. Все совпадало как визуально, так и в виртуальном мире вплоть до нескольких дюймов друг от друга.
Для первого полевого теста Бундра даже не ожидал получить столь впечатляющие результаты. И то, что он видел, только усилило его первоначальное видение: эта смешанная реальность и технология ГИС скоро очень тесно сольются, чтобы обеспечить ощутимые преимущества для всех полевых операций на коммунальных сетях, а затем и в ряде других прикладных сфер.
Изменение правил игры
В настоящее время сотрудники коммунального предприятия TRMUA используют созданное приложение при работе в полевых условиях. И любой, кто это видит, быстро понимает, что эта технология наиболее эффективна, когда организации делятся своими данными, чтобы каждый мог видеть, что пролегает под их ногами.
Учитывая, что TRMUA обслуживает сотни тысяч граждан в разных юрисдикциях и координирует свою операционную деятельность с семью государственными и частными организациями, созданное приложение теперь сможет приносить пользу всем этим структурам. Помимо прочего, ознакомление с этим приложением помогло инициировать разговоры и, в перспективе, договоренности о необходимости обмена данными и их совместного использования и применения сопоставимых картографических стандартов и ГИС.
В идеале, смешанная реальность может привнести в сообщество ГИС то же понимание и воодушевление, которая эта технология инициировала, придя в сферы средств массовой информации, развлечений и компьютерных игр.
Описание и результаты внедрения этой инновационной разработки опубликованы в выпускаемом Esri ежеквартальном издании ArcNews в 2018 году. Следует отметить, что в к настоящему времени приложение vGIS Utilities развернуто в нескольких десятках мест по всему миру. Для получения дополнительной информации о проектах с использованием смешанной реальности можно обращаться в коммунальное управление TRMUA к Лену Бундра (Len Bundra; lbundra@tomsrivermua.org) или к директору компании Meemim Алеку Пестову (Alec Pestov; alec.pestov@meemim.com).
Краткий видеоролик с демонстрацией некоторых возможностей приложения vGIS от компании Meemim для поддержки среды смешанной реальности в ГИС выложен в YouTube, см.: https://www.youtube.com/embed/86UQ0i5MPOA, его название “Mixed Reality & GIS / a Cutting-Edge Solution for a New Jersey Water Utility” (Смешанная реальной и ГИС: Новейшее решение для коммунальной водопроводной компании в Нью-Джерси). Несколько подобных видео можно посмотреть и на сайте компании по адресу http://www.vgis.io/.
