Введение
Малые беспилотные летающие аппараты (БПЛА) обрели высокую популярность в качестве экспедиционного оборудования, даже без дополнительной аппаратуры в виде полезной нагрузки. Спектр экспедиционных задач, которые можно быстро решить с помощью штатной фотокамеры малого БПЛА, довольно широкий: оперативная рекогносцировка на местности, обследование опасных и труднодоступных локаций без необходимости подвергать людей риску, определение оптимальных маршрутов передвижения по пересеченной местности или в условиях торосов, заблаговременное обнаружение диких животных и иные задачи.
В настоящей статье описываются некоторые аспекты тактики применения БПЛА в сложных условиях арктических экспедиций, основанные на приобретенном опыте, приводятся полученные результаты и разбираются нюансы фотограмметрической обработки изображений. Обзорная часть статьи демонстрирует спектр задач, которые можно решать с помощью БПЛА в арктических экспедициях, а содержательная часть посвящена определению особенностей оптимальной обработки получаемых данных и поиску ответа на вопрос, насколько эффективно можно применять БПЛА для аэрофотосъемки в Арктической зоне РФ.
Авторы накопили определенный опыт использования БПЛА в ходе длительных комплексных экспедиций в Арктику. В 2020 г. состоялась Комплексная экспедиция Северного флота (СФ) и Русского географического общества (РГО) на арктические архипелаги – на ледоколе «Илья Муромец» под руководством капитана В.А. Осипова было пройдено более 20000 км и посещено 33 острова и материковых района. В 2021 г. состоялась экспедиция РГО и СФ на о. Земля Александры (арх. Земля Франца-Иосифа), а в 2022 г. на том же ледоколе было обследовано 22 района арх. Новая Земля.
В состав экспедиционных отрядов входили специалисты различных профилей, одним из которых был кинематограф. Именно медиагруппа наиболее часто использовала квадрокоптеры, поскольку они позволяют получить красочные документальные и художественные кадры, используемые в том числе и для популяризации науки.
Одной из задач экспедиции было обследование состояния исторических памятников, но не всегда погодные условия, состояние берега или запас времени позволяли высадиться группе для проведения работ. В таких случаях приходилось ограничиваться дистанционным осмотром с помощью квадрокоптера, запускаемого прямо с борта ледокола (рис. 1). Стоит отметить, что запуск квадрокоптера с судна сопряжен с существенными рисками для навигации и пилотирования: ошибки навигации и дрейф судна могут привести к крушению летательного аппарата и его потере.
Рисунок 1. Памятный знак (отмечен стрелкой) на о. Геркулес (а) и маяк на мысе Стерлегова (б)
Другой задачей, поставленной перед гидрографической группой, было уточнение координат геодезических знаков и маяков. В ряде случаев эти объекты находились на расстоянии нескольких километров от района основных работ экспедиционного отряда, поэтому крайне эффективным оказалось использование квадрокоптера для подлета к объекту, фиксирования позиции точно над ним и определения координат с помощью штатной системы позиционирования дрона (пример – на рис. 1, б).
Дроны оказались большим подспорьем для обеспечения безопасности работы экспедиционного отряда – каждая высадка начиналась с облета близлежащей территории для проверки присутствия диких зверей, наибольшую опасность из которых представляли белые медведи. Несколько раз именно наблюдение с помощью квадрокоптера позволило вовремя заметить приближение хищников (рис. 2, а). Также наблюдение с высоты (рис. 2, б) помогало определить участок берега с наименьшим количеством подводных камней для безопасного подхода катера, поскольку наблюдение за морским дном с катера возможно лишь в ограниченной области из-за эффекта полного внутреннего отражения.
Рисунок 2. Белый медведь на о. Фирнлея (а) и подводные камни у мыса Вильда (б)
Крайне полезными дроны были и для историков с археологами. Помимо картирования исторических объектов (рис. 3), съемки с воздуха позволяют найти объекты, трудно различимые с поверхности земли (рис. 4, а), а фотограмметрия позволяет получить цифровые модели памятников (рис. 4, б) и архитектурных сооружений.
Рисунок 3. а – артиллерийская батарея на о. Нансена; б – остов судна на о. Южный (арх. Новая Земля)
Рисунок 4. а – изба, в которой зимовали участники полярной экспедиции барона Э.В. Толля на о. Котельном, отмечены объекты, не различимые с поверхности земли;
б – предварительная трехмерная модель памятника Н.А. Бегичеву в пгт Диксон
Результаты фотограмметрической обработки также имеют огромное значение для геолого-геофизических работ, поскольку позволяют получить цифровую модель рельефа (ЦМР) и ортофотоплан, используемые в области геофизики, геодезии, геологии, гляциологии, океанографии и других наук о Земле. Так, с помощью аэрофотосъемки (рис. 5) удалось выявить зоны активных разломов во многих районах экспедиционных работ. Обычно для этих целей используются спутниковые снимки, но у них недостаточное разрешение и перекрытие по сравнению со снимками с дрона. Поэтому спутниковые снимки используются для планирования работ, а снимки с дрона – для детального изучения местности.
Рисунок 5. Следы сейсмических событий: а – на о. Южном (арх. Новая Земля); б – на о. Тимофеева
Материалы и методы
Первичный фотоматериал был получен с использованием квадрокоптера со штатной фотокамерой на стабилизированном подвесе. В зависимости от освещенности подбирался ND-светофильтр для обеспечения высокой контрастности снимков. Управление дроном осуществлялось в ручном режиме с помощью пульта Smart Controller, обеспечивающего повышенную дальность передачи данных благодаря усиленной антенне и высокую четкость изображения за счет высокой яркости встроенного экрана, что оказалось весьма полезным в случаях яркого солнечного света. Внутренней батареи пульта управления достаточно для 3.5 часов работы, что удобно, поскольку имевшихся 6 батарей для самого дрона хватало лишь на 3 часа полета. После каждой замены батареи заменялась также и карта памяти для снижения риска потери всех данных в случае нештатной ситуации с дроном, которых, к счастью, удалось избежать. Запись фото велась в максимальном качестве в форматах .dng и .jpg.
Обработка фотоматериалов производилась в специальном программном комплексе Agisoft Metashape, который позволяет в результате обработки фотограмметрическим методом серии снимков получать цифровую модель рельефа (ЦМР), ортофотоплан и полигональную трехмерную модель участка рельефа или отдельных объектов. Программа Agisoft Metashape является отечественной разработкой и широко применяется как в научных, так и в коммерческих целях.
ЦМР представляет собой дискретное отображение участка поверхности Земли в виде совокупности точек с заданными координатами, для которых определена высота относительно заданного уровня. Точность модели напрямую зависит от расстояния между отдельными точками и погрешности определения высот в этих точках.
Для получения качественного результата необходимо правильное планирование полета БПЛА и ракурсов съемки. Съемка должна производиться с фиксированным фокусным расстоянием. При необходимости перед обработкой производится отбраковка снимков и выравнивание экспозиции, в том числе и в режиме пакетной обработки фото. Эта процедура особенно важна для серии фотоснимков, полученных при переменной облачности, когда некоторые фото могут получиться пере- или недоэкспонированными и отсутствие такой подготовки может привести к неравномерности освещенности ортофотоплана. Для отбраковки удобно использовать встроенный функционал ПО Metashape.
Далее производится, если требуется, наложение масок и выравнивание снимков. Маски помогают исключить из обработки области снимков низкого качества или объекты, которые не нужно реконструировать. В случае плохих навигационных данных или малого перекрытия снимков достоверного выравнивания снимков можно добиться использованием маркеров и контрольных точек.
Построение трехмерной модели и цифровой модели рельефа возможно с использованием разреженного облака точек, плотного облака точек или карты глубин. Разреженное облако может быть использовано для быстрого создания полигональной модели низкого качества на основании только разреженного облака точек. Плотное облако позволяет построить модель высокого качества, основываясь на заранее восстановленном плотном облаке точек, однако время обработки увеличится. Построение по карте глубин позволяет эффективно использовать информацию с исходных изображений; при этом оно, по сравнению с построением модели на основании плотного облака, немного уступает в детальности, однако требует меньших ресурсов и времени.
Ортофотоплан может быть получен с использованием ЦМР или трехмерной модели. Подробно данные процедуры, а также преимущества и недостатки этих подходов описаны в руководстве пользователя Agisoft Metashape.
Одним из самых интересных объектов, входивших в маршрут Комплексной экспедиции СФ и РГО 2020 г., был остров Жаннетты, входящий в группу островов Де-Лонга. Он остается одним из самых слабоизученных уголков не только Арктики, но и Земли в целом; возможно, его посещало меньше людей, чем побывало в открытом космосе. Первое исследование острова было выполнено участниками Третьей высокоширотной экспедиции в 1937 г., но проф. М.М. Ермолаев оставил только общие сведения об отложениях, слагающих остров. После этого геологические исследования были выполнены только в 2013 г. – методами абсолютного датирования был определен палеозойский возраст слагающих остров вулканогенно-осадочных образований. История острова в четвертичном периоде остается неизученной. В то же время, в районе островов Де-Лонга реконструируется центральная часть локального подвижного ледникового щита относительно небольшой мощности, существовавшего во второй половине среднего неоплейстоцена. В таком случае, остров может иметь очень молодой в геологическом понимании возраст, а его образование заслуживает самого пристального внимания.
Неожиданная особенность, с которой столкнулся экипаж ледокола, заключалась в сильном расхождении использовавшейся карты с действительностью – ошибка составляла около 500 м (рис. 6). Теоретически данная ситуация могла быть связана как с ошибкой в картах, так и с ошибкой определения координат ледокола в тот момент, однако анализ GPS-данных, регистрировавшихся на протяжении почти всего рейса, показал, что такая большая ошибка в позиционировании крайне маловероятна. Данный прецедент вызвал повышенный интерес к исследованию острова. Поскольку высадка была невозможна, как и облет острова с помощью дистанционно управляемого летательного аппарата (последнее – из-за погодных условий), экспедиционный отряд принял решение провести фотосъемку острова по мере движения ледокола вокруг него с помощью дрона, зафиксировав его в верхней части судна на уровне ходового мостика. Это было удачное решение, поскольку таким образом получилось воспользоваться преимуществами системы стабилизации камеры дрона и высокоточным приемником GPS на его борту. Так удалось получить серию фотоснимков с северной и западной сторон острова.
Рисунок 6. Сопоставление географической карты о. Жаннетты с радиолокационными данными (а)и пример фото, полученного с борта ледокола (б)
Из-за низкой облачности и отсутствия надирных фотографий внутренняя часть острова осталась неизученной. Чтобы исключить из обработки области, которые могли привести к ошибочным результатам реконструкции модели острова, активно применялось наложение масок на фотоснимки. Также некоторые снимки получились с низкой резкостью из-за качки и были исключены из обработки. Оценка качества снимков производилась с помощью встроенной в Metashape функции, что позволило избавиться от большого количества артефактов при построении трехмерной модели.
Для обеспечения безопасности судовождения фотосъемка острова проводилась с расстояния более 1 км, при этом все снимки сделаны с высоты нескольких метров над уровнем моря. Это привело к сильной ограниченности набора данных для построения трехмерной модели острова и цифровой модели рельефа. Высокой детальности при таких вводных данных добиться невозможно, поэтому было принято решение строить модель по карте глубин без расчета плотного облака точек. Тем не менее, полученных данных было достаточно для определения части береговой линии острова. Береговая линия была нанесена с помощью векторной графики.
В качестве другого примера аэрофотосъемки можно привести о. Тимофеева (арх. Новая Земля). Во время проведения работ была исследована только северная половина острова, где наблюдается смещение невысоких, но протяженных валообразных поднятий по разломной зоне, пересекающей весь остров по ширине. В ходе работ на о. Тимофеева была проведена подробная фотосъемка части острова в прекрасных погодных условиях ясной погоды и слабого ветра. Было сделано несколько сотен надирных и перспективных фотографий с перекрытием 50–80 %. Точки съемки отмечены кружками на спутниковом изображении острова (рис. 7). В результате обработки данных в программном обеспечении Agisoft Metashape построены трехмерная модель острова, ортофотоплан и цифровая модель рельефа.
Рисунок 7. Спутниковое изображение о. Тимофеева с местами проведения съемки (а) и пример фото с квадрокоптера (б)
Третий пример применения результатов фотограмметрической обработки фотоматериалов с БПЛА – это о. Белуха в Карском море (рис. 8). В южной части острова выявлен молодой тектонический разрыв, представленный выразительными сейсмотектоническими рвами шириной от 3 до 15 м и уступами.
Рисунок 8. Сейсмический разлом (а) и маяк (б) на о. Белуха
Интерес вызывает наличие как горизонтально ориентированной структуры (рельеф самого острова), так и вертикальной – маяка, построенного на острове. Маяк-памятник установлен в честь ледокола «Сибиряков», затонувшего 25 августа 1942 г. в ходе героического сражения с немецким тяжелым крейсером «Адмирал Шеер». Особенность съемки в этом случае заключалась в малом общем количестве фотографий, среди которых, однако, были надирные и перспективные, а также в наличии видеозаписи облета маяка, которая использовалась при построении его трехмерной модели.
Результаты
На рис. 9 представлены трехмерная модель части о. Жаннетты на фоне спутникового снимка и цифровая модель рельефа острова с наложенной береговой линией. Линией 2 отмечена береговая линия острова, полученная в результате обработки. Как видно из рисунка, трехмерная модель и береговая линия отлично согласуются со спутниковым изображением, что говорит о достаточной для навигации точности географической привязки полученных снимков. Стоит отметить, что фиксация береговой линии исключительно по спутниковому изображению затруднительна ввиду ледяного припая.
Рисунок 9. Трехмерная модель (а) и ЦМР (б) о. Жаннетты, совмещенные со спутниковым снимком
1 – пункты, из которых производилась фотосъемка по мере движения ледокола;
2 – береговая линия
Как и ожидалось, ЦМР обладает достаточно высокой детальностью в прибрежной области, в то время как внутренняя часть острова с этой точки зрения не информативна, что обусловлено условиями съемки, позволяющими хорошо рассмотреть только крутые прибрежные скалы.
Трехмерная модель части о. Тимофеева, наложенная на спутниковый снимок, показана на рис. 10. Прозрачность воды и хорошая погода позволили в ходе построения трехмерной модели рельефа острова восстановить, в том числе, батиметрию прибрежного мелководья. ПО Agisoft Metashape не позволяет вводить коррекцию преломления световых лучей при обработке снимков, поэтому ожидается, что карта глубин имеет связанные с этим отклонения от реальных значений. Однако сам факт возможности применения данного метода для построения карты глубин достоин внимания и дальнейшего исследования.
Рисунок 10. Трехмерная модель о. Тимофеева, совмещенная со спутниковым снимком
Внушительный объем полученных фотоматериалов позволил произвести сравнение различных подходов при обработке в программе Agisoft Metashape. На рис. 11 представлены для сравнения цифровые модели рельефа, полученные тремя различными способами: по карте глубин без построения плотного облака точек и по плотному облаку точек по фотографиям в форматах .jpg и .dng. Разрешение во всех случаях составляло около 10 см/пиксель. В обработку допускались снимки с коэффициентом качества выше 0.8. Расчет представленных моделей умышленно производился без ручной обработки снимков и облаков точек.
Рисунок 11. Сравнение ЦМР о. Тимофеева, полученных различными способами:
а – по карте глубин без плотного облака точек, разрешение 11.2 см/пиксель, исходные снимки в формате .jpg;
б – по плотному облаку точек, разрешение 10.2 см/пиксель, исходные снимки в формате .jpg;
в – по плотному облаку точек, разрешение 10.5 см/пиксель, исходные снимки в формате .dng.
Прямоугольниками и овалами выделены артефакты
Модели, полученные с использованием плотного облака точек, изобилуют артефактами в отличие от модели, построенной по карте глубин. При этом детальность модели, построенной по карте глубин, лишь незначительно уступает остальным, а времени на обработку такая модель требует меньше. Таким образом, при обработке фотоматериалов схожего качества для построения цифровой модели рельефа использование плотного облака точек не только оказалось избыточным, но и привело к худшему результату ввиду наличия артефактов.
Фото- и видеоматериал, полученный при съемке маяка на о. Белуха, позволил построить его трехмерную модель (рис. 12). Было сделано всего два облета вокруг маяка и несколько надирных снимков. Облеты выполнялись примерно на одной высоте в автоматическом режиме. Встроенный функционал Agisoft Metashape позволяет преобразовать видеоряд в серию фотоснимков, однако полученные видеоматериалы практически не захватили верхнюю часть маяка, а пара надирных снимков была сделана без смещения в горизонтальной плоскости. Все это сильно осложнило выравнивание снимков и построение модели. В ходе обработки пришлось активно использовать маркеры и контрольные точки. Качественному восстановлению области под верхней крышей маяка способствовало наложение масок на видимые между опорами крыши участки неба.
Рисунок 12. Трехмерная модель маяка на о. Белуха
Точность координатной привязки полученных моделей и, непосредственно, точность восстановленной модели являются одними из основных критериев качества полученных результатов. В Agisoft Metashape точность можно оценить по маркерам. В программе используются два типа маркеров – опорные и контрольные. Опорные точки используются для привязки модели и, соответственно, ошибка их установки позволяет оценить точность привязки модели, в то время как контрольные точки используются для проверки точности выравнивания фотографий и результатов оптимизации. По контрольным точкам, соответственно, можно оценить точность выравнивания фотографий и построения модели.
При организованной топографической съемке маркеры удобнее всего выставлять по расположенным на местности топознакам. В условиях экспедиции, когда нет возможности размещать топознаки, можно использовать контрастные объекты.
Координатная привязка представленных фотоматериалов производилась с использованием штатного навигационного датчика квадрокоптера. В Арктике такая привязка может содержать большие ошибки из-за меньшей плотности спутников в арктическом регионе; тем интереснее оценить точность привязки полученных моделей. Произведем оценку на примере модели маяка на о. Белуха, на котором присутствует много контрастных объектов правильной формы. На рис. 13 представлены модель с указанными местами установки маркеров и скриншот таблицы, в которой указаны точность расчета координат маркеров, а также ошибки их позиционирования в метрах и пикселях. Точность расчета обусловлена разрешением модели и составляет 5 мм. Средняя ошибка позиционирования опорных точек составила около 7 см, а ошибка позиционирования контрольных точек – 46 см. Из этого можно сделать вывод о высокой точности как самой модели, так и ее привязки. Также о высокой точности привязки моделей говорит хорошее соответствие восстановленной береговой линии спутниковым изображениям о. Жаннетты.
Рисунок 13. Трехмерная модель маяка на о. Белуха с параметрами контрольных и опорных точек
Заключение
В работе представлены три примера применения аэрофотосъемки с использованием БПЛА в Арктике и последующей обработки методом фотограмметрии в программном комплексе Agisoft Metashape. В первом случае при съемке о. Жаннетта исключительно с уровня моря удалось построить рельеф прибрежных крутых скал и восстановить береговую линию острова без использования специализированного оборудования. Во втором случае при обработке богатого фотоматериала с о. Тимофеева показано, что лучший результат может быть достигнут при построении модели острова по карте глубин, а не по плотному облаку точек. Третий случай продемонстрировал, что удовлетворительный результат можно получить даже при использовании последовательности кадров, полученных при видеосъемке, что, конечно, значительно ускоряет проведение полевых работ, но снижает качество каждого отдельного снимка, которое нельзя компенсировать увеличением общего количества фотографий.
Использование малых БПЛА с фотокамерой позволяет в ходе комплексных арктических экспедиций решать множество научных задач, сохранять археологические и архитектурные объекты в виде цифровых трехмерных моделей, проводить оперативную рекогносцировку на местности, безопасно обследовать локации, определять оптимальный маршрут по пересеченной местности, заблаговременно предотвращать встречу с дикими зверями. Поэтому в современных экспедициях крайне рекомендуется применение БПЛА.
Ссылки на источники, используемые в статье, были удалены. Библиография доступна в оригинальной публикации.
Авторы статьи: Р.А. Жостков, С.А. Тощов (Институт физики Земли им. О.Ю. Шмидта РАН, г. Москва, Россия)
Опубликовано в журнале «Наука и технологические разработки», 2023, Т. 102, № 1, с. 4–18.