Узнайте о новых функциях в Premiere Pro, которые помогают устранить проблемы с плавающим затвором, которые возникают в исходных медиаданных с камер DSLR и с других камер, оснащенных датчиками CMOS.
Типичная проблема в отношении камер DSLR и других камер на базе датчика CMOS заключается в том, что, как правило, возникает отставание по времени при сканировании строк видеоданных. Из-за этого не все части изображения записываются в одно время, что вызывает такие искажения, как эффект плавающего затвора. Эти искажения могут возникать при движении камеры или предмета.
Для удаления этих искажений можно использовать эффект «Устранение эффекта плавающего затвора» в Premiere Pro.
После применения этого эффекта становятся доступны следующие свойства:
Скорость плавающего затвора: задает процент кадровой частоты, то есть, время сканирования. Для камер DSLR это значение составляет 50-70%, для iPhone — близко к 100%. Настройте скорость плавающего затвора, чтобы искаженные строки стали вертикальными.
Направление сканирования: задает направление сканирования для плавающего затвора. Большинство камер выполняют сканирование датчика в направлении сверху вниз. Камеры смартфонов можно переворачивать сверху вниз или поворачивать. Для этого необходимо задать другое направление сканирования.
Раздел расширенных настроек:
Метод: определяет использование анализа оптического потока и изменение времени движения пикселей для создания кадров без искажения («Движение пикселей») или распределенное отслеживание точки и деформации («Деформация»).
Детальный анализ: анализ точки в пределах деформации с более высоким уровнем детализации. Доступно при использовании метода деформации.
Элемент движения пикселей: определяет необходимую детализацию вычислений векторного поля оптического потока. Доступно при использовании метода «Движение пикселей».
Несмотря на то что эффект стабилизатора деформации имеет встроенную функцию устранения эффекта плавающего затвора, автономная версия последнего включает больше настроек. В отдельных случаях требуется только устранение эффекта плавающего затвора без стабилизации снимка.
Источник
Rolling Shutter (роллинг шаттер) в видеосъемке
Появление роллинг шаттера совпадает с моментом, когда в фото/видеосъемочной технике стали применяться матрицы CMOS (КМОП-сенсор). В отличие от матриц CCD (ПЗС-сенсор), CMOS обычно фиксирует изображение построчно, сверху-вниз. Таким образом, при движении в кадре матрица не успевает зафиксировать информацию со всего кадра, и на обработку подается лишь информация с нескольких строк. Тем временем объект в кадре уже изменил свое положение, соответственно, изменилось и его положение на матрице. Такое нескончаемое запаздывание матрицы за движением в кадре приводит к появлению роллинг шаттера.
Скорость снятия информации в разных сенсорах может различаться. Более того — разные CMOS-матрицы имеют разное же количество пикселей, и, соответственно, строк, с которых требуется снять информацию. Неизбежный вывод: чем медленнее матрица, тем медленней происходит снятие информации с ее строк. Аналогично и с количеством пикселей — чем бо́льшим количеством пикселей обладает матрица, тем медленней происходит снятие с нее информации, строк-то ведь больше.
Как проявляется роллинг шаттер?
1. Наклон вертикалей. Данный дефект подразделяется на два типа:
наклон отдельных объектов, когда камера неподвижна, а снимаемый объект перемещается по горизонтали
наклон всего кадра, когда сама камера движется по горизонтали
Следующие ролики покажут оба типа дефекта во всей красе:
2. Желе. Зрительно проявляется в виде нестабильной картинки, так, словно перед камерой колышется абсолютно прозрачная желеобразная масса, хаотично искажая весь кадр. Этот дефект возникает при неупорядоченном перемещении камеры во все стороны, или, иначе говоря, когда при съемке оператор машет камерой, словно метлой. Степень желейности зависит как от быстродействия матрицы, так и от скорости «подметания». В некоторых, особо запущенных случаях, когда матрица откровенно медленная и/или имеет слишком большое количество пикселей, желе может проявляться даже при почти, казалось бы, статичной съемке с рук. Дело в том, что мелкая дрожь, идущая от руки, преобразуется встроенным стабилизатором в более плавное перемещение, которого оказывается достаточно для появления роллинг шаттера.
3. Горизонтальные пересвеченные полосы в кадре. Возникают при срабатывании фотовспышки (молнии и пр.). Это абсолютно неизбежный дефект, который возникает всегда при резком изменении освещенности, и если камера оснащена CMOS-матрицей с построчным снятием информации. Появление этих полос гарантируется независимо от скорости считывания с матрицы. Медленная ли она, быстрая ли — неважно. Полосы обязательно будут, только длительность их присутствия в кадре окажется разной.
Какие камеры чаще всего выдают дефект роллинг шаттера? Ответить несложно: все, имеющие CMOS-матрицу. Разумеется, наиболее ярко данный дефект выражен в фотоаппаратах и недорогих видеогаджетах.
Фотоаппараты. Они имеют медленную многомегапиксельную матрицу, предназначенную для фотосъемки. Видеосъемка в фотоаппаратах была и остается лишь опцией, которую оператор использует на свой страх и риск
Видеорегистраторы и экшн-камеры, а также карманные камеры и прочие сотовые телефоны. Ввиду того, что экшн- и карманные камеры обычно являются бюджетными, они оснащаются медленными матрицами. То же относится и к смартфонам либо планшетам: даже в дорогих моделях этой техники присутствуют медленные экономичные матрицы, гарантирующие бульдожий роллинг шаттер. Исключение из данного списка составляют редкие модели дорогих экшн-камер, где установлены новые скоростные матрицы
в съемке обычными видеокамерами с CMOS-матрицами. Здесь роллинг шаттер проявляется реже, чем в двух перечисленных случаях. Просто потому, что эти аппараты предназначены для правильной, высококачественной видеосъемки. Однако и тут редкие исключения портят безмятежную картину: в погоне за мегапикселями разработчики забывают о неизбежном появлении роллинг шаттера. К сожалению, с годами ситуация не улучшается. А даже наоборот.
Резюмируем: чем бо́льшим количеством пикселей обладает матрица видеокамеры или фотоаппарата, и чем ниже скорость передачи данных с этой матрицы, тем сильнее выражен роллинг шаттер. Касаемо видеокамер хотелось бы отметить: для видеосъемки с разрешением Full HD вполне достаточно двух-мегапиксельной матрицы. Если же такая матрица окажется еще и быстрой, то роллинг шаттер проявится только в случае с фотовспышкой. А бороться с фотовспышками несложно: достаточно выгнать всех назойливых фотографов из помещения, где производится видеосъемка, это самый надежный способ борьбы с фотовспышечным роллинг шаттером.
Способы борьбы с роллинг шаттером
Первый способ, кардинальный. Цитата: не снимать объекты, ведущие к появлению подобных дефектов. Это, между прочим, совет профессионала, занимающегося фотоаппаратной видеосъемкой (ссылка). Если жестко следовать этому совету, придется отказаться от съемки с рук, от съемки быстродвижущихся объектов, от съемки с движущегося транспортного средства и т. д. Что остается? Правильно, остается съемка статичных заранее подготовленных локаций со спокойным движением в кадре, многократно отработанным несколькими дублями. Проще говоря — постановочная съемка. Или, в крайнем случае, съемка неподвижной камерой, жестко закрепленной на штативе. А там уж как повезет; если кто-то во время съемки пересек кадр слишком быстро, или вытащит из-за пазухи фотоаппарат со вспышкой — будет сам себе виноватый.
Второй способ, малорезультативный: программная обработка. Нынче существует несколько плагинов, а также встроенных в видеоредакторы фильтров, которые якобы устраняют роллинг шаттер. Не верьте. Точнее, так: верьте с оглядкой. Во-первых, этот программный финт может исправить только одно из проявлений роллинг шаттера — наклон вертикалей. Но, как мы помним, наклон вертикалей в роллинг шаттере может быть двух типов: наклон всего кадра и наклон объекта в кадре. Так вот: все фильтры, которые хвастаются своим умением уничтожать роллинг шаттер, в состоянии лишь немного ослабить угол наклона всего кадра, но не его части. Чаще всего такой фильтр занимается банальной геометрической трансформацией кадра, наклоняя его в нужную сторону на нужный градус. В качестве примера сказанному приведем следующий ролик, где необработанное видео сравнивается с обработанным в программе Final Cut Pro X:
Обратите внимание на разницу углов в исходном и обработанном видео. Если в первом случае, когда весь кадр имеет наклон, программа сумела чуть исправить положение, то во втором случае с проезжающим автобусом фильтр оказался бессилен. Что и требовалось доказать.
Сделаем вывод: избежать роллинг шаттера в ваших съемках поможет только отсутствие тряски, фотовспышек, и быстродвижущихся объектов. Звучит смешно, однако факт. Где-то глубоко в душе — очень глубоко — теплится надежда, что разработчик наконец-то одумается, и перестанет встраивать медленные многомегапиксельные матрицы в видеосъемочные гаджеты. Но, поразмыслив, понимаешь, что это из области фантастики. Так как маркетологи, у которых задача продавать, немедленно вмешаются в ситуацию с быстрыми матрицами, и заставят инженеров довести количество пикселей в датчиках до очередных космических величин. Продажи таких камер, конечно же, вырастут:
— Ого, гляди-ка, 100 мегапикселей! Дайте две!
Но что станет результатом подобного увеличения количества пикселей в быстрых матрицах? Правильно!
Источник
Роллинг шаттер как избавиться
Устранение эффекта плавающего затвора – Rolling Shutter Repair After Effects
Распространенной проблемой для цифровых зеркальных фотокамер и других камер на основе КМОП-сенсоров является то, что они обычно имеют задержку между сканированием строк видео. Из-за временной задержки между сканированиями не все части изображения записываются одновременно, что приводит к искажениям со сдвигом затвора. Эти искажения могут возникать при движении камеры или объекта.
Эффект «Устранение скользящего затвора» в After Effects можно использовать для удаления этих артефактов искажения.
После применения эффекта доступны следующие свойства:
Скорость скользящего затвора : указывает процентную частоту кадров, которая является временем сканирования. Кажется, что зеркалки находятся в диапазоне 50-70%, а iPhone — почти на 100%. Отрегулируйте скорость скользящего затвора, пока искаженные линии не станут вертикальными.
Направление сканирования : указывает направление сканирования рольставни. Большинство камер сканируют датчик сверху вниз. С помощью смартфона вы можете перевернуть или повернуть камеру, что потребует другого направления сканирования.
Метод : указывает, используются ли анализ оптического потока и повторная синхронизация движения пикселей для создания неискаженных кадров (Pixel Motion) или можно использовать метод разреженного отслеживания точек и деформации (Warp).
Подробный анализ : выполняет более подробный точечный анализ деформации. Доступно при использовании метода Warp.
Детализация движения пикселей : указывает, насколько детальным может быть вычисление векторного поля оптического потока. Доступно при использовании метода Pixel Motion.
Источник
Коррекция искажений скользящего затвора (Rolling Shutter) и обработка данных аэрофотосъёмки с Topodrone DJI Mavic 2 Pro L1/L2 RTK/PPK
Topodrone DJI Mavic 2 Pro L1/L2 RTK/PPK
Рис. 1. Topodrone DJI Mavic 2 Pro L1/L2 RTK/PPK.
Все большую популярность у наших пользователей приобретает геодезический квадрокоптер Topodrone DJI Mavic 2 Pro L1/L2 RTK/PPK.
Данный дрон обладает рядом преимуществ по сравнению с другими геодезическими беспилотниками, а именно:
На борту установлен высокоточный 186 канальный L1/L2/L5 мультисистемный ГНСС приемник, синхронизированный с 20 Mп камерой Hasselblad;
Малый вес и компактность, это самый миниатюрный геодезический квадрокоптер на рынке;
Великолепные полётные характеристики, наличие продвинутой системы предупреждения препятствий;
Удобство использования, наличие широкого спектра программного обеспечения для планирования полетов.
Однако, мы часто слышим скептические замечания, что DJI Mavic 2 Pro оснащен камерой с затвором типа Rolling Shutter («построчный» или «скользящий» затвор), что приводит к искажению изображений и, как следствие, не позволяет выполнить высокоточное построение ортофотопланов и цифровых моделей местности.
Для того, чтобы развеять эти сомнения, мы расскажем вам об особенностях работы камер с Rolling Shutter, рассмотрим отличие от покадрового (механического) затвора, а также на практических примерах покажем, как современное фотограмметрическое программное обеспечение Pix4Dmapper корректирует искажения, связанные с построчным затвором.
Механический и скользящий затвор камер
Рассмотри работу двух основных типов затворов представленных на рисунке.
Рис. 2. Демонстрация работы механического и скользящего затворов.
Кадровый затвор камеры (слева) фиксирует весь кадр изображения практически в один и тот же момент времени. Такой тип затвора распространен среди камер с ПЗС (CCD) матрицей.
Камеры с построчным затвором (справа) в момент съемки построчно сверху вниз считывают кадр. Дисторсии построчного затвора возникают, когда положение объекта съемки относительно камеры меняется во время построчного считывания одного и того же кадра.
Рис. 3. Демонстрация съемки камерой с покадровым затвором и построчного считывания кадра скользящим затвором.
При использовании таких искаженных снимков в программном обеспечении для фотограмметрии смещение пикселей может вызвать проблемы при поиске связующих точек на фотоснимках и, таким образом, стать причиной неточного определения параметров внутреннего и внешнего ориентирования изображения.
Неточно вычисленные параметры камеры непременно приведут к снижению точности построения ортофотопланов и трехмерных моделей местности.
Компенсация искажений скользящего построчного затвора в ПО Pix4Dmapper
В профессиональном фотограмметрическом ПО Pix4Dmapper используется модель для устранения искажений построчного затвора, осуществляющая коррекцию смещения пикселей и, таким образом, точнее определяющая параметры внутреннего и внешнего ориентирования снимков.
Смещение пикселей можно посчитать воспользовавшись следующей формулой:
Δ ≈ V · T · f P · h
где Δ — вертикальное смещение в пикселах, V — скорость дрона (метры/сек), T — время считывания изображения матрицей (секунды), f — фокусное расстояние (миллиметры), P (миллиметры/пиксель) — высота пикселя матрицы, h (метры) — высота полета или расстояние от сенсора до объекта.
Следует отличать два понятия:
Время считывания изображения матрицей (Readout time) – это время, которое необходимо для конвертации светового сигнала в аналоговый.
Выдержка (Shutter Speed) – это время, за которое матрица освещается светом.
Например, DJI Mavic 2 Pro имеет время считывания сигнала матрицы порядка 62 миллисекунды. Если данный квадрокоптер будет двигаться со скоростью 10 м/с на высоте 100 метров над землей, то вертикальное искажение, вызванное эффектом построчного затвора, составит 23.88 пикселей, камера сместится почти на 57 см за время считывания изображения.
Большинство программ для фотограмметрии основаны на предположении, что во время считывания изображения камера не меняет своего положения. Модель коррекции построчного затвора в Pix4Dmapper учитывает изменение положения камеры.
Изменения положения камеры для каждого ряда аппроксимируются путем применения линейной интерполяции к двум положениям камеры (в начале и в конце считывания изображения). Было доказано, что такая линейная аппроксимация работает особенно хорошо с квадрокоптерами, на которых установлен подвес, стабилизирующий камеру в положении надир, а также когда используются высокоточные координаты центров фотографирования.
Коррекция построчного затвора в ПО Pix4Dmapper позволяет выполнять полеты на более высоких скоростях, не снижая конечную точность.
Фотограмметрическая обработка материалов аэрофотосъемки c Topodrone DJI Mavic 2 Pro L1/L2 RTK/PPK
Для практического тестирования коррекции искажений Rolling Shutter мы выполнили аэрофотосъемку местности с помощью Topodrone DJI Mavic 2 Pro L1/L2 RTK/PPK дополнительно оснащенным геодезическим ГНСС приемником, определяющим высокоточные координаты в момент фотографирования.
Полеты проходили на высотах 90 и 120 метров со скоростью 8 и 10 м/c соответственно с продольным и поперечным перекрытием 80% по технологии двойной грид (Double Grid).
Рис. 4. Уравнивание снимков в ПО Pix4Dmapper.
Фотограмметрическая обработка была выполнена в ПО Pix4Dmapper по высокоточным координатам снимков определенных в PPK (post processing kinematic) режиме с использованием программного обеспечения для автоматизированной постобработки ГНСС измерений и геокодирования изображений TOPOSETTER 2.0.
Для контроля точности результатов аэротриангуляции мы использовали опорные точки, равномерно распределенные по тестовому району работ.
Рис. 5. Расположение маршрута аэрофотосъемки и контрольных точек.
В таблицах №1 и №2 приведен отчет контроля точности построения блоков изображений полученных на высотах 90 и 120 метров соответственно по методике съемки Double Grid.
В таблице №3 представлены результаты контроля качества уравнивания одиночного маршрута аэрофотосъемки на высоте 120 метров.
Рис. 6. Таблица 1. Контроль точности фотограмметрической обработки по полету на высоте 90 метров.
Рис. 7. Таблица 2. Контроль точности фотограмметрической обработки по полету на высоте 120 метров.
Рис. 8. Таблица 3. Контроль точности фотограмметрической обработки по полету одиночным маршрутом на высоте 120 метров.
На схеме представленной ниже наглядно показаны вектора смещения матрицы в процессе фотографирования, а также расчетные значения скорости движения камеры, среднее значения смещения и времени считывания изображения матрицей.
Рис. 9. Схема расположения снимков и их смещения в процессе фотографирования.
Следует отметить, что при обработке данных по пролету в одном направлении на высоте 120 метров было выявлено увеличение ошибок на контрольных точках, расположенных за границей маршрута аэрофотосъемки, где наблюдается недостаточное количество перекрытий аэрофотоснимков.
Рис. 10. Расположение одиночного маршрута полета и контрольных точек.
Рис. 11. Расположение контрольных точек с неудовлетворительными результатами.
Результаты проекта
Как мы видим из результатов обработки точность построения модели по аэрофотосъемке выполненной по технологии двойная сетка (Double Grid) остается стабильной на всей площади покрытия аэрофотосъёмки. При планировании маршрутов аэрофотосъемки одиночным проходом для обеспечения стабильных точностных характеристик модели местности и ортофотоплана рекомендуется добавить один/два галса за границы района работ.
Как мы видим из приведенных выше таблиц, точностные характеристики модели местности в границах маршрутов полета полностью удовлетворяют требованиям масштаба 1:500 как в плане, так и по высоте.
Рис. 12-14. Детальное облако точек, отображающее здания и сооружения, столбы освещения, ограждения, дорожные знаки, растительность.
Детально ознакомиться с результатами проекта вы можете в режиме онлайн в Pix4D Cloud , либо скачайте полный набор данных и отчеты по фотограмметрической обработке по ссылке.
Выводы
Выполненные аэрофотосъёмочные работы доказали на практике высокую точность применяемых в ПО Pix4Dmapper алгоритмов по корректировки искажений скользящего затвора камер.
Высокая точность и детальность облака точек, построенного по материалам Topodrone DJI Mavic 2 Pro L1/L2 RTK/PPK позволяет выполнить значительную часть объемов работ по созданию топографических планов в камеральных условиях, что сокращает сроки и стоимость выполнения топографо-геодезических проектов.
В завершении следует отметить, что методика обработки аэрофотоснимков Topodrone DJI Mavic 2 Pro L1/L2 RTK/PPK была всесторонне протестирована специалистами фирмы Pix4D (Швейцария).
В ходе исследований подтвердились все точностные параметры, заявленные компанией TOPODRONE SA, а так же была выдана рекомендация обеспечить всех пользователей квадрокоптеров Topodrone DJI Mavic 2 Pro L1/L2 RTK/PPK данной методикой работ.
