Fake 3D
Визуализация fake 3D позволяет получить эффект псевдообъемной сцены из обычной картинки. С помощью техники Parallax Mapping мы реализовали это не только для картинок, но и для видео, используя специальный формат файлов, где помимо цветового канала есть «канал» глубины.
Для генерации видео в таком формате, мы разработали приложение, использующее для анализа глубины картинки — модели Open Neural Network Exchange.
Помимо классических параметров видео, таких как: итоговое разрешение, FPS, CRF (Constant Rate Factor) для ffmpeg, длительность итогового файла — особое внимание уделено настройке темпоральной стабильности, а именно размер темпорального бэтча и количество Overlapping frames — это количество кадров, которые как бы из данного бэтча будут учтены и в следующем.
Многие из вас встречали в фильмах, клипах и всяких других роликах — приём компоузинга элементов дополненной реальности вторым слоем к обычному видео.
В своём приложении слайдера мы реализовали возможность добавлять и редактировать элементы такого слоя: боксы двух типов, плоскости, привязывать к ним статические и анимированные SVG-иллюстрации (поддерживаются плееры Lottie и Rive), а также полностью настраивать параметры текстовых мешей.
В итоге мы получаем интерактивную сцену фотографического качества, но при этом с полностью интерактивным вторым слоем элементов и псевдообъемным интерактивным слоем самого видео.
Кстати, это был наш первый опыт разработки сложной реалтаймовой интерактивной визуализации только лишь по устным идеям и статическим референсам.