Телевидение со свободной точкой обзора ( FTV ) - это система для просмотра естественного видео, позволяющая пользователю интерактивно управлять точкой обзора и генерировать новые виды динамической сцены из любой трехмерной позиции. [1] Эквивалентная система для компьютерно смоделированного видео известна как виртуальная реальность . С FTV фокус внимания может контролироваться зрителями, а не режиссером, а это означает, что каждый зритель может наблюдать уникальную точку зрения. Еще неизвестно, как FTV повлияет на просмотр телевидения как группового занятия.
История
Системы для рендеринга произвольных видов естественных сцен были хорошо известны в сообществе компьютерного зрения в течение длительного времени, но только в последние годы [ когда? ] имеет достигнутые уровни скорости и качества, которые подходят для серьезного рассмотрения в качестве системы для конечного пользователя. [ необходима цитата ]
Профессор Масаюки Танимото из Университета Нагоя (Япония) много сделал для продвижения использования термина «телевидение со свободными точками зрения» и опубликовал множество статей о представлении в лучевом пространстве , [ цитата необходима ] [ требуется пояснение ], хотя можно использовать и другие методы, и используются для FTV.
QuickTime VR можно считать предшественником FTV. [ необходима цитата ]
Захват и отображение
Чтобы получить виды, необходимые для качественного рендеринга сцены под любым углом, вокруг сцены размещается несколько камер; либо в студии, либо на открытом воздухе, например, на спортивной арене. Затем выходное многооконное видео (MVV) должно быть упаковано соответствующим образом, чтобы данные можно было сжать, а также чтобы устройство просмотра пользователей могло легко получить доступ к соответствующим представлениям для интерполяции новых представлений. [ необходима цитата ]
Недостаточно просто разместить камеры вокруг сцены для съемки. Геометрия установленной камеры должна быть измерена с помощью процесса, известного в компьютерном зрении как «калибровка камеры». [ необходима цитата ] Ручное выравнивание было бы слишком обременительным, поэтому обычно выравнивание по принципу «максимальных усилий» выполняется до захвата тестового шаблона, который используется для генерации параметров калибровки.
Телевизионные виды с ограниченными свободными точками обзора для больших помещений могут быть сняты с помощью единственной системы камер, установленной на движущейся платформе. [ необходима цитата ] Также должны быть получены данные о глубине, что необходимо для создания свободной точки обзора. Система захвата Google Street View является примером с ограниченной функциональностью. Первая полная коммерческая реализация iFlex была предоставлена Real Time Race в 2009 году . [2]
Захват видео с несколькими ракурсами варьируется от частичного (обычно около 30 градусов) до полного (360 градусов) покрытия сцены. Следовательно, можно выводить стереоскопические изображения, подходящие для просмотра с помощью 3D-дисплея или других 3D-методов. Системы с большим количеством физических камер могут захватывать изображения с большим охватом видимой сцены, однако вполне вероятно, что определенные области всегда будут закрыты с любой точки обзора. Большее количество камер должно позволить получить высококачественный результат, поскольку требуется меньшая интерполяция.
Больше камер означает, что требуется эффективное кодирование видео с несколькими ракурсами. Это может быть не таким большим недостатком, поскольку есть представления, которые могут устранить избыточность в MVV; например, межракурсное кодирование с использованием MPEG-4 или Multiview Video Coding , представление в пространстве лучей , видео с геометрией, [3] [ требуется пояснение ] и т. д.
Что касается аппаратного обеспечения, пользователю требуется устройство просмотра, которое может декодировать MVV и синтезировать новые точки обзора, а также двухмерный или трехмерный дисплей.
Стандартизация
Группа экспертов по движущемуся изображению (MPEG) нормализовала Приложение H к MPEG-4 AVC в марте 2009 года под названием Multiview Video Coding после работы группы под названием «3DAV» (3D Audio and Visual) во главе с Алёшей Смоличем [4] в Генрихе. -Институт Герца .
Смотрите также
Рекомендации
- ^ Танимото, Масаюки. « FTV (бесплатное телевидение) ». Транзакции APSIPA по обработке сигналов и информации 1 (2012 г.).
- ^ "Гонки в реальном времени | Автомобильные новости" . Diseno-art.com. 2009-11-02. Архивировано из оригинала на 2011-04-17 . Проверено 13 сентября 2010 .
- ^ «Видео с геометрией: новое представление для 3D-анимации» . Проверено 8 декабря 2016 .
- ^ «Дом Джоши (Алёша Смолич)» . Iphome.hhi.de. Архивировано из оригинала на 2009-11-26 . Проверено 13 сентября 2010 .
Библиография
- Карранса, Джоэл; Теобальт, Кристиан; Магнор, Маркус А .; Зайдель, Ханс-Петер (июль 2003 г.). «Видео с людьми-актерами в произвольном формате » (PDF) . Транзакции ACM на графике (TOG) . ACM . 22 (3): 569–577. DOI : 10.1145 / 882262.882309 .
Внешние ссылки
- Canon объявила о разработке телевизионной системы Free Viewpoint 21 сентября 2017 года, которая будет продемонстрирована на Inter BEE 2017.
- iview - это британский проект DTI между BBC , Snell & Wilcox и Университетом Суррея по разработке системы FTV.
- Eye Vision - это система, разработанная профессором Такео Канаде из CMU для освещения CBS Суперкубка XXXV . Пользователь не может изменить точку обзора, но оператор камеры может выбрать любую виртуальную точку обзора, синтезируя изображения из активной системы технического зрения .
- Replay Technologies создала первую в истории прямую трансляцию трехмерной реконструкции во время Олимпийских игр 2012 года в Лондоне; их веб-сайт теперь, кажется, указывает на Intel freeD 360 Replay