Из Википедии, бесплатной энциклопедии
Перейти к навигации Перейти к поиску

Визуализация со сверхвысоким разрешением ( SR ) - это класс методов, которые улучшают (увеличивают) разрешение системы визуализации . В оптическом SR дифракционный предел систем преодолевается, а в геометрической SR разрешение цифровых датчиков изображения повышается.

В некоторых приложениях для получения радиолокационных и сонарных изображений (например, магнитно-резонансная томография (МРТ), компьютерная томография высокого разрешения ) используются методы на основе подпространственной декомпозиции (например, MUSIC [1] ) и алгоритмы на основе сжатого зондирования (например, SAMV [2] ). используется для достижения SR по стандартному алгоритму периодограммы .

Методы визуализации сверхвысокого разрешения используются при общей обработке изображений и в микроскопии сверхвысокого разрешения .

Основные понятия [ править ]

Поскольку некоторые идеи, касающиеся сверхвысокого разрешения, поднимают фундаментальные вопросы, необходимо с самого начала изучить соответствующие физические и теоретико-информационные принципы:

  • Предел дифракции : деталь физического объекта, которую оптический инструмент может воспроизвести на изображении, имеет пределы, которые предписаны законами физики, независимо от того, сформулированы ли они уравнениями дифракции в волновой теории света [3] или, что эквивалентно, принципом неопределенности для фотонов. в квантовой механике . [4] Передача информации никогда не может быть увеличена за пределы этой границы, но пакеты, выходящие за пределы этих ограничений, могут быть хитроумно заменены (или мультиплексированы) внутри нее. [5] Предел дифракции не столько «ломается», сколько «обходится». Новые процедуры исследования электромагнитных возмущений на молекулярном уровне (в так называемом ближнем поле)[6] полностью согласуются с уравнениями Максвелла .
    • Пространственно-частотная область: краткое выражение дифракционного предела дается в пространственно-частотной области. В оптике Фурье распределение света выражается как суперпозиция ряда решетчатых световых узоров в диапазоне ширины полосы, технически пространственных частот . Обычно считается, что теория дифракции предусматривает верхний предел, пространственную частоту отсечки, за пределами которой элементы рисунка не могут быть переданы в оптическое изображение, т. Е. Не разрешены. Но на самом деле теория дифракции определяет ширину полосы пропускания, а не фиксированный верхний предел. Никакие законы физики не нарушаются, когда полоса пространственных частот за пределами отсечки пространственной частоты заменяется полосой внутри нее: это давно реализовано в микроскопии темного поля.. Теоретико-информационные правила также не нарушаются при наложении нескольких полос [7] [8], чтобы распутать их в полученном изображении, необходимы предположения об инвариантности объекта во время многократных экспозиций, то есть замена одного вида неопределенности другим.
  • Информация : когда термин сверхразрешение используется в методах вывода деталей объекта из статистической обработки изображения в пределах стандартных разрешений, например, при усреднении нескольких экспозиций, он включает в себя обмен одним видом информации (извлечение сигнала из шума) для другой (предположение, что цель осталась неизменной).
  • Разрешение и локализация: Истинное разрешение включает различие в том, является ли цель, например, звезда или спектральная линия, одинарной или двойной, что обычно требует разделения пиков на изображении. Когда известно, что цель одиночная, ее местоположение можно определить с большей точностью, чем ширина изображения, путем нахождения центроида (центра тяжести) распределения света на ее изображении. Для этого процесса было предложено слово « сверхразрешение» [9], но оно не прижилось, и процедуру высокоточной локализации обычно называют сверхразрешением.

Технические достижения в области повышения производительности устройств формирования изображений и датчиков, которые теперь классифицируются как сверхвысокое разрешение, используются в полной мере, но всегда остаются в рамках, установленных законами физики и теории информации.

Методы [ править ]

Оптическое или дифракционное сверхвысокое разрешение [ править ]

Замена пространственно-частотных диапазонов: Хотя полоса пропускания, допустимая за счет дифракции, фиксирована, ее можно расположить в любом месте пространственно-частотного спектра. Примером может служить темнопольное освещение в микроскопии. См. Также синтез апертуры .

Техника «структурированного освещения» сверхвысокого разрешения связана с муаровыми узорами . Мишень - полоса мелких полос (верхний ряд) - выходит за дифракционный предел. Когда полоса несколько более грубых разрешимых полос (вторая строка) накладывается искусственно, комбинация (третья строка) включает компоненты муара, которые находятся в пределах дифракционного предела и, следовательно, содержатся в изображении (нижняя строка), что позволяет выявить наличие мелких полос. предполагается, даже если они сами не представлены на изображении.

Мультиплексирование пространственно-частотных диапазонов [ править ]

Изображение формируется с использованием нормальной полосы пропускания оптического устройства. Затем на цель накладывается некоторая известная световая структура, например набор световых полос, которые также находятся в полосе пропускания. [8] Изображение теперь содержит компоненты, возникающие в результате комбинации цели и наложенной световой структуры, например муаровую полосу , и несет информацию о деталях цели, чего нет в простом неструктурированном освещении. Однако «сверхразрешенные» компоненты необходимо распутать, чтобы их можно было выявить. Например, см. Структурированное освещение (рисунок слева).

Использование нескольких параметров в пределах традиционного дифракционного предела [ править ]

Если цель не имеет особых свойств поляризации или длины волны, для кодирования деталей цели можно использовать два состояния поляризации или неперекрывающиеся области длин волн, одно в полосе пространственных частот внутри границы отсечки, а другое за ее пределами. Оба будут использовать нормальную передачу полосы пропускания, но затем отдельно декодируются для восстановления целевой структуры с расширенным разрешением.

Исследование электромагнитных помех в ближнем поле [ править ]

Обычное обсуждение сверхразрешения включало обычные изображения объекта с помощью оптической системы. Но современные технологии позволяют исследовать электромагнитные помехи на молекулярных расстояниях от источника [6], который имеет превосходные разрешающие свойства, а также увидеть исчезающие волны и разработку новой суперлинзы .

Геометрическое разрешение или сверхвысокое разрешение обработки изображений [ править ]

По сравнению с одним изображением, испорченным шумом во время его получения или передачи (слева), отношение сигнал / шум улучшается за счет подходящей комбинации нескольких отдельно полученных изображений (справа). Это может быть достигнуто только в пределах внутренней разрешающей способности процесса визуализации для выявления таких деталей.

Подавление шума мультиэкспозиционного изображения [ править ]

Когда изображение ухудшается из-за шума, в среднем для многих экспозиций может быть больше деталей, даже в пределах дифракционного предела. См. Пример справа.

Однокадровое удаление размытия [ править ]

Основная статья: Удаление размытия

Известные дефекты в данной ситуации формирования изображения, такие как расфокусировка или аберрации , иногда могут быть смягчены полностью или частично с помощью подходящей пространственно-частотной фильтрации даже одного изображения. Все такие процедуры остаются в пределах полосы пропускания, предписанной дифракцией, и не расширяют ее.

Обе функции занимают более 3 пикселей, но в разном количестве, что позволяет локализовать их с точностью, превосходящей размер пикселей.

Локализация субпиксельного изображения [ править ]

Местоположение одного источника может быть определено путем вычисления «центра тяжести» ( центроида ) распределения света, распространяющегося на несколько соседних пикселей (см. Рисунок слева). При условии, что света достаточно, это может быть достигнуто с произвольной точностью, намного лучше, чем ширина пикселя устройства обнаружения и предел разрешения для принятия решения о том, является ли источник одинарным или двойным. Этот метод, который требует предположения, что весь свет исходит из одного источника, лежит в основе того, что стало известно как микроскопия сверхвысокого разрешения , например микроскопия стохастической оптической реконструкции (STORM), где флуоресцентные зонды, прикрепленные к молекулам, дают наноразмерныеинформация о расстоянии. Это также механизм, лежащий в основе гиперактивности зрения . [10]

Байесовская индукция за пределами традиционного дифракционного предела [ править ]

Основная статья: байесовский вывод

Некоторые характеристики объекта, хотя и выходящие за дифракционный предел, могут быть связаны с другими характеристиками объекта, которые находятся в этих пределах и, следовательно, содержатся в изображении. Затем, используя статистические методы, можно сделать выводы из имеющихся данных изображения о наличии целого объекта. [11] Классическим примером является предложение Торальдо ди Франсиа [12] о том, является ли изображение изображением одинарной или двойной звезды, определяя, превышает ли его ширина размах одиночной звезды. Это может быть достигнуто при разделениях, значительно меньших классических границ разрешения, и требует предварительного ограничения выбора "одинарный или двойной?"

Подход может принимать форму экстраполяции изображения в частотной области, предполагая, что объект является аналитической функцией , и что мы можем точно знать значения функции в некотором интервале . Этот метод сильно ограничен вездесущим шумом в цифровых системах формирования изображений, но он может работать для радаров , астрономии , микроскопии или магнитно-резонансной томографии . [13] Совсем недавно был предложен быстрый алгоритм сверхразрешения одиночного изображения, основанный на решении задач в замкнутой форме, который значительно ускоряет большинство существующих байесовских методов сверхразрешения.[14]

Псевдоним [ править ]

Алгоритмы геометрической реконструкции SR возможны тогда и только тогда, когда входные изображения с низким разрешением были недостаточно дискретизированы и, следовательно, содержат наложение спектров . Из-за этого наложения высокочастотный контент желаемого восстановленного изображения встраивается в низкочастотный контент каждого из наблюдаемых изображений. При наличии достаточного количества изображений наблюдений и если набор наблюдений различается по фазе (т. Е. Если изображения сцены сдвинуты на величину субпикселя), то информация о фазе может использоваться для разделения высокочастотных контент из истинно низкочастотного контента, и изображение с полным разрешением может быть точно реконструировано. [15]

На практике этот частотный подход не используется для реконструкции, но даже в случае пространственных подходов (например, слияние сдвиг-добавление [16] ), наличие наложения спектров все еще является необходимым условием для реконструкции SR.

Технические реализации [ править ]

Существуют как однокадровые, так и многокадровые варианты SR. Многокадровый SR использует сдвиги субпикселей между несколькими изображениями с низким разрешением одной и той же сцены. Он создает изображение с улучшенным разрешением, объединяя информацию из всех изображений с низким разрешением, а созданные изображения с более высоким разрешением лучше описывают сцену. Однокадровые методы SR пытаются увеличить изображение без размытия. Эти методы используют другие части изображений с низким разрешением или другие несвязанные изображения, чтобы угадать, как должно выглядеть изображение с высоким разрешением. Алгоритмы также можно разделить по их области: частотная или пространственная . Первоначально методы сверхвысокого разрешения работали хорошо только для изображений в градациях серого [17].но исследователи нашли способы адаптировать их к цветным изображениям камеры. [16] Недавно было показано также использование сверхвысокого разрешения для 3D-данных. [18]

Исследование [ править ]

Есть многообещающие исследования по использованию глубоких сверточных сетей для выполнения сверхразрешения. [19] В частности, была продемонстрирована работа, демонстрирующая преобразование 20-кратного изображения пыльцевых зерен с микроскопа в 1500-кратное изображение, полученное с помощью сканирующего электронного микроскопа . [20] Хотя этот метод может увеличить информационное содержание изображения, нет гарантии, что масштабированные функции присутствуют в исходном изображении, и глубокие сверточные апскейлеры не должны использоваться в аналитических приложениях с неоднозначными входными данными.

См. Также [ править ]

  • Оптическое разрешение
  • Передискретизация

Ссылки [ править ]

  1. ^ Шмидт, Р. О., "Определение местоположения нескольких излучателей и параметров сигнала", IEEE Trans. Антенны распространения, Vol. AP-34 (март 1986 г.), стр. 276-280.
  2. ^ Abeida, Habti; Чжан, Цилинь; Ли, Цзянь; Мерабтин, Наджим (2013). «Итерационные подходы на основе разреженной асимптотики с минимальной дисперсией для обработки массивов» (PDF) . Транзакции IEEE по обработке сигналов . 61 (4): 933–944. arXiv : 1802.03070 . Bibcode : 2013ITSP ... 61..933A . DOI : 10.1109 / tsp.2012.2231676 . ISSN  1053-587X . S2CID  16276001 .
  3. ^ Борн М., Вольф Э., Основы оптики , Кембриджский университет. Пресса, любое издание
  4. Перейти ↑ Fox M, 2007 Quantum Optics Oxford
  5. ^ Залевский Z, Mendlovic D. 2003 Оптический Сверхразрешение Springer
  6. ^ а б Бетциг, E; Траутман, Дж. К. (1992). «Оптика ближнего поля: микроскопия, спектроскопия и модификация поверхности за дифракционным пределом». Наука . 257 (5067): 189–195. Bibcode : 1992Sci ... 257..189B . DOI : 10.1126 / science.257.5067.189 . PMID 17794749 . S2CID 38041885 .  
  7. ^ Lukosz, W., 1966. Оптические системы с разрешающей способностью, превышающей классический предел. J. opt. соц. Являюсь. 56, 1463–1472.
  8. ^ a b Густаффссон, М., 2000. Превышение предела латерального разрешения в два раза с помощью микроскопии со структурированным освещением. J. Microscopy 198, 82–87.
  9. ^ Cox, IJ, Sheppard, CJR, 1986. Информационная емкость и разрешение в оптической системе. J.opt. Soc. Являюсь. А 3, 1152–1158
  10. ^ Westheimer, G (2012). «Оптическое сверхразрешение и визуальная гиперактивность» . Prog Retin Eye Res . 31 (5): 467–80. DOI : 10.1016 / j.preteyeres.2012.05.001 . PMID 22634484 . 
  11. ^ Харрис, JL, 1964. Разрешающая способность и принятие решений. J. opt. соц. Являюсь. 54, 606–611.
  12. ^ Торальдо ди Франсия, Г., 1955. Разрешающая способность и информация. J. opt. соц. Являюсь. 45, 497–501.
  13. ^ D. Poot, B. Jeurissen, Y. Bastiaensen, J. Veraart, W. Van Hecke, PM Parizel и J. Sijbers, "Супер-разрешение для мультиспиральной тензорной визуализации", Магнитный резонанс в медицине, (2012)
  14. ^ Н. Чжао, К. Вэй, А. Басараб, Н. Добигеон, Д. Куаме и JY. Турнерет, «Быстрое сверхвысокое разрешение одного изображения с использованием нового аналитического решения проблем» ℓ 2 - ℓ 2 {\ displaystyle \ ell _ {2} - \ ell _ {2}} , IEEE Trans. Image Process., 2016, в печати.
  15. ^ Дж. Симпкинс, Р.Л. Стивенсон, «Введение в визуализацию сверхвысокого разрешения». Математическая оптика: классические, квантовые и вычислительные методы / Под ред. В. Лакшминараянан, М. Кальво, Т. Алиева. CRC Press, 2012. 539-564.
  16. ^ a b С. Фарсиу, Д. Робинсон, М. Элад и П. Миланфар, «Быстрое и надежное многокадровое сверхвысокое разрешение» , IEEE Transactions on Image Processing, vol. 13, вып. 10. С. 1327–1344, октябрь 2004 г.
  17. ^ П. Чизмен, Б. Канефски, Р. Крафт и Дж. Штутц, 1994
  18. ^ С. Шуон, К. Теобальт, Дж. Дэвис и С. Трун, «LidarBoost: сверхразрешение глубины для 3D-сканирования формы ToF» , В материалах IEEE CVPR 2009
  19. ^ Джонсон, Джастин; Алахи, Александр; Фэй-Фэй, Ли (2016-03-26). «Потери восприятия для передачи стиля в реальном времени и сверхвысокого разрешения». arXiv : 1603.08155 [ cs.CV ].
  20. ^ Грант-Джейкоб, Джеймс А; Mackay, Benita S; Baker, James AG; Се, Юньхуэй; Хит, Дэниел Дж; Локхэм, Мэтью; Исон, Роберт В. Миллс, Бен (18.06.2019). «Нейронная линза для получения биологических изображений сверхвысокого разрешения» . Журнал физических коммуникаций . 3 (6): 065004. Bibcode : 2019JPhCo ... 3f5004G . DOI : 10,1088 / 2399-6528 / ab267d . ISSN 2399-6528 . 

Другая связанная работа [ править ]

  • Curtis, Craig H .; Милстер, Том Д. (октябрь 1992 г.). «Анализ сверхразрешения в магнитооптических устройствах хранения информации». Прикладная оптика . 31 (29): 6272–6279. Bibcode : 1992ApOpt..31.6272M . DOI : 10,1364 / AO.31.006272 . PMID  20733840 .
  • Залевский, З .; Мендлович, Д. (2003). Оптическое сверхразрешение . Springer. ISBN 978-0-387-00591-1.
  • Кэрон, Дж. Н. (сентябрь 2004 г.). «Быстрая суперсэмплинг последовательностей мультикадров с использованием слепой деконволюции». Письма об оптике . 29 (17): 1986–1988. Bibcode : 2004OptL ... 29.1986C . DOI : 10.1364 / OL.29.001986 . PMID  15455755 .
  • Клемент, GT; Huttunen, J .; Хайнинен, К. (2005). «Ультразвуковая визуализация сверхвысокого разрешения с использованием обратной проекции реконструкции». Журнал Акустического общества Америки . 118 (6): 3953–3960. Bibcode : 2005ASAJ..118.3953C . DOI : 10.1121 / 1.2109167 . PMID  16419839 .
  • Гейслер, WS; Перри, Дж.С. (2011). «Статистика для оптимального точечного предсказания в естественных изображениях» . Журнал видения . 11 (12): 14. DOI : 10.1167 / 11.12.14 . PMC  5144165 . PMID  22011382 .
  • Cheung, V .; Фрей, Би Джей; Джойч, Н. (20–25 июня 2005 г.). Видеозаписи (PDF) . Конференция по компьютерному зрению и распознаванию образов (CVPR). 1 . С. 42–49. DOI : 10,1109 / CVPR.2005.366 .
  • Bertero, M .; Боккаччи, П. (октябрь 2003 г.). «Сверхвысокое разрешение в компьютерной визуализации». Микрон . 34 (6–7): 265–273. DOI : 10.1016 / s0968-4328 (03) 00051-9 . PMID  12932769 .
  • Borman, S .; Стивенсон Р. (1998). «Повышение пространственного разрешения последовательностей изображений с низким разрешением - всесторонний обзор с направлениями будущих исследований» (технический отчет) . Университет Нотр-Дам. Cite journal requires |journal= (help)
  • Borman, S .; Стивенсон Р. (1998). Супер-разрешение из последовательностей изображений - обзор (PDF) . Среднезападный симпозиум по схемам и системам.
  • Парк, ТЦ; Парк, МК; Канг, М.Г. (май 2003 г.). «Реконструкция изображений сверхвысокого разрешения: технический обзор». Журнал обработки сигналов IEEE . 20 (3): 21–36. Bibcode : 2003ISPM ... 20 ... 21P . DOI : 10.1109 / MSP.2003.1203207 .
  • Farsiu, S .; Робинсон, Д .; Elad, M .; Миланфар, П. (август 2004 г.). «Достижения и проблемы сверхвысокого разрешения». Международный журнал систем и технологий обработки изображений . 14 (2): 47–57. DOI : 10.1002 / ima.20007 . S2CID  12351561 .
  • Elad, M .; Хел-Ор, Ю. (август 2001 г.). "Алгоритм быстрой реконструкции сверхвысокого разрешения для чистого поступательного движения и общего пространственно-инвариантного размытия". IEEE Transactions по обработке изображений . 10 (8): 1187–1193. Bibcode : 2001ITIP ... 10.1187E . CiteSeerX  10.1.1.11.2502 . DOI : 10.1109 / 83.935034 . PMID  18255535 .
  • Irani, M .; Пелег, С. (июнь 1990 г.). Супер разрешение из последовательностей изображений (PDF) . Международная конференция по распознаванию образов. 2 . С. 115–120.
  • Сроубек, Ф .; Cristobal, G .; Флюссер, Дж. (2007). «Единый подход к сверхразрешению и многоканальной слепой деконволюции». IEEE Transactions по обработке изображений . 16 (9): 2322–2332. Bibcode : 2007ITIP ... 16.2322S . DOI : 10.1109 / TIP.2007.903256 . PMID  17784605 . S2CID  6367149 .
  • Калабуиг, Алехандро; Мико, Висенте; Гарсия, Хавьер; Залевский, Зеев; Феррейра, Карлос (март 2011 г.). «Интерферометрическая микроскопия сверхвысокого разрешения с однократной экспозицией на основе красно-зелено-синего мультиплексирования». Письма об оптике . 36 (6): 885–887. Bibcode : 2011OptL ... 36..885C . DOI : 10.1364 / OL.36.000885 . PMID  21403717 .
  • Чан, Вай-Сан; Лам, Эдмунд; Нг, Майкл К .; Мак, Джузеппе Ю. (сентябрь 2007 г.). «Реконструкция сверхвысокого разрешения в вычислительной системе визуализации сложного глаза». Многомерные системы и обработка сигналов . 18 (2–3): 83–101. DOI : 10.1007 / s11045-007-0022-3 . S2CID  16452552 .
  • Нг, Майкл К .; Шен, Хуаньфэн; Лам, Эдмунд Й .; Чжан, Лянпэй (2007). "Алгоритм восстановления сверхвысокого разрешения на основе полной вариации регуляризации для цифрового видео" . Журнал EURASIP о достижениях в обработке сигналов . 2007 : 074585. Bibcode : 2007EJASP2007..104N . DOI : 10.1155 / 2007/74585 .
  • Glasner, D .; Bagon, S .; Ирани, М. (октябрь 2009 г.). Супер-разрешение одного изображения (PDF) . Международная конференция по компьютерному зрению (ICCV).; «пример и результаты» .
  • Бен-Эзра, М .; Линь, Чжоучэн; Wilburn, B .; Чжан, Вэй (июль 2011 г.). «Пиксели Пенроуза для сверхвысокого разрешения» (PDF) . IEEE Transactions по анализу шаблонов и машинному анализу . 33 (7): 1370–1383. CiteSeerX  10.1.1.174.8804 . DOI : 10.1109 / TPAMI.2010.213 . PMID  21135446 . S2CID  184868 .
  • Timofte, R .; Де Смет, В .; Ван Гул, Л. (ноябрь 2014 г.). A +: Скорректированная регрессия привязанного соседства для быстрого сверхразрешения (PDF) . 12-я Азиатская конференция по компьютерному зрению (ACCV).; «коды и данные» .
  • Хуанг, Дж. Б; Сингх, А .; Ахуджа, Н. (июнь 2015 г.). Сверхразрешение одиночного изображения из преобразованных самообразов . Конференция IEEE по компьютерному зрению и распознаванию образов .; «страница проекта» .
  • КРИСТЕНСЕН-ДЖЕФФРИС, Т .; COUTURE, O .; ДЕЙТОН, Пенсильвания; ELDAR, YC; HYNYNEN, K .; КЕССЛИНГ, Ф .; О'РЕЙЛИ, М .; ПИНТОН, GF; SCHMITZ, G .; TANG, M.-X .; ТАНТЕР, М .; ВАН СЛОУН, RJG (2020). «Ультразвуковая визуализация сверхвысокого разрешения» . Ультразвук в Мед. И Биол . 46 (4): 865–891. DOI : 10.1016 / j.ultrasmedbio.2019.11.013 . PMID  31973952 .