Микроскопия светового поля ( LFM ) - это метод трехмерной (3D) микроскопии без сканирования, основанный на теории светового поля . Этот метод позволяет получать субсекундные (~ 10 Гц) объемные изображения ([~ 0,1–1 мм] 3 ) с пространственным разрешением ~ 1 мкм в условиях слабого рассеяния и полупрозрачности, чего никогда не достигали другими методами. Как и при традиционном рендеринге светового поля , LFM-изображение состоит из двух этапов: захват и обработка светового поля. В большинстве установок для захвата светового поля используется матрица микролинз . Что касается обработки, оно может быть основано на двух видах представлений распространения света: при регистрации рентгеновского оптика изображения[1] икартина волновой оптики . [2] Лаборатория компьютерной графики Стэнфордского университета опубликовала свой первый прототип LFM в 2006 году [1] и с тех пор работает над передовыми технологиями.
Генерация светового поля
Световое поле - это совокупность всех лучей, проходящих через некоторое свободное пространство, где каждый луч может быть параметризован четырьмя переменными. [3] Во многих случаях две 2D-координаты, обозначаемые как & –На двух параллельных плоскостях, с которыми пересекаются лучи, применяются для параметризации. Соответственно, интенсивность светового поля 4D можно описать как скалярную функцию:, где расстояние между двумя плоскостями.
LFM может быть построен на традиционной установке широкопольного флуоресцентного микроскопа и стандартной камеры CCD или sCMOS . [1] Световое поле создается путем размещения матрицы микролинз в промежуточной плоскости изображения объектива (или в задней фокальной плоскости опционального релейного объектива) и дополнительно фиксируется путем размещения датчика камеры в задней фокальной плоскости микролинз. . В результате координаты микролинз сопрягаются с линзами на объектной плоскости (если добавляются дополнительные ретрансляционные линзы, то на передней фокальной плоскости объектива) ; координаты пикселей за каждой микролинзой сопряжены с теми, которые находятся на объективной плоскости . Для единообразия и удобства назовем плоскостьисходная плоскость фокусировки в этой статье. Соответственно, - фокусное расстояние микролинз (то есть расстояние между плоскостью матрицы микролинз и плоскостью сенсора).
Кроме того, апертуры и фокусное расстояние каждой линзы, а также размеры датчика и матрицы микролинз должны быть правильно выбраны, чтобы гарантировать, что нет ни перекрытия, ни пустых областей между соседними частями изображения за соответствующими микролинзами.
Реализация по картинке лучевой оптики
В этом разделе в основном представлена работа Levoy et al ., 2006. [1]
Перспективные виды под разными углами
Из-за упомянутых выше сопряженных отношений любой определенный пиксель за определенной микролинзой соответствует лучу, проходящему через точку в направлении . Следовательно, извлекая пиксель из всех подизображений и сшивания их вместе получается перспективный вид под определенным углом: . В этом сценарии пространственное разрешение определяется количеством микролинз; угловое разрешение определяется количеством пикселей за каждой микролинзой.
Томографические изображения на основе синтетической перефокусировки
Шаг 1. Цифровая переориентация
Синтетическая фокусировка использует захваченное световое поле для вычисления фокусировки фотографии на любом произвольном участке. Путем простого суммирования всех пикселей в каждом фрагменте изображения за микролинзой (что эквивалентно сбору всего излучения, приходящего под разными углами, которое попадает в одно и то же положение), изображение фокусируется точно в плоскости, которая сопряжена с плоскостью массива микролинз:
,
где - угол между лучом и нормалью плоскости датчика, а если начало системы координат каждого фрагмента изображения расположено на главной оптической оси соответствующей микролинзы. Теперь можно определить новую функцию для поглощения эффективного коэффициента проекции. в интенсивность светового поля и получить фактическую коллекцию яркости каждого пикселя: .
Чтобы сфокусироваться на какой-либо другой плоскости, помимо передней фокальной плоскости объектива, скажем, плоскости, сопряженная плоскость которой от плоскости датчика сопряженная плоскость может быть перемещена из к и повторно параметризуйте его световое поле обратно к исходному на :
.
Таким образом, перефокусированную фотографию можно рассчитать по следующей формуле:
.
Следовательно, создается стек фокуса, чтобы резюмировать мгновенное трехмерное изображение пространства объекта. Кроме того, синтетически возможны наклонные или даже изогнутые фокальные плоскости. [5] Кроме того, любое восстановленное 2D-изображение, сфокусированное на произвольной глубине, соответствует 2D-срезу 4-мерного светового поля в области Фурье , где сложность алгоритма может быть уменьшена с к . [4]
Шаг 2: Измерение функции рассеяния точки
Однако из-за дифракции и дефокусировки стек фокуса отличается от реального распределения интенсивности вокселей , что очень желательно. Вместо, это свертка и функция рассеяния точки (PSF):
Таким образом, трехмерная форма PSF должна быть измерена, чтобы вычесть ее эффект и получить чистую интенсивность вокселей. Это измерение можно легко выполнить, поместив флуоресцентный шарик в центр исходной плоскости фокусировки и записав его световое поле, на основе которого определяется трехмерная форма PSF путем синтетической фокусировки на различной глубине. Учитывая, что PSF получен с той же настройкой LFM и процедурой цифровой перефокусировки, что и стек фокуса, это измерение правильно отражает угловой диапазон лучей, захваченных объективом (включая любое падение интенсивности); следовательно, этот синтетический PSF фактически не содержит шумов и аберраций. Форму PSF можно считать идентичной везде в пределах желаемого поля зрения (FOV); следовательно, можно избежать многократных измерений.
Шаг 3: 3D деконволюция
В области Фурье реальная интенсивность вокселей очень просто связана с фокальным стеком и PSF:
,
где - оператор преобразования Фурье . Однако может оказаться невозможным напрямую решить приведенное выше уравнение, учитывая тот факт, что апертура имеет ограниченный размер, что приводит к ограничению полосы пропускания PSF (т. Е. Его преобразование Фурье имеет нули). Вместо этого итерационный алгоритм, называемый итеративной деконволюцией с ограничениями в пространственной области, здесь гораздо более практичен: [6]
- ;
- .
Эта идея основана на ограниченном градиентном спуске: оценке улучшается итеративно путем вычисления разницы между фактическим стеком фокуса и предполагаемый стек фокуса и исправление с текущей разницей ( обязательно быть неотрицательным).
Фотография Фурье-среза
Формула можно переписать, приняв концепцию теоремы Фурье о проекционном срезе. [7] Потому что оператор фотографииможно рассматривать как сдвиг с последующей проекцией, результат должен быть пропорционален расширенному 2D-срезу 4-мерного преобразования Фурье светового поля. Точнее, перефокусированное изображение может быть сгенерировано из четырехмерного спектра Фурье светового поля путем извлечения двухмерного среза, применения обратного двухмерного преобразования и масштабирования. Перед доказательством мы сначала введем несколько операторов:
- Оператор интегральной проекции:
- Оператор нарезки:
- Фотография Изменение основы : Пусть обозначим оператор замены базиса 4-мерной функции так, чтобы , с участием .
- Оператор преобразования Фурье : Пусть обозначают N-мерный оператор преобразования Фурье.
По этим определениям мы можем переписать .
Согласно обобщенной теореме Фурье-среза [7] имеем
,
и, следовательно, оператор фотографии имеет вид
.
Согласно формуле, мы знаем, что фотография - это обратное двумерное преобразование Фурье расширенного двумерного среза в четырехмерном преобразовании Фурье светового поля.
Дискретная фотография среза Фурье
Если все, что у нас есть, это образцы светового поля, вместо использования теоремы Фурье-среза для непрерывного сигнала, упомянутой выше, мы принимаем теорему о дискретном срезе Фурье, которая является обобщением дискретного преобразования Радона, для вычисления перефокусированного изображения. [8]
Предположим, что световое поле периодичен с периодами и определена на гиперкубе . Также предположим, что есть известные образцы светового поля , где а также , соответственно. Тогда мы можем определить с использованием тригонометрической интерполяции с этими точками выборки:
,
где
.
Обратите внимание, что постоянные коэффициенты опущены для простоты.
Чтобы вычислить его перефокусированную фотографию, мы заменим бесконечный интеграл в формуле с суммированием, границы которого а также . Это,
.
Затем, согласно теореме о дискретном срезе Фурье, мы можем представить фотографию с помощью среза Фурье:
Реализация из картины волновой оптики
Хотя пленоптическая камера на основе лучевой оптики продемонстрировала хорошие характеристики в макроскопическом мире, дифракция накладывает ограничения на LFM-реконструкцию, если придерживаться терминологии лучевой оптики. Следовательно, может быть гораздо удобнее перейти на волновую оптику. (В этом разделе в основном представлена работа Broxton et al ., 2013. [2] )
Дискретность пространства
Интересующий FOV сегментирован на воксели, каждый с меткой . Таким образом, все поле зрения можно дискретно представить вектором с размером . Аналогично вектор представляет собой сенсорную плоскость, где каждый элемент обозначает один пиксель датчика. При условии некогерентного распространения между разными вокселями передача светового поля из пространства объекта на датчик может быть линейно связана с матрица измерений, в которую заложена информация PSF:
В сценарии лучевой оптики фокальный стек создается посредством синтетической фокусировки лучей, а затем применяется деконволюция с синтезированным PSF, чтобы уменьшить размытие, вызванное волновой природой света. С другой стороны, в волновой оптике матрица измерений- описание пропускания светового поля - вычисляется непосредственно на основе распространения волн. В отличие от переходных оптических микроскопов, форма PSF которых инвариантна (например, шаблон Эйри ) относительно положения излучателя, излучатель в каждом вокселе генерирует уникальный узор на датчике LFM. Другими словами, каждый столбец вотчетливо. В следующих разделах будет подробно рассмотрен расчет всей матрицы измерений.
Оптический импульсный отклик
Оптический импульсный отклик - напряженность электрического поля в 2D-позиции на плоскости датчика, когда изотропный точечный источник единичной амплитуды размещается в некоторой трехмерной позиции в FOV. Существует три этапа распространения электрического поля: переход от точечного источника к плоскости собственного изображения (т. Е. Плоскости матрицы микролинз), прохождение через матрицу микролинз и распространение на плоскость датчика.
Шаг 1: распространение через цель
Для объектива с круглой апертурой волновой фронт в плоскости исходного изображения инициирован эмиттером в можно вычислить с помощью скалярной теории Дебая: [9]
,
где - фокусное расстояние объектива; это его увеличение. это длина волны. - половина угла числовой апертуры ( - показатель преломления образца). - функция аподизации микроскопа ( для объективов с поправкой на синус Аббе). - функция Бесселя первого рода нулевого порядка . а также - нормированные радиальные и осевые оптические координаты соответственно:
,
где - волновое число.
Шаг 2: фокусировка через массив микролинз
Каждую микролинзу можно рассматривать как фазовую маску:
,
где - фокусное расстояние микролинз и вектор, указывающий из центра микролинзы в точку на микролинзе. Стоит отметить, что не равно нулю, только когда расположен в зоне эффективного пропускания микролинзы.
Таким образом, передаточная функция всего массива микролинз может быть представлена как запутанный с помощью функции двухмерной расчески:
,
где шаг (скажем, размер) микролинз.
Шаг 3: Распространение ближнего поля к датчику
Распространение волнового фронта с расстоянием от плоскости исходного изображения до плоскости датчика можно вычислить с помощью интеграла дифракции Френеля :
,
где - фронт волны, непосредственно проходящий через исходную плоскость изображения.
Следовательно, весь оптический импульсный отклик можно выразить в виде свертки:
.
Вычисление матрицы измерений
Получив оптическую импульсную характеристику, любой элемент в матрице измерений можно рассчитать как:
,
где это площадь для пикселя а также это объем для вокселя . Весовой фильтрдобавлен, чтобы соответствовать тому факту, что PSF вносит больший вклад в центре воксела, чем на краях. Линейный интеграл суперпозиции основан на предположении, что флуорофоры в каждом бесконечно малом объеме испытывают бессвязный, стохастический процесс излучения, учитывая их быстрые, случайные колебания.
Решение обратной задачи
Шумный характер измерений
Опять же, из-за ограниченной полосы пропускания, дробового шума фотонов и огромного размера матрицы невозможно напрямую решить обратную задачу как:. Вместо этого стохастическая связь между дискретным световым полем и полем обзора больше напоминает:
,
где - фоновая флуоресценция, измеренная перед визуализацией; - шум Пуассона. Следовательно,теперь становится случайным вектором со значениями, распределенными Possion в единицах фотоэлектронов e - .
Оценка максимального правдоподобия
Основываясь на идее максимизации вероятности измеренного светового поля учитывая конкретный FOV и фон , итерационная схема Ричардсона-Люси обеспечивает здесь эффективный алгоритм трехмерной деконволюции:
.
где оператор остается диагональными аргументами матрицы и обнуляет ее недиагональные элементы.
Приложения
Световая микроскопия для функциональной нейронной визуализации
Начиная с начальной работы в Стэнфордском университете по применению световой микроскопии для визуализации кальция у личинок рыбок данио ( Данио Рерио ) [10], в ряде статей теперь применяется световая микроскопия для функциональной нейронной визуализации, включая измерение динамической активности нейронов во всем мозге C. elegans , [11] визуализация всего мозга у личинок рыбок данио, [11] [12] визуализация датчиков активности кальция и напряжения в мозгу плодовых мух ( Drosophila ) с частотой до 200 Гц, [13] и быстрое получение изображений 1 мм Объемы x 1 мм x 0,75 мм в гиппокампе мышей, перемещающихся в виртуальной среде. [14] Эта область применения является быстро развивающейся областью на пересечении вычислительной оптики и нейробиологии. [15]
Смотрите также
- Световое поле
- Микролинза
- Томография
- Синтез апертуры
- Воксель
Рекомендации
- ^ a b c d Левой, Марк; Нг, Рен; Адамс, Эндрю; Нижний колонтитул, Мэтью; Горовиц, Марк (2006). Световая микроскопия . ACM SIGGRAPH 2006 Документы . СИГГРАФ '06. С. 924–934. DOI : 10.1145 / 1179352.1141976 . ISBN 978-1595933645.
- ^ а б Брокстон, Майкл; Гросеник, Логан; Ян, Самуэль; Коэн, Ной; Андалман, Аарон; Дейссерот, Карл; Левой, Марк (2013-10-21). «Теория волновой оптики и трехмерная деконволюция для светового поля микроскопа» . Оптика Экспресс . 21 (21): 25418–25439. Bibcode : 2013OExpr..2125418B . DOI : 10,1364 / OE.21.025418 . ISSN 1094-4087 . PMC 3867103 . PMID 24150383 .
- ^ Левой, Марк; Ханрахан, Пэт (1996). Визуализация светового поля . Материалы 23-й ежегодной конференции по компьютерной графике и интерактивным методам . СИГГРАФ '96. С. 31–42. DOI : 10.1145 / 237170.237199 . ISBN 978-0897917469.
- ^ а б Нг, Рен (2005). «Фотография среза Фурье». ACM SIGGRAPH 2005 Документы . SIGGRAPH '05: 735–744. CiteSeerX 10.1.1.461.4454 . DOI : 10.1145 / 1186822.1073256 .
- ^ Vaish, V .; Garg, G .; Talvala, E .; Antunez, E .; Wilburn, B .; Horowitz, M .; Левой, М. (июнь 2005 г.). Фокусировка с синтетической апертурой с использованием факторизации сдвига-деформации преобразования просмотра . 2005 Конференция компьютерного общества IEEE по компьютерному зрению и распознаванию образов (CVPR'05) - Семинары . 3 . п. 129. DOI : 10,1109 / CVPR.2005.537 . ISBN 978-0-7695-2372-9.
- ^ Сведлоу, Джейсон Р .; Седат, Джон В .; Агард, Дэвид А. (1996). Янссон, Питер А. (ред.). Деконволюция изображений и спектров (2-е изд.) . Орландо, Флорида, США: Academic Press, Inc., стр. 284–309. ISBN 978-0123802224.
- ^ a b Ng, R. (2005). Фотография среза Фурье. В Документах ACM SIGGRAPH 2005 (стр. 735-744).
- ^ Гу, Мин (2000). «Продвинутая теория оптического изображения». Продвинутая теория оптического изображения . Серия Спрингера в оптических науках. 75 . Bibcode : 2000aoit.conf ..... G . DOI : 10.1007 / 978-3-540-48471-4 . ISBN 978-3-662-14272-1.
- ^ Гросеник, Логан; Андерсон, Тодд; Смит, Стивен (28.06.2009). Выбор эластичного источника для визуализации ансамблей нейронов in vivo . 2009 Международный симпозиум IEEE по биомедицинской визуализации: от нано к макро . С. 1263–1266. DOI : 10.1109 / ISBI.2009.5193292 . ISBN 978-1-4244-3931-7.
- ^ а б Преведел, Роберт; Юн, Ён-Гю; Гофман, Максимилиан; Пак, Никита; Ветцштейн, Гордон; Като, Саул; Шредель, Тина; Раскар, Рамеш; Циммер, Мануэль (18 мая 2014 г.). «Одновременная трехмерная визуализация нейрональной активности всего животного с использованием световой микроскопии» . Природные методы . 11 (7): 727–730. DOI : 10.1109 / ISBI.2009.5193292 . PMC 4100252 . PMID 24836920 .
- ^ Конг, Линь; Ван, Цзегуань; Чай, Юмин; Повесьте, Вэй; Шан, Чуньфэн; Ян, Вэньбинь; Бай, Лу; Ду, Цзюлинь; Ван, Кай (2017-09-20). «Быстрая визуализация всего мозга нервной активности у свободно ведущих личинок рыбок данио (Danio rerio)» . eLife . 6 . DOI : 10.7554 / eLife.28158 . PMC 5644961 . PMID 28930070 .
- ^ Аймон, Софи; Кацуки, Такео; Гросеник, Логан; Брокстон, Майкл; Дейссерот, Карл; Сейновски, Терренс; Гринспен, Ральф (2017-09-02). «Быстрая визуализация всего мозга у взрослых дрозофил во время реакции на стимулы и поведение» . bioRxiv 10.1101 / 033803 . DOI : 10.1101 / 033803 . Цитировать журнал требует
|journal=
( помощь ) - ^ Гросеник, Логан; Брокстон, Майкл; Ким, Кристина; Листон, Конор; Пул, Бен; Ян, Самуэль; Андалман, Аарон; Шарфф, Эдвард; Коэн, Ной; Ижар, Офер; Рамакришнан, Чару; Гангули, Сурья; Суппес, Патрик; Левой, Марк; Дейссерот, Карл (01.05.2017). «Идентификация динамики клеточной активности в больших объемах тканей в мозге млекопитающих» . bioRxiv 10.1101 / 132688 . DOI : 10.1101 / 132688 . Цитировать журнал требует
|journal=
( помощь ) - ^ «Световая микроскопия в нейровизуализации» .