Микроскопия с временным расширением, также известная как последовательная усиленная визуализация / микроскопия с кодировкой времени или усиленная визуализация / микроскопия с кодировкой по времени ( STEAM ) - это быстрый метод оптической визуализации в реальном времени, который обеспечивает частоту кадров МГц, выдержку ~ 100 пс и ~ Усиление оптического изображения 30 дБ (× 1000). Основанный на технологии Photonic Time Stretch, STEAM удерживает мировые рекорды по выдержке и частоте кадров при непрерывной визуализации в реальном времени. STEAM использует Photonic Time Stretch с внутренним рамановским усилением для реализации оптического усиления изображения, чтобы обойти фундаментальный компромисс между чувствительностью и скоростью, который влияет практически на все оптические системы визуализации и восприятия. В этом методе используется однопиксельнаяфотодетектор , устраняющий необходимость в матрице детекторов и ограничениях времени считывания. Избегая этой проблемы и используя оптическое усиление изображения для значительного улучшения чувствительности при высокой скорости получения изображения, скорость затвора STEAM как минимум в 1000 раз выше, чем у современных камер CCD [1] и CMOS [2] . Его частота кадров в 1000 раз выше, чем у самых быстрых камер CCD, и в 10–100 раз выше, чем у самых быстрых камер CMOS.
История
Микроскопия с растяжением во времени и ее применение в микрофлюидике для классификации биологических клеток были изобретены в Калифорнийском университете в Лос-Анджелесе. [3] [4] [5] [6] [7] [8] [9] [10] Он сочетает в себе концепцию спектрально кодированного освещения с фотонным временным растяжением, сверхбыстрой технологией сбора данных в реальном времени, разработанной ранее в той же лаборатории для создать фемтосекундный однократный дигитайзер реального времени [11] и однократный стимулированный рамановский спектрометр. [12] Первой демонстрацией была одномерная версия [13], а позже - двухмерная версия. [14] Позже был создан быстродействующий виброметр, расширив систему до интерферометрической конфигурации. [15] Затем технология была расширена на количественную фазовую визуализацию с растяжением во времени ( TS-QPI ) для классификации клеток крови без маркировки и в сочетании с искусственным интеллектом (AI) для классификации раковых клеток в крови с точностью более 96%. [16] Система измерила 16 биофизических параметров клеток одновременно за один снимок и выполнила гиперпространственную классификацию с использованием глубокой нейронной сети (DNN). Результаты сравнивались с другими алгоритмами классификации машинного обучения, такими как логистическая регрессия и наивный байесовский алгоритм, с наивысшей точностью, полученной с помощью глубокого обучения. Позднее это было расширено «глубокой цитометрией» [17], в которой вычислительно-ресурсоемкие задачи обработки изображений и извлечения признаков до глубокого обучения удалось избежать путем прямой подачи растянутых во времени линейных сканеров, каждый из которых представляет лазерный импульс, в глубокую сверточную нейронную сеть. Эта прямая классификация необработанных растянутых во времени данных сократила время вывода на порядки до 700 микросекунд на процессоре с ускорением на GPU. При скорости потока 1 м / с клетки перемещаются менее чем на миллиметр. Следовательно, этого сверхкороткого времени вывода достаточно для сортировки ячеек.
Задний план
Технология быстрой оптической визуализации в реальном времени незаменима для изучения динамических явлений, таких как ударные волны , лазерный синтез , химическая динамика в живых клетках, нейронная активность, лазерная хирургия , микрофлюидика и МЭМС . Обычные методы обычных камер CCD и CMOS не подходят для захвата быстрых динамических процессов с высокой чувствительностью и скоростью; существуют технологические ограничения - для считывания данных с матрицы датчиков требуется время, и существует принципиальный компромисс между чувствительностью и скоростью: при высокой частоте кадров в каждом кадре собирается меньше фотонов, и эта проблема затрагивает почти все оптические изображения. системы.
Камеры подряд , используется для диагностики в ЛТС, излучение плазмы, и сгорания, работает в режиме только лопнуть (обеспечивая только несколько кадров) и требует синхронизации камеры с событием , чтобы быть захвачены. Следовательно, он не может фиксировать случайные или временные события в биологических системах. Стробоскопы выполняют дополнительную роль: они могут фиксировать динамику быстрых событий, но только если событие повторяется, например, вращения, вибрации и колебания. Они не могут фиксировать неповторяющиеся случайные события, которые происходят только один раз или не происходят через определенные промежутки времени.
Принцип действия
Основной принцип состоит из двух этапов, выполняемых оптически. На первом этапе спектр широкополосного оптического импульса преобразуется пространственным диспергатором в радугу, освещающую цель. Здесь радужный импульс состоит из множества субимпульсов разных цветов (частот), что указывает на то, что разные частотные компоненты (цвета) радужного импульса падают на разные пространственные координаты объекта. Следовательно, пространственная информация (изображение) объекта кодируется в спектр результирующего отраженного или переданного импульса радуги. Отраженный или переданный в кодировке изображения импульс радуги возвращается в тот же пространственный распределитель или поступает в другой пространственный распределитель для объединения цветов радуги обратно в единый импульс. Здесь выдержка или время экспозиции STEAM соответствуют временной ширине радужного импульса. На втором этапе спектр преобразуется в последовательный временной сигнал, который растягивается во времени с помощью дисперсионного преобразования Фурье, чтобы замедлить его, чтобы его можно было оцифровывать в реальном времени. Растяжение во времени происходит внутри дисперсионного волокна, которое накачивается для создания внутреннего рамановского усиления. Здесь изображение оптически усиливается за счет вынужденного комбинационного рассеяния света для преодоления уровня теплового шума детектора. Усиленный растянутый во времени последовательный поток изображений обнаруживается однопиксельным фотодетектором, и изображение восстанавливается в цифровой области. Последующие импульсы захватывают повторяющиеся кадры, поэтому частота повторения лазерных импульсов соответствует частоте кадров STEAM. Второй известен как аналого-цифровой преобразователь с растягиванием во времени, иначе известный как область записи с растяжением во времени (TiSER).
Усиленное дисперсионное преобразование Фурье
Одновременное растяжение и усиление также известно как усиленное дисперсионное преобразование Фурье во времени (TS-DFT). [18] [19] Технология усиленного растяжения во времени была разработана ранее для демонстрации аналого-цифрового преобразования с фемтосекундной частотой дискретизации в реальном времени [11] и для демонстрации спектроскопии вынужденного комбинационного рассеяния за один снимок с миллионами кадров в секунду. [12] Усиленный временной интервал - это процесс, в котором спектр оптического импульса преобразуется большой дисперсией групповой скорости в замедленную временную форму волны и одновременно усиливается процессом вынужденного комбинационного рассеяния . Следовательно, оптический спектр может быть захвачен однопиксельным фотодетектором и оцифрован в реальном времени. Импульсы повторяются для повторяющихся измерений оптического спектра. ДПФ с усилением во времени состоит из дисперсионного волокна, накачиваемого лазерами, и мультиплексоров с разделением по длине волны, которые вводят лазеры в дисперсионное волокно и из него. Усиленное дисперсионное преобразование Фурье было первоначально разработано для создания сверхширокополосных аналого-цифровых преобразователей, а также использовалось для высокопроизводительной спектроскопии в реальном времени . Разрешение имидж-сканера STEAM в основном определяется дифракционным пределом, частотой дискретизации внутреннего дигитайзера и пространственными диспергаторами. [20]
Количественная фазовая визуализация с растяжением во времени
Количественная фазовая визуализация с растяжением во времени ( TS-QPI ) - это метод визуализации, основанный на технологии растяжения по времени для одновременного измерения пространственных профилей фазы и интенсивности. [21] [22] [23] [24] Разработанный в Калифорнийском университете в Лос-Анджелесе, он привел к созданию микроскопа искусственного интеллекта, растянутого во времени. [21]
Растянутые во времени изображения
Со временем растягиваются изображениями, пространственная информация объекта кодируется в спектре от лазерных импульсов в пределах длительности импульса суб- наносекунд . Каждый импульс, представляющий один кадр камеры , затем растягивается во времени, так что он может быть оцифрован в реальном времени с помощью электронного аналого-цифрового преобразователя (АЦП). Сверхбыстрое импульсное освещение останавливает движение высокоскоростных ячеек или частиц в потоке, чтобы получить изображение без размытия. Чувствительность обнаружения затруднена из-за небольшого количества фотонов, собранных за сверхкороткое время срабатывания затвора (ширины оптического импульса), и падения пиковой оптической мощности в результате растяжения во времени. [25] Эти проблемы решаются при построении изображений с растяжением во времени за счет использования рамановского усилителя с низким коэффициентом шума в составе диспергирующего устройства, которое выполняет растяжение во времени. Более того, преобразование с деформированным растяжением можно использовать при формировании изображений с растяжением во времени для достижения оптического сжатия изображения и неоднородного пространственного разрешения по полю зрения.
В когерентной версии камеры с растягиванием во времени формирование изображений комбинируется со спектральной интерферометрией для измерения количественных фазовых [26] [27] и интенсивных изображений в режиме реального времени и с высокой пропускной способностью. Интегрированная с микрофлюидным каналом, система когерентной визуализации с растяжением во времени измеряет как количественный оптический фазовый сдвиг, так и потерю отдельных клеток в качестве высокоскоростного проточного цитометра с визуализацией, регистрируя миллионы линейных изображений в секунду при скорости потока до нескольких метров в секунду. , достигая пропускной способности до ста тысяч ячеек в секунду. Количественную фазовую визуализацию с растяжением во времени можно комбинировать с машинным обучением для достижения очень точной классификации клеток без меток.
Приложения
Этот метод полезен для широкого спектра научных, промышленных и биомедицинских приложений, требующих высокой скорости затвора и частоты кадров. Одномерная версия может быть использована для перемещения зондирования, [ править ] считывания штрих - кода, [ править ] и кровь скрининга; [28] двумерная версия для наблюдения в реальном времени, диагностики и оценки ударных волн, микрожидкостного потока, [29] нейронной активности, MEMS, [30] и динамики лазерной абляции. [ необходима цитата ] Трехмерная версия полезна для определения дальности, [ необходима цитата ] размерной метрологии, [ необходима цитата ], а также поверхностной виброметрии и велосиметрии. [31]
Сжатие изображения в оптической области
Большие данные не только открывают возможности, но и создают проблемы для биомедицинских и научных инструментов, блоки сбора и обработки которых перегружены потоком данных. Необходимость сжимать огромные объемы данных в реальном времени вызвала интерес к неравномерным преобразованиям растяжения - операциям, которые изменяют форму данных в соответствии с их разреженностью.
Недавно исследователи из Калифорнийского университета в Лос-Анджелесе продемонстрировали сжатие изображений в оптическом диапазоне и в реальном времени. [32] Используя нелинейную дисперсию групповой задержки и построение изображений с растяжением во времени, они смогли оптически деформировать изображение, так что богатые информацией части отбираются с более высокой плотностью выборки, чем разреженные области. Это было сделано путем реструктуризации изображения перед оптико-электрическим преобразованием с последующим использованием однородного электронного устройства отбора проб. Реконструкция неравномерно растянутого изображения демонстрирует, что разрешение выше там, где информация богатая, и ниже, когда информация намного меньше и относительно не важна. Богатая информацией область в центре хорошо сохраняется при сохранении той же частоты дискретизации по сравнению с однородным случаем без понижающей дискретизации. Сжатие изображения было продемонстрировано со скоростью 36 миллионов кадров в секунду в реальном времени.
Смотрите также
- Устройство с зарядовой связью
- Спектроскопия с временным разрешением
- Дисперсионное преобразование Фурье во времени
- Аналого-цифровой преобразователь с растяжением во времени
Рекомендации
- ^ JR Janesick (2001). Научные приборы с зарядовой связью . SPIE Press. ISBN 9780819436986.
- ^ Х. Циммерманн (2000). Интегрированная кремниевая оптоэлектроника . Springer. ISBN 978-3540666622.
- ^ К. Года; К.К. Циа и Б. Джалали (2008). «Усиленное дисперсионное преобразование Фурье для сверхбыстрого обнаружения смещения и считывания штрих-кода». Письма по прикладной физике . 93 (13): 131109. arXiv : 0807.4967 . Bibcode : 2008ApPhL..93m1109G . DOI : 10.1063 / 1.2992064 . S2CID 34751462 .
- ^ К. Года; К.К. Циа и Б. Джалали (2009). «Последовательная кодированная во времени усиленная визуализация для наблюдения в реальном времени быстрых динамических явлений». Природа . 458 (7242): 1145–9. Bibcode : 2009Natur.458.1145G . DOI : 10,1038 / природа07980 . PMID 19407796 . S2CID 4415762 .
- ^ Патент США 8654441 , Jalali Бахры и Motafakker-Fard Али, «Дифференциальный интерференционный контраст последовательное время кодируется усиленная микроскопии», выданной 2014-02-18, назначенной для регентов Калифорнийского университета
- ^ Патент США 8870060 , Джалали Бахрам; Года Кейсуке и Циа Кевин Кин-Ман, «Аппарат и метод для получения изображений с дисперсионным преобразованием Фурье», выпущенный 2014-10-28, передан регентам Калифорнийского университета.
- ^ Патент США 9835840 , Джалали Бахрам; Года Кейсуке и Циа Кевин Кин-Ман, «Методы оптического усиленного изображения с использованием двумерной спектральной кисти», опубликовано 30 января 2015 г., поручено Регентам Калифорнийского университета
- ^ Патент США 8987649 , Джалали Бахрам; Года Кейсуке и Циа Кевин Кин-Ман, «Методы оптического усиленного изображения с использованием двумерной спектральной кисти», опубликовано 24 марта 2015 г., поручено Регентам Калифорнийского университета.
- ^ Патент США 9903804 , Jalali Бахрам и Mahjoubfar Ата, « в режиме реального времени без наклеек с высокой пропускной способностью клеток скрининга в потоке», выданном 2018-02-27, назначенный для регентов Калифорнийского университета
- ^ Патент США 10593039 , Джалали Бахрам; Маджубфар Ата и Чен Лифан, «Глубокое обучение в области классификации клеток без меток и извлечения частиц с помощью машинного зрения», опубликованный 17 марта 2020 г., назначен регентам Калифорнийского университета
- ^ а б Chou, J .; Boyraz, O .; Solli, D .; Джалали, Б. (2007). «Фемтосекундный однократный дигитайзер реального времени» . Письма по прикладной физике . 91 (16): 161105–1–161105–3. Bibcode : 2007ApPhL..91p1105C . doi : 10.1063 / 1.2799741 - через Researchgate.net.
- ^ а б Солли, Д.Р .; Boyraz, O .; Джалали, Б. (2008). «Усиленное преобразование длины волны во время для спектроскопии в реальном времени» . Природа Фотоника . 2 (1): 48–51. Bibcode : 2008NaPho ... 2 ... 48S . DOI : 10.1038 / nphoton.2007.253 . S2CID 8991606 .
- ^ К. Года; К.К. Циа и Б. Джалали (2008). «Усиленное дисперсионное преобразование Фурье для сверхбыстрого обнаружения смещения и считывания штрих-кода». Письма по прикладной физике . 93 (13): 131109. arXiv : 0807.4967 . Bibcode : 2008ApPhL..93m1109G . DOI : 10.1063 / 1.2992064 . S2CID 34751462 .
- ^ К. Года; К.К. Циа и Б. Джалали (2009). «Последовательная кодированная во времени усиленная визуализация для наблюдения в реальном времени быстрых динамических явлений». Природа . 458 (7242): 1145–9. Bibcode : 2009Natur.458.1145G . DOI : 10,1038 / природа07980 . PMID 19407796 . S2CID 4415762 .
- ^ А. Маджубфар; К. Года; А. Аязи; А. Фард; С.Х. Ким и Б. Джалали (2011). «Высокоскоростной визуализирующий виброметр и велосиметр с нанометровым разрешением». Письма по прикладной физике . 98 (10): 101107. Bibcode : 2011ApPhL..98j1107M . DOI : 10.1063 / 1.3563707 .
- ^ Чен, CL; Mahjoubfar, A .; Хвост.; Blaby, I .; Хуанг, А .; Niazi, K .; Джалали, Б. (2016). «Глубокое обучение в классификации клеток без меток» . Научные отчеты . 6 : 21471. Bibcode : 2016NatSR ... 621471C . DOI : 10.1038 / srep21471 . PMC 4791545 . PMID 26975219 .
- ^ Ли, Юэцинь; Махджубфар, Ата; Чен, Клэр Лифан; Ниази, Кайван Реза; Пей, Ли и Джалали, Бахрам (2019). «Глубокая цитометрия: глубокое обучение с выводом в реальном времени при сортировке клеток и проточной цитометрии» . Научные отчеты . 9 (1): 1–12. arXiv : 1904.09233 . Bibcode : 2019NatSR ... 911088L . DOI : 10.1038 / s41598-019-47193-6 . PMC 6668572 . PMID 31366998 .
- ^ К. Года; Д.Р. Солли; К.К. Циа и Б. Джалали (2009). «Теория усиленного дисперсионного преобразования Фурье». Physical Review . 80 (4): 043821. Bibcode : 2009PhRvA..80d3821G . DOI : 10.1103 / PhysRevA.80.043821 . ЛВП : 10722/91330 .
- ^ К. Года и Б. Джалали (2010). «Коэффициент шума усиленного дисперсионного преобразования Фурье» . Physical Review . 82 (3): 033827. Bibcode : 2010PhRvA..82c3827G . DOI : 10.1103 / PhysRevA.82.033827 . S2CID 8243947 .
- ^ Циа К.К., Года К., Кейпвелл Д., Джалали Б. (2010). «Характеристики последовательного усиленного микроскопа с временной кодировкой». Оптика Экспресс . 18 (10): 10016–28. Bibcode : 2010OExpr..1810016T . DOI : 10.1364 / oe.18.010016 . ЛВП : 10722/91333 . PMID 20588855 .CS1 maint: несколько имен: список авторов ( ссылка )
- ^ а б Чен, Клэр Лифан; Махджубфар, Ата; Тай, Ли-Чиа; Blaby, Ян К .; Хуанг, Аллен; Ниази, Кайван Реза; Джалали, Бахрам (2016). «Глубокое обучение в классификации клеток без меток» . Научные отчеты . 6 : 21471. Bibcode : 2016NatSR ... 621471C . DOI : 10.1038 / srep21471 . PMC 4791545 . PMID 26975219 .опубликовано под лицензией CC BY 4.0
- ^ Мишо, Сара (5 апреля 2016 г.). «Использование больших данных для визуализации клеток» . Новости оптики и фотоники . Оптическое общество . Проверено 8 июля +2016 .
- ^ «Фотонная микроскопия растяжения во времени в сочетании с искусственным интеллектом выявляет раковые клетки в крови» . Med Gadget . 15 апреля 2016 . Проверено 8 июля +2016 .
- ^ Чен, Клэр Лифан; Махджубфар, Ата; Джалали, Бахрам (23 апреля 2015 г.). «Сжатие оптических данных при визуализации с растяжением во времени» . PLOS ONE . 10 (4): e0125106. Bibcode : 2015PLoSO..1025106C . DOI : 10.1371 / journal.pone.0125106 . PMC 4408077 . PMID 25906244 .
- ^ Махджубфар, Ата; Чуркин, Дмитрий В .; Барланд, Стефан; Бродерик, Нил; Турицын, Сергей К .; Джалали, Бахрам (2017). «Растяжка времени и ее приложения». Природа Фотоника . 11 (6): 341–351. Bibcode : 2017NaPho..11..341M . DOI : 10.1038 / nphoton.2017.76 .
- ^ Г. Попеску, "Количественная фазовая визуализация клеток и тканей", McGraw Hill Professional (2011)
- ^ Лау, Энди К.С.; Вонг, Теренс TW; Хо, Кеннет KY; Тан, Мэтью TH; Чан, Энтони К.С.; Вэй, Сяомин; Лам, Эдмунд Й .; Шум, Хо Чунг; Вонг, Кеннет KY; Циа, Кевин К. (2014). «Интерферометрическая микроскопия с растяжением во времени для ... количественной визуализации клеток и тканей» (PDF) . Журнал биомедицинской оптики . Бесплатная загрузка PDF. 19 (7): 076001. Bibcode : 2014JBO .... 19g6001L . DOI : 10.1117 / 1.JBO.19.7.076001 . hdl : 10722/200609 . PMID 24983913 .
- ^ Чен К., Маджубфар А., Тай Л., Блаби И., Хуанг А., Ниази К., Джалали Б. (2016). «Глубокое обучение в классификации клеток без меток» . Научные отчеты . 6 : 21471. Bibcode : 2016NatSR ... 621471C . DOI : 10.1038 / srep21471 . PMC 4791545 . PMID 26975219 .CS1 maint: несколько имен: список авторов ( ссылка )
- ^ Д. Ди Карло (2009). «Инерционная микрофлюидика». Лаборатория на чипе . 9 (21): 3038–46. DOI : 10.1039 / b912547g . PMID 19823716 .
- ^ Т.Р. Сюй (2008). МЭМС и микросистемы: проектирование, производство и наноразмерная инженерия . Вайли. ISBN 978-0470083017.
- ^ Маджубфар А., Года К., Аязи А., Фард А., Ким С., Джалали Б. (2011). «Высокоскоростной визуализирующий виброметр и велосиметр с нанометровым разрешением». Письма по прикладной физике . 98 (10): 101107. Bibcode : 2011ApPhL..98j1107M . DOI : 10.1063 / 1.3563707 .CS1 maint: несколько имен: список авторов ( ссылка )
- ^ CL Chen; Маджубфар; Б. Джалали (2015). «Сжатие оптических данных при визуализации с растяжением во времени» . PLOS ONE . 10 (4): 1371. Bibcode : 2015PLoSO..1025106C . DOI : 10.1371 / journal.pone.0125106 . PMC 4408077 . PMID 25906244 .