Studierfenster [1] [2] - это бесплатная некоммерческая онлайн-платформа Open Science для обработки медицинских изображений (MIP) на основе клиент / сервер. Он предлагает такие возможности, как просмотр медицинских данных ( компьютерная томография (КТ), магнитно-резонансная томография (МРТ) и т. Д.) В двухмерном (2D) и трехмерном пространстве (3D) непосредственно в стандартном веб-браузере , таком как Google Chrome. , Mozilla Firefox, Safari или Microsoft Edge. К другим функциям относятся расчет медицинских показателей (показатель Dice Score [3] и расстояние Хаусдорфа [4] ), ручное поэтапное выделение структур на медицинских изображениях ( сегментация [5]).[6] ), ручное размещение (анатомических) ориентиров в данных медицинских изображений, просмотр медицинских данных в виртуальной реальности (VR), реконструкция лица и регистрация медицинских данных для дополненной реальности (AR). [7]
Разработчики) | Технологический университет Граца , Медицинский университет Граца |
---|---|
Первый выпуск | 2018 |
Написано в | C , C ++ , Python , JavaScript , HTML |
Операционная система | Кроссплатформенность (Windows, Mac OS X, Linux) |
Доступно в | английский |
Тип | Обработка изображений , научная визуализация , медицинская визуализация , объемный рендеринг , интерактивная визуализация |
Лицензия | GPL , CC-BY-SA |
Веб-сайт | Studierfenster |
Другие особенности Studierfenster являются автоматическим Краниальной Имплантат Дизайн с нейронной сетью , [8] [9] inpainting из аорты вскрытий [10] с генеративным состязательным Network (ГАНА) [11] [12] и автоматическим аортальным обнаружением наземного ориентира с Глубокое обучение [13] в компьютерной томографии и ангиографии (КТА).
Studierfenster в настоящее время размещается на сервере Технологического университета Граца (TU Graz) [14] в Штирии, Австрия.
История
Studierfenster (SF) был инициирован в рамках двух диссертаций на степень бакалавра в рамках программы Summer Bachelor (SB) Института компьютерной графики и зрения (ICG) Технологического университета Граца, Австрия, в сотрудничестве с Медицинским университетом Граца (MedUni Graz). , Австрия, в 2018/2019 гг. [15] [16]
Название Studierfenster (или StudierFenster) немецкое и может быть переведено на StudyWindow, при этом Window здесь означает окно браузера. Слово Studierfenster - это адаптация слова Studierstube (кабинет), которое было проектом дополненной реальности в Венском технологическом университете в Австрии. [17] [18]
Архитектура
Studierfenster настраивается как распределенное приложение по модели клиент-сервер. Клиентская часть (интерфейс) состоит из языка гипертекстовой разметки (HTML) и JavaScript. Интерфейс также использует библиотеку веб-графики (WebGL), которая представляет собой интерфейс прикладного программирования (API) Javascript, происходящий от спецификации Open Graphics Library (OpenGL) ES 2.0, на которую он все еще очень похож. В отличие от OpenGL, WebGL позволяет отображать 2D и 3D графику в веб-браузерах. Это позволяет использовать графические функции, известные из автономных программ, непосредственно в веб-приложениях, поддерживаемые вычислительной мощностью клиентского графического процессора (GPU).
Серверная часть (back-end) обрабатывает клиентские запросы через C, C ++ и Python. [19] Он взаимодействует с общими библиотеками с открытым исходным кодом и программными инструментами, такими как Insight Toolkit (ITK) [20] Visualization Toolkit ( VTK ), [21] X Toolkit (XTK) [22] и Slice: Drop. [23] Связь с сервером осуществляется с помощью запросов AJAX [24] .
Studierfenster использует сервер Flask . По совпадению, Flask был создан Армином Ронахером, выпускником Грацского технологического университета в Австрии. [25]
Функции
Браузер Dicom
Это позволяет на стороне клиента анализировать локальную папку с файлами DICOM (Digital Imaging and Communications in Medicine [26] [27] ). После этого всю папку можно преобразовать в сжатые файлы .Nrrd (почти необработанные растровые данные) и загрузить как один файл .zip.
Nrrd - это библиотека и формат файла для представления и обработки n-мерных растровых данных. Он предназначен для поддержки приложений научной визуализации и (медицинской) обработки изображений . [28] С помощью «Dicom Browser» Studierfenster можно выбрать определенные исследования или серии и преобразовать только их.
Конвертер файлов
«Конвертер файлов» преобразует файл медицинского тома (например, несжатый файл .Nrrd) в сжатый / двоичный файл .Nrrd. После преобразования сжатый файл .Nrrd можно загрузить и использовать с «Medical 3D Viewer» для 2D и 3D визуализации и дальнейшей обработки изображений.
Модуль метрик
Это позволяет вычислить коэффициент сходства игральных костей (DSC) и расстояние Хаусдорфа (HD) между двумя масками сегментации (в формате .nrrd) в стандартном веб-браузере.
Результирующая таблица имеет семь столбцов: имена файлов для обоих файлов, используемых в вычислении, вычисленное DSC, вычисленное HD, вычисленное направленное HD для обоих направлений и информация о том, использовалось ли при вычислении расстояние между изображениями. Таблица может быть отсортирована, доступна для поиска и может быть экспортирована в виде простой копии, экспорта в Excel, файла со значениями, разделенными запятыми (CSV) или в формате переносимого документа (PDF).
Модуль Metrics использовался для сравнения ручных анатомических сегментов опухолей головного мозга [29]
VR Viewer
VR Viewer (или Medical VR Viewer) позволяет просматривать (медицинские) данные в виртуальной реальности (VR) с помощью таких устройств, как Google Cardboard или HTC Vive (через приложение WebVR). [30] Для просмотра данных в VR их необходимо преобразовать в формат VTI (.vti), что можно сделать с помощью открытого многоплатформенного приложения для анализа и визуализации данных ParaView [31]
Критики
Studierfenster не является сертифицированным медицинским продуктом, его можно использовать только в образовательных, исследовательских и информационных целях.
Рекомендации
- ^ "Studierfenster" . Проверено 23 апреля 2020 года .
- ^ Вебер, Максимилиан (17 октября 2019 г.). «Клиент-серверная онлайн-среда для расчета результатов медицинской сегментации». 2019 41-я ежегодная международная конференция IEEE Engineering in Medicine and Biology Society (EMBC) . Ежегодная международная конференция общества инженеров IEEE в медицине и биологии. Общество инженеров IEEE в медицине и биологии. Ежегодная международная конференция . 2019 . С. 3463–3467. DOI : 10,1109 / EMBC.2019.8856481 . ISBN 978-1-5386-1311-5. PMID 31946624 . S2CID 199373900 .
- ^ Дайс, Ли Р. (1945). «Меры величины экологической ассоциации между видами». Экология . 26 (3): 297–302. DOI : 10.2307 / 1932409 . JSTOR 1932409 .
- ^ Рокафеллар, Р. Тиррелл ; Влажный, Роджер JB (2005). Вариационный анализ . Springer-Verlag. п. 117. ISBN 3-540-62772-3.
- ↑ Линда Г. Шапиро и Джордж К. Стокман (2001): «Компьютерное зрение», стр. 279–325, Нью-Джерси, Прентис-Холл, ISBN 0-13-030796-3
- ^ Баргут, Лорен и Лоуренс В. Ли. «Система обработки перцептивной информации». Заявка на патент США 10/618 543 компании Paravue Inc., поданная 11 июля 2003 г.
- ^ Гсакснер, Кристина; Пепе, Антонио; Валлнер, Юрген; Шмальштиг, Дитер; Эггер, янв (2019). Шен, Дингган; Лю, Тяньминь; Питерс, Терри М .; Staib, Lawrence H .; Эссерт, Кэролайн; Чжоу, Шон; Яп, Пью-Тиан; Хан, Али (ред.). «Безмаркерная регистрация изображения к лицу для непривязанной дополненной реальности в хирургии головы и шеи». Вычисление медицинских изображений и компьютерное вмешательство - MICCAI 2019 . Конспект лекций по информатике. Чам: Издательство Springer International. 11768 : 236–244. DOI : 10.1007 / 978-3-030-32254-0_27 . ISBN 978-3-030-32254-0.
- ^ Ли, Цзяньнин. «Глубокое обучение для реконструкции дефектов черепа» . Магистерская диссертация, Институт компьютерной графики и Vision, Технологический университет Граца, Австрия, стр. 1-68, январь 2020 .
- ^ Ли, Цзяньнин; Пепе, Антонио; Гсакснер, Кристина; Эггер, янв (2020). «Онлайн-платформа для автоматического восстановления дефектов черепа и дизайна черепных имплантатов». arXiv : 2006.00980 [ Physics.med -ph ].
- ^ Пепе, Антонио; Ли, Цзяньнин; Рольф-Писсарчик, Мальте; Гсакснер, Кристина; Чен, Сяоцзюнь; Holzapfel, Gerhard A .; Эггер, янв (2020). «Обнаружение, сегментация, моделирование и визуализация расслоений аорты: обзор». Анализ медицинских изображений . 65 : 101773. дои : 10.1016 / j.media.2020.101773 . PMID 32738647 .
- ^ Прутч, Александр. «Дизайн и разработка веб-инструмента для рисования рассеченной аорты на изображениях ангиографии» (PDF) . Проверено 25 апреля 2020 года .
- ^ Гудфеллоу, Ян; Пуже-Абади, Жан; Мирза, Мехди; Сюй, Бинг; Вард-Фарли, Дэвид; Озаир, Шерджил; Курвиль, Аарон; Бенжио, Йошуа (2014). Генеративные состязательные сети (PDF) . Труды Международной конференции по системам обработки нейронной информации (NIPS 2014). С. 2672–2680.
- ^ Шмидхубер, Дж. (2015). «Глубокое обучение в нейронных сетях: обзор» . Нейронные сети . 61 : 85–117. arXiv : 1404,7828 . DOI : 10.1016 / j.neunet.2014.09.003 . PMID 25462637 . S2CID 11715509 .
- ^ «Технологический университет Граца (TU Graz)» . Проверено 28 апреля 2020 года .
- ^ Вебер, Максимилиан (13 декабря 2018 г.). Онлайн-среда на основе клиент / сервер для расчета оценок сегментации (дипломная работа). Австрия: Институт компьютерной графики и зрения, Технологический университет Граца. С. 1–40.
- ^ Дикий, Дэниел; Вебер, Максимилиан; Эггер, янв (2019). «Клиент-серверная онлайн-среда для ручной сегментации медицинских изображений». arXiv : 1904.08610 [ cs.CV ].
- ^ "Studierstube" (PDF) . Проверено 26 апреля 2020 года .
- ^ Салавари, Жолт; Шмальштиг, Дитер; Фурманн, Антон; Гервац, Майкл (1998). «Studierstube: среда для совместной работы в дополненной реальности». Виртуальная реальность, Том 3 . Конспект лекций по информатике. Издательство Springer International. 3 : 37–48. DOI : 10.1007 / BF01409796 . S2CID 1122975 .
- ^ «Питон» . Проверено 29 апреля 2020 года .
- ^ «Набор инструментов Insight Toolkit (ITK)» . Проверено 27 апреля 2020 года .
- ^ «ВТК - инструментарий визуализации» . Проверено 27 апреля 2020 года .
- ^ «X Toolkit: WebGL ™ для научной визуализации» . 25 апреля 2020 . Проверено 27 апреля 2020 года .
- ^ «Срез: падение» . Проверено 27 апреля 2020 года .
- ^ «Ajax - руководства для веб-разработчиков» . Веб-документы MDN . Архивировано 28 февраля 2018 года . Проверено 27 февраля 2018 года .
- ^ «Армин Ронахер» . Проверено 26 апреля 2020 года .
- ^ «1 Сфера и область применения» . dicom.nema.org .
- ^ Брошюра DICOM , nema.org.
- ^ Аха-Фернандес, Сантьяго; де Луис Гарсия, Родриго; Тао, Дачэн; Ли, Сюэлун (2009). Тензоры в обработке изображений и компьютерном зрении . Достижения в области компьютерного зрения и распознавания образов. Springer Science & Business Media. ISBN 9781848822993.
- ^ Бхандари, Абхишта; Коппен, Джаррад; Агзарян, Марк (2020). «Сверточные нейронные сети для сегментации опухолей головного мозга» . Взгляд на визуализацию . Конспект лекций по информатике. Springer Open. 11:77 (1): 77. DOI : 10,1186 / s13244-020-00869-4 . PMC 7280397 . PMID 32514649 .
- ^ Эггер, янв (12 марта 2017 г.). «Интеграция HTC Vive MeVisLab через OpenVR для медицинских приложений» . PLOS ONE . 12 (3): e0173972. arXiv : 1703.07575 . Bibcode : 2017PLoSO..1273972E . DOI : 10.1371 / journal.pone.0173972 . PMC 5360258 . PMID 28323840 .
- ^ «ParaView» . Проверено 24 мая 2020 года .
Внешние ссылки
- Studierfenster