Из Википедии, бесплатной энциклопедии
Перейти к навигации Перейти к поиску

U-Net - это сверточная нейронная сеть, которая была разработана для сегментации биомедицинских изображений на факультете компьютерных наук Университета Фрайбурга . [1] Сеть основана на полностью сверточной сети [2], и ее архитектура была изменена и расширена для работы с меньшим количеством обучающих изображений и получения более точных сегментов. Сегментация изображения размером 512 × 512 на современном графическом процессоре занимает менее секунды .

Описание [ править ]

Архитектура U-Net происходит от так называемой «полностью сверточной сети», впервые предложенной Лонгом, Шелхэмером и Дарреллом. [2]

Основная идея состоит в том, чтобы дополнить обычную контрактную сеть последовательными уровнями, где операции объединения заменяются операторами повышающей дискретизации . Следовательно, эти слои увеличивают разрешение вывода. Более того, последовательный сверточный слой затем может научиться составлять точный вывод на основе этой информации. [1]

Одна из важных модификаций U-Net заключается в том, что в части повышающей дискретизации имеется большое количество функциональных каналов, которые позволяют сети распространять контекстную информацию на уровни с более высоким разрешением. Как следствие, расширяющаяся дорожка более или менее симметрична сжимающейся части и дает U-образную архитектуру. Сеть использует только действительную часть каждой свертки без полносвязных слоев. [2] Чтобы предсказать количество пикселей в пограничной области изображения, недостающий контекст экстраполируется путем зеркального отражения входного изображения. Эта стратегия мозаичного изображения важна для применения сети к большим изображениям, поскольку в противном случае разрешение будет ограничено памятью графического процессора .

История [ править ]

U-Net был создан Олафом Роннебергером, Филиппом Фишером, Томасом Броксом в 2015 году в статье «U-Net: сверточные сети для сегментации биомедицинских изображений». [1] Это усовершенствование и развитие FCN: Эван Шелхамер, Джонатан Лонг, Тревор Даррелл (2014). «Полностью сверточные сети для семантической сегментации». [2]

Сетевая архитектура [ править ]

Сеть состоит из сокращающегося пути и расширяющегося пути, что придает ей U-образную архитектуру. Контрактный путь - это типичная сверточная сеть, которая состоит из многократного применения сверток , за каждой из которых следует выпрямленный линейный блок (ReLU) и операция максимального объединения . Во время сжатия пространственная информация уменьшается, а характерная информация увеличивается. Расширяющийся путь сочетает в себе функции и пространственную информацию посредством последовательности восходящих сверток и конкатенаций с функциями высокого разрешения из сокращающегося пути. [3]

Это пример архитектуры U-Net для создания k масок 256 на 256 для изображения RGB 256 на 256.

Приложения [ править ]

Существует множество применений U-Net для сегментации биомедицинских изображений , например, для сегментации изображений головного мозга («BRATS» [4] ) и сегментации изображений печени («siliver07» [5] ). Варианты U-Net также применялись для реконструкции медицинских изображений. [6] Вот несколько вариантов и приложений U-Net:

  1. Пиксельная регрессия с использованием U-Net и его приложения для панорамирования; [7]
  2. 3D U-Net: изучение плотной объемной сегментации из разреженных аннотаций; [8]
  3. TernausNet: U-Net с кодировщиком VGG11, прошедший предварительную подготовку в ImageNet для сегментации изображений. [9]

Реализации [ править ]

jakeret (2017): «Tensorflow Unet» [10]

Исходный код U-Net из службы распознавания образов и обработки изображений факультета компьютерных наук Фрайбургского университета, Германия. [11]

Основные статьи по системе [1] [2] [8] [9] были процитированы 3693, 7049, 442 и 22 раза соответственно в Google Scholar по состоянию на 24 декабря 2018 г. [12]

Ссылки [ править ]

  1. ^ a b c d Роннебергер, Олаф; Фишер, Филипп; Брокс, Томас (2015). «U-Net: сверточные сети для сегментации биомедицинских изображений». arXiv : 1505.04597 [ cs.CV ].
  2. ^ a b c d e Long, J .; Shelhamer, E .; Даррелл, Т. (2014). «Полностью сверточные сети для семантической сегментации». IEEE Transactions по анализу шаблонов и машинному анализу . 39 (4): 640–651. arXiv : 1411,4038 . DOI : 10.1109 / TPAMI.2016.2572683 . PMID 27244717 . S2CID 1629541 .  
  3. ^ "Код U-Net" .
  4. ^ "MICCAI BraTS 2017: Объем | Раздел анализа биомедицинских изображений (SBIA) | Медицинская школа Перельмана в Университете Пенсильвании" . www.med.upenn.edu . Проверено 24 декабря 2018 .
  5. ^ "SLIVER07: Дом" . www.sliver07.org . Проверено 24 декабря 2018 .
  6. ^ Андерссон Дж, Альстрем Н, Kullberg J (сентябрь 2019). «Разделение сигнала воды и жира в градиентном эхо-сканировании всего тела с использованием сверточных нейронных сетей» . Магнитный резонанс в медицине . 82 (3): 1177–1186. DOI : 10.1002 / mrm.27786 . PMC 6618066 . PMID 31033022 .  
  7. ^ Яо, Вэй; Цзэн, Чжиган; Лянь, Ченг; Тан, Хуэйминь (27.10.2018). «Пиксельная регрессия с использованием U-Net и его приложения для паншарпенинга». Нейрокомпьютеры . 312 : 364–371. DOI : 10.1016 / j.neucom.2018.05.103 . ISSN 0925-2312 . 
  8. ^ а б Чичек, Озгюн; Абдулкадир, Ахмед; Лиенкамп, Soeren (2016). "3D U-Net: Изучение плотной объемной сегментации из разреженных аннотаций". arXiv : 1606.06650 [ cs.CV ].
  9. ^ a b Игловиков, Владимир; Швец, Алексей (2018). «TernausNet: U-Net с кодировщиком VGG11, прошедший предварительное обучение в ImageNet для сегментации изображений». arXiv : 1801.05746 [ cs.CV ].
  10. ^ Акерет, Джоэл (2018-12-24), Общая реализация U-Net Tensorflow для сегментации изображений: jakeret / tf_unet , получено 24.12.2018
  11. ^ "U-Net: сверточные сети для сегментации биомедицинских изображений" . lmb.informatik.uni-freiburg.de . Проверено 24 декабря 2018 .
  12. ^ U-net данные цитирования Google Scholar