Часть серии по |
Машинное обучение и интеллектуальный анализ данных |
---|
U-Net - это сверточная нейронная сеть, которая была разработана для сегментации биомедицинских изображений на факультете компьютерных наук Университета Фрайбурга . [1] Сеть основана на полностью сверточной сети [2], и ее архитектура была изменена и расширена для работы с меньшим количеством обучающих изображений и получения более точных сегментов. Сегментация изображения размером 512 × 512 на современном графическом процессоре занимает менее секунды .
Описание [ править ]
Архитектура U-Net происходит от так называемой «полностью сверточной сети», впервые предложенной Лонгом, Шелхэмером и Дарреллом. [2]
Основная идея состоит в том, чтобы дополнить обычную контрактную сеть последовательными уровнями, где операции объединения заменяются операторами повышающей дискретизации . Следовательно, эти слои увеличивают разрешение вывода. Более того, последовательный сверточный слой затем может научиться составлять точный вывод на основе этой информации. [1]
Одна из важных модификаций U-Net заключается в том, что в части повышающей дискретизации имеется большое количество функциональных каналов, которые позволяют сети распространять контекстную информацию на уровни с более высоким разрешением. Как следствие, расширяющаяся дорожка более или менее симметрична сжимающейся части и дает U-образную архитектуру. Сеть использует только действительную часть каждой свертки без полносвязных слоев. [2] Чтобы предсказать количество пикселей в пограничной области изображения, недостающий контекст экстраполируется путем зеркального отражения входного изображения. Эта стратегия мозаичного изображения важна для применения сети к большим изображениям, поскольку в противном случае разрешение будет ограничено памятью графического процессора .
История [ править ]
U-Net был создан Олафом Роннебергером, Филиппом Фишером, Томасом Броксом в 2015 году в статье «U-Net: сверточные сети для сегментации биомедицинских изображений». [1] Это усовершенствование и развитие FCN: Эван Шелхамер, Джонатан Лонг, Тревор Даррелл (2014). «Полностью сверточные сети для семантической сегментации». [2]
Сетевая архитектура [ править ]
Сеть состоит из сокращающегося пути и расширяющегося пути, что придает ей U-образную архитектуру. Контрактный путь - это типичная сверточная сеть, которая состоит из многократного применения сверток , за каждой из которых следует выпрямленный линейный блок (ReLU) и операция максимального объединения . Во время сжатия пространственная информация уменьшается, а характерная информация увеличивается. Расширяющийся путь сочетает в себе функции и пространственную информацию посредством последовательности восходящих сверток и конкатенаций с функциями высокого разрешения из сокращающегося пути. [3]
Приложения [ править ]
Существует множество применений U-Net для сегментации биомедицинских изображений , например, для сегментации изображений головного мозга («BRATS» [4] ) и сегментации изображений печени («siliver07» [5] ). Варианты U-Net также применялись для реконструкции медицинских изображений. [6] Вот несколько вариантов и приложений U-Net:
- Пиксельная регрессия с использованием U-Net и его приложения для панорамирования; [7]
- 3D U-Net: изучение плотной объемной сегментации из разреженных аннотаций; [8]
- TernausNet: U-Net с кодировщиком VGG11, прошедший предварительную подготовку в ImageNet для сегментации изображений. [9]
Реализации [ править ]
jakeret (2017): «Tensorflow Unet» [10]
Исходный код U-Net из службы распознавания образов и обработки изображений факультета компьютерных наук Фрайбургского университета, Германия. [11]
Основные статьи по системе [1] [2] [8] [9] были процитированы 3693, 7049, 442 и 22 раза соответственно в Google Scholar по состоянию на 24 декабря 2018 г. [12]
Ссылки [ править ]
- ^ a b c d Роннебергер, Олаф; Фишер, Филипп; Брокс, Томас (2015). «U-Net: сверточные сети для сегментации биомедицинских изображений». arXiv : 1505.04597 [ cs.CV ].
- ^ a b c d e Long, J .; Shelhamer, E .; Даррелл, Т. (2014). «Полностью сверточные сети для семантической сегментации». IEEE Transactions по анализу шаблонов и машинному анализу . 39 (4): 640–651. arXiv : 1411,4038 . DOI : 10.1109 / TPAMI.2016.2572683 . PMID 27244717 . S2CID 1629541 .
- ^ "Код U-Net" .
- ^ "MICCAI BraTS 2017: Объем | Раздел анализа биомедицинских изображений (SBIA) | Медицинская школа Перельмана в Университете Пенсильвании" . www.med.upenn.edu . Проверено 24 декабря 2018 .
- ^ "SLIVER07: Дом" . www.sliver07.org . Проверено 24 декабря 2018 .
- ^ Андерссон Дж, Альстрем Н, Kullberg J (сентябрь 2019). «Разделение сигнала воды и жира в градиентном эхо-сканировании всего тела с использованием сверточных нейронных сетей» . Магнитный резонанс в медицине . 82 (3): 1177–1186. DOI : 10.1002 / mrm.27786 . PMC 6618066 . PMID 31033022 .
- ^ Яо, Вэй; Цзэн, Чжиган; Лянь, Ченг; Тан, Хуэйминь (27.10.2018). «Пиксельная регрессия с использованием U-Net и его приложения для паншарпенинга». Нейрокомпьютеры . 312 : 364–371. DOI : 10.1016 / j.neucom.2018.05.103 . ISSN 0925-2312 .
- ^ а б Чичек, Озгюн; Абдулкадир, Ахмед; Лиенкамп, Soeren (2016). "3D U-Net: Изучение плотной объемной сегментации из разреженных аннотаций". arXiv : 1606.06650 [ cs.CV ].
- ^ a b Игловиков, Владимир; Швец, Алексей (2018). «TernausNet: U-Net с кодировщиком VGG11, прошедший предварительное обучение в ImageNet для сегментации изображений». arXiv : 1801.05746 [ cs.CV ].
- ^ Акерет, Джоэл (2018-12-24), Общая реализация U-Net Tensorflow для сегментации изображений: jakeret / tf_unet , получено 24.12.2018
- ^ "U-Net: сверточные сети для сегментации биомедицинских изображений" . lmb.informatik.uni-freiburg.de . Проверено 24 декабря 2018 .
- ^ U-net данные цитирования Google Scholar