Deep Image Prior

Эта статья поднимает множество проблем. Пожалуйста, помогите улучшить его или обсудите эти проблемы на странице обсуждения . ( Узнайте, как и когда удалить эти сообщения-шаблоны ) Эта статья может быть слишком технической для понимания большинством читателей . Пожалуйста, помогите улучшить его, чтобы он был понятен неспециалистам , не удаляя технических деталей. ( Январь 2018 г. ) ( Узнайте, как и когда удалить этот шаблон сообщения ) Эта статья в значительной степени или полностью основана на одном источнике . Соответствующее обсуждение можно найти на странице обсуждения . Пожалуйста, помогите улучшить эту статью , добавив ссылки на дополнительные источники . Найти источники:  "Deep Image Prior"  -  новости  · газеты  · книги  · ученый  · JSTOR ( январь 2018 г. ) Тема этой статьи может не соответствовать общему руководству Википедии о известности . Пожалуйста, помогите продемонстрировать значимость темы, цитируя надежные вторичные источники , не зависящие от темы и обеспечивающие значительное ее освещение, помимо банального упоминания. Если не удается показать известность, вероятно, статья будет объединена , перенаправлена или удалена . Найти источники:  "Deep Image Prior"  -  новости  · газеты  · книги  · ученый  · JSTOR ( апрель 2018 г. ) (Узнайте, как и когда удалить этот шаблон сообщения ) ( Узнайте, как и когда удалить этот шаблон сообщения )

Deep Image Prior - это тип сверточной нейронной сети, используемой для улучшения данного изображения без предварительных обучающих данных, кроме самого изображения. Нейронная сеть инициализируется случайным образом и используется, как и раньше, для решения обратных задач, таких как уменьшение шума , сверхразрешение и рисование . Статистика изображений фиксируется структурой генератора сверточных изображений, а не какими-либо ранее изученными возможностями.

Метод [ править ]

Фон [ править ]

Обратные задачи, такие как уменьшение шума , сверхвысокое разрешение и рисование, могут быть сформулированы как задача оптимизации , где - изображение, искаженное представление этого изображения, является зависимым от задачи термином данных, а R (x) - регуляризатором . Это создает проблему минимизации энергии.${\ displaystyle x ^ {*} = min_ {x} E (x; x_ {0}) + R (x)}$${\ displaystyle x}$${\ displaystyle x_ {0}}$${\ Displaystyle Е (х; х_ {0})}$

Глубокие нейронные сети изучают генератор / декодер, который отображает случайный вектор кода на изображение .${\ Displaystyle х = е _ {\ тета} (г)}$ ${\ displaystyle z}$${\ displaystyle x}$

Метод повреждения изображения, используемый для создания , выбирается для конкретного приложения.${\ displaystyle x_ {0}}$

Особенности [ править ]

В этом подходе априор заменяется неявным априорным, захваченным нейронной сетью (где для изображений, которые могут быть созданы глубокими нейронными сетями и в противном случае). Это дает уравнение для минимизатора и результат процесса оптимизации .${\ Displaystyle R (х)}$${\ Displaystyle R (х) = 0}$${\ Displaystyle R (х) = + \ infty}$${\ displaystyle \ theta ^ {*} = argmin _ {\ theta} E (f _ {\ theta} (z); x_ {0})}$${\ Displaystyle х ^ {*} = е _ {\ theta ^ {*}} (г)}$

Минимизатор (обычно градиентный спуск ) начинается со случайно инициализированных параметров и спускается к локальному лучшему результату, чтобы получить функцию восстановления.${\ displaystyle \ theta ^ {*}}$${\ displaystyle x ^ {*}}$

Переоснащение [ править ]

Параметр θ может использоваться для восстановления любого изображения, включая его шум. Однако сеть не склонна улавливать шум, потому что она имеет высокий импеданс, а полезный сигнал имеет низкий импеданс. Это приводит к тому, что параметр θ приближается к красивому локальному оптимуму до тех пор, пока количество итераций в процессе оптимизации остается достаточно низким, чтобы данные не переобучались .

Приложения [ править ]

Снижение шума [ править ]

Принцип шумоподавления состоит в том, чтобы восстановить изображение из зашумленного наблюдения , где . Распределение иногда известно (например: профилирующий датчик и фотонный шум ^[1] ) и при желании может быть включено в модель, хотя этот процесс хорошо работает при слепом шумоподавлении.${\ displaystyle x}$${\ displaystyle x_ {0}}$${\ Displaystyle х_ {0} = х + \ эпсилон}$${\ displaystyle \ epsilon}$

Квадратичная функция энергии используется в качестве элемента данных, включение ее в уравнение дает задачу оптимизации .${\ displaystyle E (x, x_ {0}) = || x-x_ {0} || ^ {2}}$${\ displaystyle \ theta ^ {*}}$${\ displaystyle min _ {\ theta} || f _ {\ theta} (z) -x_ {0} || ^ {2}}$

Супер-разрешение [ править ]

Сверхвысокое разрешение используется для создания версии изображения x с более высоким разрешением. Термин данных установлен на где d (·) - оператор понижающей дискретизации, такой как Ланцоша, который прореживает изображение с коэффициентом t.${\ displaystyle E (x; x_ {0}) = || d (x) -x_ {0} || ^ {2}}$

Рисование [ править ]

Inpainting используется для восстановления недостающей области изображения . Эти недостающие пиксели определяются как двоичная маска . Термин данных определяется как (где - произведение Адамара ).${\ displaystyle x_ {0}}$${\ displaystyle m \ in \ {0,1 \} ^ {H \ times V}}$${\ displaystyle E (x; x_ {0}) = || (x-x_ {0}) \ odot m || ^ {2}}$${\ displaystyle \ odot}$

Реконструкция без вспышки [ править ]

Этот подход можно распространить на несколько изображений. Простой пример, упомянутый автором, - это реконструкция изображения для получения естественного света и четкости с помощью пары вспышка-без-вспышка. Реконструкция видео возможна, но требует оптимизации, чтобы учесть пространственные различия.

Реализации [ править ]

• Эталонная реализация, переписанная на Python 3.6 с библиотекой PyTorch 0.4.0, была выпущена автором под лицензией Apache 2.0 : deep-image-Prior ^[2]
• TensorFlow -На реализации , написанный на Python 2 и выпустили под CC-SA 3.0 лицензии: глубоководные изображения предшествующему-tensorflow
• Keras -На реализация написана на Python 2 и выпущен под GPLv3 : machine_learning_denoising

Ссылки [ править ]

• Ульянов, Дмитрий; Ведальди, Андреа; Лемпицкий, Виктор (30 ноября 2017 г.). "Deep Image Prior". arXiv : 1711.10925v2 .