Из Википедии, бесплатной энциклопедии
Перейти к навигации Перейти к поиску
SqueezeNet
Автор (ы) оригиналаФоррест Иандола , Сон Хан, Мэтью В. Москевич, Халид Ашраф, Билл Далли , Курт Койцер
изначальный выпуск22 февраля 2016 г . ; 5 лет назад ( 22.02.2016 )
Стабильный выпуск
v1.1 [ когда? ]
Репозиторийgithub .com / DeepScale / SqueezeNet
ТипГлубокая нейронная сеть
ЛицензияЛицензия BSD

SqueezeNet - это название глубокой нейронной сети для компьютерного зрения, которая была выпущена в 2016 году. SqueezeNet была разработана исследователями из DeepScale , Калифорнийского университета, Беркли и Стэнфордского университета . При разработке SqueezeNet цель авторов состояла в том, чтобы создать меньшую нейронную сеть с меньшим количеством параметров, которая может легче поместиться в компьютерной памяти и может быть более легко передана по компьютерной сети. [1]

Поддержка фреймворка для SqueezeNet [ править ]

SqueezeNet был первоначально выпущен 22 февраля 2016 года. [2] Эта оригинальная версия SqueezeNet была реализована на основе программной среды глубокого обучения Caffe . Вскоре после этого исследовательское сообщество с открытым исходным кодом перенесло SqueezeNet на ряд других платформ глубокого обучения. 26 февраля 2016 года Эдди Белл выпустил порт SqueezeNet для фреймворка глубокого обучения Chainer. [3] 2 марта 2016 года Гуо Хариа выпустил порт SqueezeNet для инфраструктуры Apache MXNet . [4] 3 июня 2016 года, Tammy Yang выпустила порт SqueezeNet для Keras рамок. [5] В 2017 году такие компании, как Baidu , Xilinx, Imagination Technologies и Synopsys продемонстрировали работу SqueezeNet на платформах обработки данных с низким энергопотреблением, таких как смартфоны , FPGA и специальные процессоры. [6] [7] [8] [9]

По состоянию на 2018 год SqueezeNet поставляется «изначально» как часть исходного кода ряда фреймворков глубокого обучения, таких как PyTorch , Apache MXNet и Apple CoreML. [10] [11] [12] Кроме того, сторонние разработчики создали реализации SqueezeNet, совместимые с такими фреймворками, как TensorFlow . [13] Ниже приводится сводка сред, поддерживающих SqueezeNet.

РамкиПоддержка SqueezeNetРекомендации
Apache MXNetРодные[11]
Apple CoreMLРодные[12]
Caffe2Родные[14]
КерасТретья сторона[5]
Набор инструментов для глубокого обучения MATLABРодные[15]
ONNXРодные[16]
PyTorchРодные[10]
TensorFlowТретья сторона[13]
Wolfram MathematicaРодные[17]

Отношение к AlexNet [ править ]

Первоначально SqueezeNet был описан в статье, озаглавленной «SqueezeNet: точность на уровне AlexNet с 50-кратным уменьшением параметров и размером модели <0,5 МБ». [18] AlexNet - это глубокая нейронная сеть с 240 МБ параметров, а в SqueezeNet всего 5 МБ параметров. Однако важно отметить, что SqueezeNet не является «сжатой версией AlexNet». Скорее, SqueezeNet - это совершенно другая архитектура DNN, чем AlexNet. [19] Что общего у SqueezeNet и AlexNet, так это то, что они оба достигают примерно одинакового уровня точности при оценке в наборе данных проверки классификации изображений ImageNet .

Связь с глубоким сжатием [ править ]

Сжатие модели (например, квантование и сокращение параметров модели) может применяться к глубокой нейронной сети после ее обучения. [20] В статье SqueezeNet авторы продемонстрировали, что метод сжатия модели, называемый Deep Compression, может быть применен к SqueezeNet для дальнейшего уменьшения размера файла параметров с 5 МБ до 500 КБ. [18] Глубокое сжатие также применялось к другим DNN, таким как AlexNet и VGG. [21]

Ответвления SqueezeNet [ править ]

Некоторые из членов первоначальной команды SqueezeNet продолжили разработку ресурсоэффективных глубоких нейронных сетей для различных приложений. Некоторые из этих работ указаны в следующей таблице. Как и в случае с исходной моделью SqueezeNet, исследовательское сообщество с открытым исходным кодом портировало и адаптировало эти новые модели «сжатого семейства» для совместимости с несколькими структурами глубокого обучения.

Модель DNNЗаявлениеОригинал

Выполнение

Другой

Реализации

SqueezeDet [22] [23]Обнаружение объекта

на изображениях

TensorFlow [24]Каффе, [25] Керас [26] [27] [28]
SqueezeSeg [29]Семантический

Сегментация

из ЛИДАРы

TensorFlow [30]
SqueezeNext [31]Изображение

Классификация

Кафе [32]TensorFlow, [33] Керас, [34]

PyTorch [35]

SqueezeNAS [36] [37]Поиск нейронной архитектуры

для семантической сегментации

PyTorch [38]

Кроме того, исследовательское сообщество с открытым исходным кодом распространило SqueezeNet на другие приложения, включая семантическую сегментацию изображений и передачу стилей . [39] [40] [41]

Ссылки [ править ]

  1. ^ Ганеш, Абхинав. "Группа чтения по глубокому обучению: SqueezeNet" . KDnuggets . Проверено 7 апреля 2018 .
  2. ^ "SqueezeNet" . GitHub . 2016-02-22 . Проверено 12 мая 2018 .
  3. ^ Белл, Эдди (2016-02-26). «Реализация SqueezeNet в Chainer» . GitHub . Проверено 12 мая 2018 .
  4. ^ Хариа, Го (2016-03-02). «SqueezeNet для MXNet» . GitHub . Проверено 12 мая 2018 .
  5. ^ a b Ян, Тэмми (2016-06-03). «Реализация SqueezeNet Keras» . GitHub . Проверено 12 мая 2018 .
  6. ^ Чиргвин, Ричард (2017-09-26). «Baidu внедряет глубокое обучение с открытым исходным кодом в смартфоны» . Реестр . Проверено 7 апреля 2018 .
  7. ^ Буш, Стив (2018-01-25). «SDK нейронной сети для графических процессоров PowerVR» . Еженедельник электроники . Проверено 7 апреля 2018 .
  8. ↑ Йошида, Дзюнко (13 марта 2017). "Xilinx AI Engine управляет новым курсом" . EE Times . Проверено 13 мая 2018 .
  9. ^ Боутон, Павел (2017-08-28). «Алгоритмы компьютерного зрения глубокого обучения, перенесенные на IP процессора» . Инженер Live . Проверено 7 апреля 2018 .
  10. ^ a b "squeezenet.py" . GitHub: PyTorch . Проверено 12 мая 2018 .
  11. ^ a b "squeezenet.py" . GitHub: Apache MXNet . Проверено 7 апреля 2018 .
  12. ^ a b «CoreML» . Apple . Проверено 10 апреля 2018 .
  13. ^ a b Плакат, Доменик. «Реализация SqueezeNet с помощью Tensorflow» . GitHub . Проверено 12 мая 2018 .
  14. ^ Inkawhich, Натан. «Учебное пособие по быстрой загрузке модели SqueezeNet» . GitHub: Caffe2 . Проверено 7 апреля 2018 .
  15. ^ "SqueezeNet для MATLAB Deep Learning Toolbox" . Математические работы . Проверено 3 октября 2018 .
  16. ^ Фанг, Лу. «SqueezeNet для ONNX» . Открытая биржа нейронных сетей .
  17. ^ «SqueezeNet V1.1, обученный на данных соревнований ImageNet» . Репозиторий нейронных сетей Wolfram . Проверено 12 мая 2018 .
  18. ^ а б Иандола, Форрест Н; Хан, Песня; Москевич, Мэтью В.; Ашраф, Халид; Далли, Уильям Дж; Койцер, Курт (2016). «SqueezeNet: точность на уровне AlexNet, в 50 раз меньше параметров и размер модели <0,5 МБ». arXiv : 1602.07360 [ cs.CV ].
  19. ^ "SqueezeNet" . Краткая наука . Проверено 13 мая 2018 .
  20. ^ Гуд, Алекс (2016-08-09). "Группа чтения Lab41: глубокое сжатие" . Проверено 8 мая 2018 .
  21. ^ Хан, Сон (2016-11-06). «Сжатие и регуляризация глубоких нейронных сетей» . О'Рейли . Проверено 8 мая 2018 .
  22. ^ Ву, Бичен; Ван, Элвин; Иандола, Форрест; Джин, Питер Х .; Койцер, Курт (2016). «SqueezeDet: унифицированные, небольшие, маломощные полностью сверточные нейронные сети для обнаружения объектов в режиме реального времени для автономного вождения». arXiv : 1612.01051 [ cs.CV ].
  23. ↑ Нуньес Фернандес, Эдгар (2017-03-02). «Представляем SqueezeDet: маломощную полностью сверточную нейронную сеть для автономного вождения» . Интеллект информации . Проверено 31 марта 2019 .
  24. ^ Ву, Бичен (2016-12-08). «SqueezeDet: унифицированные, небольшие, маломощные полностью сверточные нейронные сети для обнаружения объектов в режиме реального времени для автономного вождения» . GitHub . Проверено 26 декабря 2018 .
  25. ^ Куан, Сюй (2017-12-20). "Caffe SqueezeDet" . GitHub . Проверено 26 декабря 2018 .
  26. ^ Падманабха, Nischal (2017-03-20). «СжатьДет на Керасе» . GitHub . Проверено 26 декабря 2018 .
  27. ^ Эманн, Кристофер (2018-05-29). «Быстрое обнаружение объектов с помощью SqueezeDet на Keras» . Средний . Проверено 31 марта 2019 .
  28. ^ Эманн, Кристофер (2018-05-02). «Более подробный взгляд на SqueezeDet on Keras» . Средний . Проверено 31 марта 2019 .
  29. ^ Ву, Бичен; Ван, Элвин; Юэ, Сянъюй; Койцер, Курт (2017). «SqueezeSeg: сверточные нейронные сети с рекуррентным CRF для сегментации дорог и объектов в реальном времени из облака точек 3D LiDAR». arXiv : 1710.07368 [ cs.CV ].
  30. ^ Ву, Бичен (2017-12-06). «SqueezeSeg: сверточные нейронные сети с рекуррентным CRF для сегментации дорог и объектов в реальном времени из облака точек 3D LiDAR» . GitHub . Проверено 26 декабря 2018 .
  31. ^ Голами, Амир; Квон, Кисеок; Ву, Бичен; Тай, Цзычжэн; Юэ, Сянъюй; Джин, Питер; Чжао, Сичэн; Койцер, Курт (2018). "SqueezeNext: Аппаратное проектирование нейронной сети". arXiv : 1803.10615 [ cs.CV ].
  32. ^ Gholami, Amir (2018-04-18). "SqueezeNext" . GitHub . Проверено 29 декабря 2018 .
  33. ^ Verhulsdonck, Tijmen (2018-07-09). «SqueezeNext Tensorflow: реализация SqueezeNext с тензорным потоком» . GitHub . Проверено 29 декабря 2018 .
  34. ^ Sémery Олег (2018-09-24). «SqueezeNext, реализованный в Керасе» . Проверено 29 декабря 2018 .
  35. ^ Лу, Yi (2018-06-21). "SqueezeNext.PyTorch" . GitHub . Проверено 29 декабря 2018 .
  36. ^ Шоу, Альберт; Хантер, Дэниел; Иандола, Форрест; Сидху, Сэмми (2019). «SqueezeNAS: Быстрый поиск нейронной архитектуры для более быстрой семантической сегментации». arXiv : 1908.01748 [ cs.LG ].
  37. ^ Yoshida, Junko (2019-08-25). "Есть ли у вашего ИИ-чипа собственный DNN?" . EE Times . Проверено 12 сентября 2019 .
  38. ^ Шоу, Альберт (2019-08-27). "SqueezeNAS" . GitHub . Проверено 12 сентября 2019 .
  39. ^ Treml, Майкл; и другие. (2016). «Ускорение семантической сегментации для автономного вождения» . НИПС МЛИЦ Мастерская . Проверено 21 июля 2019 .
  40. ^ Цзэн, Ли (2017-03-22). «Нейронный стиль SqueezeNet на PyTorch» . GitHub . Проверено 21 июля 2019 .
  41. ^ Ву, Бичен; Койцер, Курт (2017). «Влияние SqueezeNet» (PDF) . Калифорнийский университет в Беркли . Проверено 21 июля 2019 .