Из Википедии, бесплатной энциклопедии
  (Перенаправлено с процессора Tensor )
Перейти к навигации Перейти к поиску
Эта статья о модуле обработки тензора, разработанном Google. Информацию о других устройствах, обеспечивающих тензорную обработку для искусственного интеллекта, см. В разделе AI-ускоритель .
Блок тензорной обработки
ДизайнерGoogle
ВведеноМай 2016
ТипМашинное обучение нейронной сети
Блок тензорной обработки 3.0
Блок тензорной обработки 3.0

Tensor Processing Unit ( TPU ) - это специализированная интегральная схема (ASIC) AI-ускорителя, разработанная Google специально для машинного обучения нейронных сетей , в частности с использованием собственного программного обеспечения TensorFlow от Google . [1] Google начал использовать TPU внутри компании в 2015 году, а в 2018 сделал их доступными для использования третьими сторонами, как в рамках своей облачной инфраструктуры, так и предлагая меньшую версию чипа для продажи.

Обзор [ править ]

О модуле обработки тензора было объявлено в мае 2016 года на Google I / O , когда компания заявила, что TPU уже использовался в их центрах обработки данных более года. [2] [3] Чип был специально разработан для платформы Google TensorFlow , символьной математической библиотеки, которая используется для приложений машинного обучения, таких как нейронные сети . [4] Однако по состоянию на 2017 год Google по-прежнему использовал центральные и графические процессоры для других типов машинного обучения . [2] Другой ускоритель ИИпроекты появляются и от других поставщиков и нацелены на рынки встраиваемых систем и робототехники .

TPU от Google являются проприетарными. Некоторые модели коммерчески доступны, и 12 февраля 2018 года The New York Times сообщила, что Google «позволит другим компаниям покупать доступ к этим чипам через свою службу облачных вычислений». [5] Google сказал , что они были использованы в AlphaGo против Ли SEDOL серии человеко-машинных Go игр, [3] , а также в AlphaZero системе, которая производится в шахматах , сёги и Go игровых программ от правил игр в одиночку и продолжал обыгрывать ведущие программы в этих играх. [6] Google также использовал TPU для просмотра улиц Google.обработки текста и смог найти весь текст в базе данных Street View менее чем за пять дней. В Google Фото отдельный TPU может обрабатывать более 100 миллионов фотографий в день. Он также используется в RankBrain, который Google использует для предоставления результатов поиска. [7]

По сравнению с графическим процессором , он разработан для большого объема вычислений с низкой точностью (например, с 8-битной точностью) [8] с большим количеством операций ввода / вывода на джоуль и не имеет аппаратного обеспечения для растеризации / отображения текстуры . [3] По словам Нормана Джуппи, микросхемы TPU ASIC устанавливаются в радиатор, который может поместиться в слот для жесткого диска в стойке центра обработки данных . [2] Различные типы процессоров подходят для разных типов моделей машинного обучения, TPU хорошо подходят для CNN.в то время как графические процессоры имеют преимущества для некоторых полностью подключенных нейронных сетей, а процессоры могут иметь преимущества для RNN . [9]

Google предоставляет третьим сторонам доступ к TPU через свой сервис Cloud TPU как часть Google Cloud Platform [10] и через сервис Kaggle для ноутбуков .

Продукты [ править ]

TPUv1TPUv2TPUv3TPUv4 [11]Edge v1
Дата появления2016 г.2017 г.2018 г.2020 г.2018 г.
Узел процесса28 нм20 нм?12 нм??
Размер матрицы (мм2)331???
Встроенная память (МиБ)28???
Тактовая частота (МГц)700???
Память (ГБ)8 ГБ DDR316 ГБ HBM32 ГБ HBM?
Расчетная мощность (Вт)40200250?2
ТОПЫ234590?4

ТПУ первого поколения [ править ]

TPU первого поколения - это механизм 8-битного матричного умножения , управляемый инструкциями CISC от хост-процессора по шине PCIe 3.0 . Он изготовлен по технологии 28 нм с размером матрицы ≤ 331  мм 2 . Тактовая частота составляет 700  МГц , и она имеет тепловую расчетную мощность в 28-40  Вт . Он имеет 28  MiB из памяти на чипе и 4  MiB из 32-битных аккумуляторов , принимающих результаты 256 × 256 систолического массива 8-битовых множителей . [12]В рамках пакета ТПА 8  ГиБли из двухканальных 2133 МГц DDR3 SDRAM предлагает 34 Гб / с пропускной способностью. [13] Инструкции передают данные на хост или от него, выполняют матричное умножение или свертку и применяют функции активации . [12]

ТПУ второго поколения [ править ]

TPU второго поколения было объявлено в мае 2017 года. [14] Google заявила, что конструкция TPU первого поколения была ограничена пропускной способностью памяти, а использование 16 ГБ памяти с высокой пропускной способностью в конструкции второго поколения увеличило пропускную способность до 600 ГБ / с и производительность. до 45 тера FLOPS . [13] TPU затем объединяются в четырехкристальные модули с производительностью 180 терафлопс. [14] Затем 64 из этих модулей собираются в блоки с 256 микросхемами с производительностью 11,5 петафлопс. [14] Примечательно, что в то время как TPU первого поколения были ограничены целыми числами, TPU второго поколения также могут вычислять с плавающей запятой.. Это делает TPU второго поколения полезными как для обучения, так и для вывода моделей машинного обучения. Google заявила, что эти TPU второго поколения будут доступны в Google Compute Engine для использования в приложениях TensorFlow. [15]

ТПУ третьего поколения [ править ]

TPU третьего поколения было объявлено 8 мая 2018 года. [16] Google объявила, что сами процессоры вдвое мощнее TPU второго поколения и будут развертываться в модулях с в четыре раза большим количеством микросхем, чем предыдущее поколение. [17] [18] Это приводит к 8-кратному увеличению производительности на модуль (до 1024 чипов на модуль) по сравнению с развертыванием TPU второго поколения.

ТПУ четвертого поколения [ править ]

Edge TPU [ править ]

В июле 2018 года Google анонсировал Edge TPU. Edge TPU - это специальный чип ASIC от Google, предназначенный для запуска моделей машинного обучения (ML) для периферийных вычислений , что означает, что он намного меньше и потребляет гораздо меньше энергии по сравнению с TPU, размещенными в центрах обработки данных Google (также известных как Cloud TPU ). В январе 2019 года Google сделал Edge TPU доступным для разработчиков с линейкой продуктов под брендом Coral . Edge TPU способен выполнять 4 триллиона операций в секунду при использовании 2 Вт. [19]

Предлагаемые продукты включают одноплатный компьютер (SBC), систему на модуле (SoM), USB- аксессуар, карту mini PCI-e и карту M.2 . SBC Dev Board Coral и Coral SoM как запустить Мендель Linux OS - производное Debian . Продукты USB, PCI-e и M.2 функционируют как надстройки к существующим компьютерным системам и поддерживают системы Linux на базе Debian на хостах x86-64 и ARM64 (включая Raspberry Pi ).

Среда выполнения машинного обучения, используемая для выполнения моделей на Edge TPU, основана на TensorFlow Lite . [20] Edge TPU способен только ускорять операции прямого прохода, что означает, что он в первую очередь полезен для выполнения логических выводов (хотя на Edge TPU можно выполнять упрощенное обучение передачи [21] ). Edge TPU также поддерживает только 8-битную математику, а это означает, что для обеспечения совместимости сети с Edge TPU ее необходимо либо обучить с помощью метода обучения с учетом квантования TensorFlow , либо с конца 2019 года также можно использовать пост- обучение квантованию .

12 ноября 2019 года Asus анонсировала пару одноплатных компьютеров (SBC) с Edge TPU. Плата Asus Tinker Edge T и Tinker Edge R Board предназначена для Интернета вещей и периферийного ИИ . SBC официально поддерживают операционные системы Android и Debian . [22] [23] ASUS также продемонстрировала мини-ПК под названием Asus PN60T с Edge TPU. [24]

2 января 2020 года Google анонсировал модуль Coral Accelerator и Coral Dev Board Mini, которые будут продемонстрированы на выставке CES 2020 в конце того же месяца. Модуль Coral Accelerator - это многокристальный модуль с интерфейсами Edge TPU, PCIe и USB для упрощения интеграции. Coral Dev Board Mini - это меньший SBC с модулем Coral Accelerator и SoC MediaTek 8167s . [25] [26]

Пиксельное нейронное ядро [ править ]

15 октября 2019 года Google анонсировал смартфон Pixel 4 с Pixel Neural Core , который содержит экземпляр архитектуры Edge TPU. [27]

См. Также [ править ]

  • Блок обработки изображений - подобное устройство, специализирующееся на обработке изображений.
  • TrueNorth - аналогичное устройство, имитирующее пики нейронов вместо тензоров низкой точности.
  • Блок нейронной обработки
  • Когнитивный компьютер
  • Tensor Core , аналогичная архитектура, предложенная Nvidia

Ссылки [ править ]

  1. ^ "Блоки обработки тензорных облаков (TPU)" . Google Cloud . Дата обращения 20 июля 2020 .
  2. ^ a b c «Блок тензорной обработки Google объяснил: так выглядит будущее вычислений» . TechRadar . Проверено 19 января 2017 .
  3. ^ a b c Джуппи, Норм (18 мая 2016 г.). «Google решает задачи машинного обучения с помощью специального чипа TPU» . Блог Google Cloud Platform . Проверено 22 января 2017 .
  4. ^ «TensorFlow: машинное обучение с открытым исходным кодом» «Это программное обеспечение для машинного обучения, используемое для различных видов задач восприятия и понимания языка» - Джеффри Дин, минута 0:47 / 2:17 из видеоролика Youtube
  5. ^ «Google делает свои специальные микросхемы AI доступными для других» . Нью-Йорк Таймс . Проверено 12 февраля 2018 .
  6. ^ McGourty, Колин (6 декабря 2017). «AlphaZero DeepMind сокрушает шахматы» . Chess24.com .
  7. ^ "Модуль обработки тензорных данных Google может продвинуть закон Мура на 7 лет вперед" . PCWorld . Проверено 19 января 2017 .
  8. ^ Армаш, Лукиан (2016-05-19). «Представлен большой чип Google для машинного обучения: модуль тензорной обработки с 10-кратной эффективностью (обновлено)» . Оборудование Тома . Проверено 26 июня 2016 .
  9. ^ Ван, Ю Эмма; Вэй, Гу-Ён; Брукс, Дэвид (2019-07-01). «Тестирование платформ TPU, GPU и CPU для глубокого обучения». arXiv : 1907.10701 [ cs.LG ].
  10. ^ «Часто задаваемые вопросы | Cloud TPU» . Google Cloud . Источник 2021-01-14 .
  11. ^ Следите за обновлениями, скоро появится дополнительная информация о TPU v4 , дата обращения 6 августа 2020 г.
  12. ^ а б Jouppi, Norman P .; Янг, Клифф; Патил, Нишант; Паттерсон, Дэвид; Агравал, Гаурав; Баджва, Раминдер; Бейтс, Сара; Бхатия, Суреш; Боден, Нан; Borchers, Al; Бойл, Рик; Кантин, Пьер-Люк; Чао, Клиффорд; Кларк, Крис; Кориелл, Джереми; Дейли, Майк; Дау, Мэтт; Дин, Джеффри; Гелб, Бен; Гаеммагами, Тара Вазир; Готтипати, Раджендра; Гулланд, Уильям; Хагманн, Роберт; Хо, К. Ричард; Хогберг, Дуг; Ху, Джон; Хундт, Роберт; Больно, Дэн; Ибарз, Джулиан; Джеффи, Аарон; Яворский, Алек; Каплан, Александр; Хайтан, Харшит; Кох, Энди; Кумар, Навин; Лейси, Стив; Лаудон, Джеймс; Закон, Джеймс; Ле, Диемту; Лири, Крис; Лю, Чжуюань; Удача, Кайл; Лундин, Алан; Маккин, Гордон; Маджоре, Адриана; Махони, Мэр; Миллер, Киран; Нагараджан, Рахул; Нараянасвами, Рави; Ni, Ray; Никс, Кэти; Норри, Томас; Омерник, Марк; Пенуконда, Нараяна; Фелпс, Энди; Росс,Джонатан; Росс, Мэтт; Салек, Амир; Самадиани, Эмад; Северн, Крис; Сизиков Григорий; Снелхэм, Мэтью; Саутер, Джед; Стейнберг, Дэн; Свинг, Энди; Тан, Мерседес; Торсон, Грегори; Тиан, Бо; Тома, Хория; Таттл, Эрик; Васудеван, Виджай; Уолтер, Ричард; Ван, Уолтер; Уилкокс, Эрик; Юн, До Хён (26 июня, 2017).In-Datacenter Анализ производительности Tensor Processing Unit ™ . Торонто, Канада. arXiv : 1704.04760 .
  13. ^ Б Кеннеди, Патрик (22 августа 2017). «Пример использования Google TPU и GDDR5 от Hot Chips 29» . Служить дому . Проверено 23 августа 2017 года .
  14. ^ a b c Брайт, Питер (17 мая 2017 г.). «Google привносит в свое вычислительное облако процессоры тензорного потока 45 терафлопс» . Ars Technica . Дата обращения 30 мая 2017 .
  15. ↑ Кеннеди, Патрик (17 мая 2017 г.). "Подробная информация о Google Cloud TPU раскрыта" . Служить дому . Дата обращения 30 мая 2017 .
  16. ^ Frumusanu, Андре (8 мая 2018). "Живой блог основного выступления Google I / O" . Проверено 9 мая 2018 .
  17. ^ Фельдман, Майкл (11 мая 2018 г.). "Google представляет процессор TPU третьего поколения" . Топ 500 . Дата обращения 14 мая 2018 .
  18. ^ Teich, Пол (10 мая 2018). "Разрывая на части сопроцессор Google TPU 3.0 AI" . Следующая платформа . Дата обращения 14 мая 2018 .
  19. ^ «Тесты производительности Edge TPU» . Коралл . Проверено 4 января 2020 .
  20. ^ «Повышение интеллекта с помощью Cloud IoT» . Блог Google . 2018-07-25 . Проверено 25 июля 2018 .
  21. ^ «Повторное обучение модели классификации изображений на устройстве» . Коралл . Проверено 3 мая 2019 .
  22. ^ «組 込 み 総 合 技術 展 ＆ IoT 総 合 技術 展「 ET & IoT Technology 2019 」に 出 展 す る を 発 表» . Asus.com (на японском) . Проверено 13 ноября 2019 .
  23. ↑ Шилов, Антон. «ASUS и Google объединились для создания компьютеров размером с кредитную карту Tinker Board» . Anandtech.com . Проверено 13 ноября 2019 .
  24. ^ Aufranc, Жан-Люк (2019-05-29). «ASUS Tinker Edge T и CR1S-CM-A SBC с поддержкой Google Coral Edge TPU и процессора NXP i.MX 8M» . CNX Software - Новости встраиваемых систем . Проверено 14 ноября 2019 .
  25. ^ «Новые продукты Coral на 2020 год» . Блог разработчиков Google . Проверено 4 января 2020 .
  26. ^ "Модуль ускорителя" . Коралл . Проверено 4 января 2020 .
  27. ^ «Представляем следующее поколение моделей машинного зрения: MobileNetV3 и MobileNetEdgeTPU» . Блог Google AI . Проверено 16 апреля 2020 .

Внешние ссылки [ править ]

  • Блоки обработки тензорных облачных вычислений (TPU) (документация из Google Cloud)
  • Фотография микросхемы и платы TPU от Google
  • Фотография платы Google TPU v2
  • Фотография платы Google TPU v3
  • Фотография модуля Google TPU v2