Из Википедии, бесплатной энциклопедии
Перейти к навигации Перейти к поиску

OpenAI Five - это название проекта машинного обучения, который работает как команда видеоигровых ботов, играющих против людей в соревновательной видеоигре « пять на пять» Dota 2 . Система была разработана OpenAI , американской компанией , занимающейся исследованиями и разработками в области искусственного интеллекта (ИИ), основанной с целью разработки безопасного ИИ на благо человечества. Первое публичное появление OpenAI Five произошло в 2017 году, когда он был продемонстрирован в живой игре один на один против профессионального игрока в игру, известную как Dendi., который проиграл этому. В следующем году система выросла до уровня полной команды из пяти человек и начала играть против профессиональных команд и демонстрировать свою способность побеждать их.

Компания использует Dota 2 в качестве эксперимента для универсального прикладного машинного обучения, чтобы запечатлеть непредсказуемость и непрерывность реального мира. Команда заявила, что сложный характер игры и ее сильная зависимость от необходимости работать вместе, как команда, чтобы победить, были главной причиной, по которой она была выбрана специально. Алгоритмы, использованные в проекте, также были применены к другим системам, таким как управление роботизированной рукой. Этот проект также сравнивали с рядом других подобных случаев, когда ИИ играл против людей и побеждал их, например, с Уотсоном в телеигре Jeopardy! , Deep Blue в шахматах и AlphaGo в настольной игре Go .

История [ править ]

Разработка алгоритмов, используемых для ботов, началась в ноябре 2016 года. OpenAI решила использовать Dota 2 , конкурентоспособную видеоигру пять на пять, в качестве основы, поскольку она пользуется популярностью на платформе потокового вещания Twitch , имеющей встроенную поддержку Linux. и имел доступный интерфейс прикладного программирования (API). [1] Перед тем, как стать командой из пяти человек, первая публичная демонстрация произошла на The International 2017 в августе, ежегодном премьерном чемпионате по игре, где Dendi , профессиональный украинский игрок в игру, проиграл боту OpenAI вживую. один на один. [2] [3]После матча технический директор Грег Брокман объяснил, что бот учился, играя против самого себя в течение двух недель в реальном времени , и что обучающее программное обеспечение было шагом в направлении создания программного обеспечения, которое может выполнять сложные задачи, «как хирург». [4] [5] OpenAI называет систему « обучением с подкреплением », так как боты со временем учатся, играя против себя сотни раз в день в течение месяцев, в течение которых они получают вознаграждение за такие действия, как убийство врага и разрушение башен. [6] [7] [8]

К июню 2018 года возможности ботов расширились: теперь они могут играть полной командой из пяти человек и побеждать команды любительских и полупрофессиональных игроков. [9] [10] [11] [12] На The International 2018 OpenAI Five сыграла в двух играх против профессиональных команд, в одной против бразильской paiN Gaming, а в другой - против звездной команды бывших китайских игроков. [13] [14] Хотя боты проиграли оба матча, OpenAI по-прежнему считал это успешным предприятием, заявляя, что игра против некоторых из лучших игроков в Dota 2 позволяет им анализировать и корректировать свои алгоритмы для будущих игр. [15]Финальная публичная демонстрация ботов состоялась в апреле 2019 года, где они выиграли серию из трех побед против чемпионов The International 2018 OG на живом мероприятии в Сан-Франциско . [16] В том же месяце состоялось четырехдневное онлайн-мероприятие по игре против ботов, открытое для публики. [17] Там боты сыграли в 42 729 публичных играх, выиграв все, кроме 4075 из них. [18]

Архитектура [ править ]

Каждая сеть OpenAI Five содержит один уровень с LSTM из 4096 единиц [19], который наблюдает за текущим состоянием игры, извлеченным из API разработчика Dota. Нейронная сеть выполняет действия с помощью множества возможных головок действий (без участия человека), и каждая голова имеет значение. Например, количество отметок для задержки действия, какое действие выбрать - координаты X или Y этого действия в сетке вокруг объекта. Кроме того, заголовки действий вычисляются независимо. Система ИИ наблюдает за миром в виде списка из 20 000 номеров и предпринимает действия, создавая список из восьми значений перечисления. Кроме того, он выбирает различные действия и цели, чтобы понять, как кодировать каждое действие и наблюдать за миром. [20]

OpenAI Five разрабатывался как универсальная обучающая система обучения с подкреплением на инфраструктуре Rapid. Rapid состоит из двух уровней: он запускает тысячи машин и помогает им «разговаривать» друг с другом, а второй уровень запускает программное обеспечение. К 2018 году OpenAI Five провел около 180 лет в играх по обучению с подкреплением, работающих на 256 графических процессорах и 128 000 ядер процессора [21], с использованием метода градиента политики, получившего название «Proximal Policy Optimization». [22] [23]

Сравнительная таблица
Бот OpenAI 1 на 1 (2017)OpenAI Five (2018)
Процессоры60 000 ядер ЦП в Microsoft Azure128000 предварительно освобождаемых ядер ЦП на Google Cloud Platform (GCP)
Графические процессоры256 графических процессоров K80 в Azure256 графических процессоров P100 на GCP
Накоплен опыт~ 300 лет в день~ 180 лет в день
Размер наблюдения~ 3.3 КБ~ 36,8 КБ
Наблюдений в секунду геймплея107,5
Размер партии8,388,608 наблюдений1 048 576 наблюдений
Пакетов в минуту~ 20~ 60

Сравнение с другими игровыми системами ИИ [ править ]

До OpenAI Five и раньше успешно использовались другие эксперименты и системы искусственного интеллекта против человека, такие как Jeopardy! с Ватсоном , шахматы с Deep Blue и Go с AlphaGo . [24] [25] [26] По сравнению с другими играми, в которых использовались системы искусственного интеллекта для игры против людей, Dota 2 отличается, как описано ниже:

Долгосрочный просмотр : боты работают со скоростью 30 кадров в секунду в течение среднего времени матча 45 минут, что дает 80 000 тиков за игру. OpenAI Five наблюдает за каждым четвертым кадром, генерируя 20 000 ходов. Для сравнения: шахматы обычно заканчиваются до 40 ходов, а го - до 150. [27]

Частично наблюдаемое состояние игры : игроки и их союзники могут видеть карту только непосредственно вокруг себя. Остальная часть покрыта туманом войны, который скрывает отряды врагов и их передвижения. Таким образом, игра в Dota 2 требует делать выводы на основе этих неполных данных, а также прогнозировать, что их противник может делать в то же время. Для сравнения, Chess and Go - это «игры с полной информацией», поскольку они не скрывают элементы от соперника. [28] [29]

Пространство непрерывного действия : каждый игровой персонаж в игре Dota 2 , известный как герой, может совершать десятки действий, нацеленных либо на другой отряд, либо на позицию. Разработчики OpenAI Five предусматривают 170 000 возможных действий для каждого героя. Не считая постоянных аспектов игры, в среднем за каждый тик совершается ~ 1000 действительных действий. Для сравнения, среднее количество действий в шахматах - 35, а в го - 250. [30]

Пространство непрерывного наблюдения : в Dota 2 играют на большой карте с десятью героями, по пять в каждой команде, а также с десятками зданий и юнитами неигровых персонажей (NPC). Система OpenAI наблюдает за состоянием игры через API ботов разработчиков, поскольку 20 000 чисел составляют всю информацию, к которой человеку разрешен доступ. Шахматная доска представлена ​​примерно 70 списками, тогда как доска го содержит около 400 списков. [31]

Прием [ править ]

OpenAI Five получил признание сообщества AI, технологий и видеоигр в целом. Основатель Microsoft Билл Гейтс назвал это «большим делом», поскольку их победы «требовали командной работы и сотрудничества». [32] [33] Шахматист Гарри Каспаров , проигравший Deep Blue AI в 1997 году, заявил, что, несмотря на их проигрыш на The International 2018, боты в конечном итоге «доберутся до цели и раньше, чем ожидалось». [34]

В разговоре с MIT Technology Review эксперты AI также сочли систему OpenAI Five значительным достижением, поскольку они отметили, что Dota 2 была «чрезвычайно сложной игрой», поэтому даже победа над непрофессиональными игроками была впечатляющей. [35] PC Gamer написал, что их победы над профессиональными игроками стали важным событием в машинном обучении. [36] В отличие от этого, Motherboard написала, что победа была «в основном обманом» из-за упрощенного набора героев с обеих сторон, а также того факта, что ботам был предоставлен прямой доступ к API, в отличие от использования компьютерного зрения для интерпретации пикселей. на экране. [37] Граньписали, что боты были доказательством того, что подход компании к обучению с подкреплением и ее общая философия в отношении ИИ «дают вехи». [38]

В 2019 году DeepMind представила аналогичного бота для Starcraft II , AlphaStar . Как и OpenAI Five, AlphaStar использует обучение с подкреплением и самостоятельную игру. The Verge сообщила, что «цель этого типа исследований ИИ - не просто сокрушать людей в различных играх, чтобы доказать, что это возможно. Вместо этого нужно доказать, что при наличии достаточного времени, усилий и ресурсов сложное программное обеспечение ИИ может лучшие люди практически в любой конкурентной познавательной задаче, будь то настольная игра или современная видеоигра ». Они добавили, что победы DeepMind и OpenAI также свидетельствуют о силе определенных способов использования обучения с подкреплением. [39]

Ссылки [ править ]

  1. ^ "OpenAI Five" . openai.com/five . Архивировано 1 сентября 2018 года . Проверено 10 октября 2018 года .
  2. ^ Савову Влад. «В мою любимую игру вторглись боевые роботы-убийцы и реклама Илона Маска» . Грань . Архивировано 26 июня 2018 года . Проверено 25 июня 2018 .
  3. ^ Фрэнк, Блэр Хэнли. «Бот OpenAI настолько сильно побеждает лучшего игрока в Dota 2, что он уходит» . Венчурный бит . Архивировано из оригинального 12 августа 2017 года . Проверено 12 августа 2017 года .
  4. ^ «Дота 2» . blog.openai.com . Архивировано 11 августа 2017 года . Проверено 12 августа 2017 года .
  5. ^ «Подробнее о Dota 2» . blog.openai.com . Архивировано 16 августа 2017 года . Проверено 16 августа 2017 года .
  6. ^ Simonite, Том. «Могут ли боты перехитрить людей в одной из крупнейших киберспортивных игр?» . Проводной . Архивировано 25 июня 2018 года . Проверено 25 июня 2018 .
  7. ^ Кан, Джереми. «Бот, поддерживаемый Илоном Маском, совершил прорыв в области искусственного интеллекта в мире видеоигр» . Блумберг . Архивировано 27 июня 2018 года . Проверено 27 июня 2018 .
  8. ^ Клиффорд, Кэтрин. «Билл Гейтс говорит, что боты-геймеры из некоммерческой организации, поддерживаемой Илоном Маском, являются« огромной вехой »в искусственном интеллекте» CNBC . Архивировано 28 июня 2018 года . Проверено 29 июня 2018 .
  9. ^ «OpenAI Five Benchmark» . blog.openai.com . Архивировано 26 августа 2018 года . Проверено 25 августа 2018 года .
  10. ^ Simonite, Том. «Могут ли боты перехитрить людей в одной из крупнейших киберспортивных игр?» . Проводной . Архивировано 25 июня 2018 года . Проверено 25 июня 2018 .
  11. ^ Винсент, Джеймс. «Боты с ИИ тренировались 180 лет в день, чтобы побеждать людей в Dota 2» . Грань . Архивировано 25 июня 2018 года . Проверено 25 июня 2018 .
  12. ^ Савову Влад. «Боты OpenAI Dota 2 только что победили команду бывших профи» . Грань . Архивировано 7 августа 2018 года . Проверено 7 августа 2018 .
  13. ^ Simonite, Том. «Профессиональные геймеры пока защищаются от ботов с искусственным интеллектом, поддерживаемых Илоном Маском» . Проводной . Архивировано 24 августа 2018 года . Проверено 25 августа 2018 года .
  14. ^ Quach, Katyanna. «Игра окончена, машины: люди снова побеждают ботов OpenAI на Олимпийских играх по видеоиграм» . Реестр . Архивировано 25 августа 2018 года . Проверено 25 августа 2018 года .
  15. ^ «The International 2018: Результаты» . blog.openai.com . Архивировано 24 августа 2018 года . Проверено 25 августа 2018 года .
  16. ^ Wiggers, Кайл. «OpenAI Five дважды побеждает профессиональную команду по Dota 2» . Венчурный бит . Архивировано 13 апреля 2019 года . Проверено 13 апреля 2019 .
  17. ^ Статт, Ник. «ИИ по Dota 2 от OpenAI побеждает чемпиона мира по киберспорту с победами подряд» . Грань . Архивировано 15 апреля 2019 года . Проверено 15 апреля 2019 .
  18. ^ Wiggers, Кайл. «Бот OpenAI по Dota 2 победил 99,4% игроков в публичных матчах» . Венчурный бит . Проверено 22 апреля 2019 .
  19. ^ «Понимание сетей LSTM» . блог Колы . Архивировано 1 августа 2017 года . Проверено 27 августа 2015 года .
  20. ^ "OpenAI Five" . blog.openai.com . 25 июня 2018. архивации с оригинала на 25 июня 2018 . Проверено 25 июня 2018 .
  21. ^ "Почему исследователи ИИ так одержимы играми?" . КВАРЦ . Архивировано 4 августа 2018 года . Проверено 4 августа 2018 .
  22. ^ "OpenAI Five" . blog.openai.com . 25 июня 2018. архивации с оригинала на 25 июня 2018 . Проверено 25 июня 2018 .
  23. ^ Шульман, Джон; Вольски, Филип; Дхаривал, Прафулла; Рэдфорд, Алек; Климов, Олег (2017). «Алгоритмы оптимизации проксимальной политики». arXiv : 1707.06347 [ cs.LG ].
  24. ^ Gabbatt, Адам (17 февраля 2011). «Компьютер IBM Watson побеждает в Jeopardy clash» . Хранитель . Архивировано 21 сентября 2013 года . Проверено 17 февраля 2011 года .
  25. ^ «Шахматный гроссмейстер Гарри Каспаров о том, что происходит, когда машины« достигают уровня, на котором люди не могут соревноваться » » . Business Insider . Архивировано 29 декабря 2017 года . Проверено 29 декабря 2017 года .
  26. ^ «ИИ для игры в го DeepMind больше не нуждается в человеческой помощи, чтобы победить нас» . Грани . 18 октября 2017. Архивировано 18 октября 2017 года . Проверено 18 октября 2017 года .
  27. ^ "OpenAI Five" . blog.openai.com . 25 июня 2018. архивации с оригинала на 25 июня 2018 . Проверено 25 июня 2018 .
  28. ^ "OpenAI Five" . blog.openai.com . 25 июня 2018. архивации с оригинала на 25 июня 2018 . Проверено 25 июня 2018 .
  29. ^ «Команда алгоритмов ИИ только что сокрушила людей в сложной компьютерной игре» . MIT Tech Review . Проверено 25 июня 2018 .
  30. ^ "OpenAI Five" . blog.openai.com . 25 июня 2018. архивации с оригинала на 25 июня 2018 . Проверено 25 июня 2018 .
  31. ^ "OpenAI Five" . blog.openai.com . 25 июня 2018. архивации с оригинала на 25 июня 2018 . Проверено 25 июня 2018 .
  32. ^ «Билл Гейтс говорит, что боты-геймеры из некоммерческой организации, поддерживаемой Илоном Маском, являются« огромной вехой »в искусственном интеллекте» CNBC . 28 июня 2018. Архивировано 28 июня 2018 года . Проверено 28 июня 2018 .
  33. ^ «Билл Гейтс приветствует« огромную веху »для ИИ, поскольку боты работают в команде, чтобы уничтожать людей в видеоигре« Dota 2 » » . Business Insider . Архивировано 27 июня 2018 года . Проверено 27 июня 2018 .
  34. ^ "Твиттер Гарри Каспарова" . 24 августа 2018 . Проверено 24 августа 2018 .
  35. ^ «Команда алгоритмов ИИ только что сокрушила людей в сложной компьютерной игре» . MIT Tech Review . Проверено 25 июня 2018 .
  36. ↑ Парк, Морган (11 августа 2018 г.). «Как OpenAI Five разогнала команду профессионалов Dota 2» . PC Gamer . Проверено 25 мая 2020 .
  37. ↑ Голт, Мэтью (17 августа 2018 г.). «OpenAI побеждает людей в« Dota 2 », потому что это в основном читерство» . Vice . Проверено 25 мая 2020 .
  38. ^ Статт, Ник (13 апреля 2019 г.). «ИИ по Dota 2 от OpenAI побеждает чемпиона мира по киберспорту с победами подряд» . Грань . Проверено 25 мая 2020 .
  39. ^ Статт, Ник (30 октября 2019 г.). «ИИ DeepMind StarCraft 2 теперь лучше, чем 99,8 процента всех игроков-людей» . Грань . Проверено 25 мая 2020 .

Внешние ссылки [ править ]

  • Официальный веб-сайт
  • Официальный блог