Премия Лебнера - это ежегодный конкурс в области искусственного интеллекта , в ходе которого награждаются компьютерные программы, признанные судьями наиболее похожими на человеческие. Формат соревнования - стандартный тест Тьюринга . В каждом раунде судья-человек одновременно ведет текстовые беседы с компьютерной программой и человеком через компьютер. Основываясь на ответах, судья должен решить, что есть что.
Конкурс был запущен в 1990 году Хью Лебнером совместно с Кембриджским центром поведенческих исследований , Массачусетс , США . С 2014 года [1] он организован AISB в Блетчли-парке . [2] Он также был связан с Университетом Флиндерс , Дартмутским колледжем , Музеем науки в Лондоне , Университетом Рединга и Университетом Ольстера , кампусом Маги , Дерри , Город культуры Великобритании.. В 2004 и 2005 годах он проходил в квартире Лебнера в Нью-Йорке . В области искусственного интеллекта премия Лебнера вызывает несколько споров; самый известный критик Марвин Мински назвал это рекламным ходом, который не способствует развитию отрасли. [3]
В 2019 году изменился формат конкурса. Судейской коллегии больше не будет. Вместо этого чат-боты будут оцениваться публикой, и не будет конкурентов-людей. [4]
Призы
Первоначально 2000 долларов были присуждены за самую человечную программу конкурса. Премия составила 3000 долларов в 2005 году и 2250 долларов в 2006 году. В 2008 году было присуждено 3000 долларов.
Кроме того, есть два разовых приза, которые никогда не присуждались. 25000 долларов предлагается за первую программу, которую судьи не могут отличить от реального человека и которая может убедить судей в том, что человек - это компьютерная программа. 100000 долларов - это награда за первую программу, которую судьи не могут отличить от реального человека в тесте Тьюринга, который включает в себя расшифровку и понимание текста, визуального и слухового ввода. Как только это будет достигнуто, ежегодный конкурс закончится.
Правила и ограничения конкуренции
Правила менялись на протяжении многих лет, и ранние соревнования включали тесты Тьюринга с ограниченным диалогом [5], но с 1995 года обсуждение было неограниченным.
Для трех записей в 2007 году, Роберт Medeksza, Ноа Дункан и Ролло Карпентер , [6] некоторые основные «скрининговые вопросы» были использованы автором для оценки состояния технологии. Сюда входили простые вопросы о времени, раунде конкурса и т. Д .; общие знания («Для чего нужен молоток?»); сравнения («Что быстрее, поезд или самолет?»); и вопросы, демонстрирующие память на предыдущие части того же разговора. «Все существительные, прилагательные и глаголы взяты из словаря, подходящего для детей и подростков в возрасте до 12 лет». Для того, чтобы заявки были приняты, не нужно было «разумно» отвечать на вопросы.
Впервые в 2008 году спонсор разрешил ввести предварительную фазу конкурса, открыв конкурс для ранее запрещенных веб-заявок, оцениваемых множеством приглашенных следователей. В доступных правилах не указывается, как выбираются или инструктируются следователи. У дознавателей (которые оценивают системы) есть ограниченное время: 5 минут на объект в соревнованиях 2003 г., 20+ на пару в соревнованиях 2004–2007 гг., 5 минут на одновременные беседы с человеком и программой в 2008–2009 гг., Увеличено до 25 минут одновременного разговора с 2010 года.
Критика
Приз уже давно презирается экспертами в данной области [7] по разным причинам.
Многие считают это рекламным ходом. [8] [9] Марвин Мински язвительно предложил «приз» любому, кто сможет остановить соревнование. Лебнер ответил, в шутку заметив, что предложение Мински приза, чтобы остановить соревнование, фактически сделало его одним из спонсоров. [10]
Правила соревнований побуждали плохо квалифицированных судей выносить быстрые решения. Взаимодействие между судьями и участниками изначально было очень коротким, например, фактически 2,5 минуты допроса, что позволяло задать только несколько вопросов. [8] Изначально допросы ограничивались «причудливой беседой» [7], что соответствовало стандартным трюкам чат-бота. [11]
Участники конкурса не стремятся к пониманию или интеллекту, а прибегают к базовым уловкам в стиле ELIZA [8] [12], а успешные участники находят обман, а притворство вознаграждается. [13]
В отчетах о ежегодном соревновании часто путают тест на имитацию с интеллектом [14], типичным примером которого является введение Брайана Кристиана в его статью «Разум против машины» в The Atlantic, март 2011 [15], где говорится, что «в гонке за строительством компьютеры, которые могут думать как люди , испытательным полигоном является тест Тьюринга ».
Конкурсы
2006 г.
В 2006 году конкурс организовали Тим Чайлд (генеральный директор Televirtual) и Хума Шах. [16] [17] 30 августа были объявлены четыре финалиста:
- Ролло Карпентер
- Ричард Черчилль и Мари-Клэр Дженкинс
- Ной Дункан
- Роберт Медексза
Конкурс прошел 17 сентября в VR-театре кампуса Torrington Place Университетского колледжа Лондона . В состав судей входили профессор кибернетики Университета Рединга Кевин Уорвик , профессор искусственного интеллекта, Джон Барнден (специалист по исследованию метафор в Университете Бирмингема ), адвокат Виктория Батлер-Коул и журналист Грэм Дункан-Роу. Об опыте последнего на мероприятии можно прочитать в статье в Technology Review . [18] [19] Победителем стала «Джоан» по мотивам Джабберваки , оба созданы Ролло Карпентером.
2007 г.
Конкурс 2007 года прошел 21 октября в Нью-Йорке. Судьи: профессор информатики Расс Эбботт, профессор философии Хартри Филд , доцент психологии Клейтон Кертис и преподаватель английского языка Скотт Хатчинс . [20]
Ни один бот не прошел тест Тьюринга, но судьи оценили трех участников следующим образом:
- 1-е место: Роберт Медексза, создатель Ultra Hal
- 2-й: Ной Дункан, частный вход, создатель Cletus
- 3-е место: Ролло Карпентер из Icogno, создатель Jabberwacky
Победитель получил 2250 долларов и годовую медаль. Финалисты получили по 250 долларов.
2008 г.
Соревнование 2008 года было организовано профессором Кевином Уорвиком, координировалось Хумой Шахом и проводилось 12 октября в Университете Рединга, Великобритания . [21] После тестирования более чем сотней судей на предварительном этапе, в июне и июле 2008 года, шесть финалистов были отобраны из тринадцати первоначальных участников - искусственные разговорные сущности (ACE). В финале вышли пятеро приглашенных:
- Брат Джером, Питер Коул и Бенджи Адамс
- Эльбот , Фред Робертс / Искусственные решения
- Евгений Густман , Владимир Веселов, Евгений Демченко и Сергей Уласень
- Джабберваки, Ролло Карпентер
- Ультра Хэл, Роберт Медексза
В финале каждому судье было дано пять минут для одновременного разговора на разделенном экране с двумя скрытыми объектами. Элбот [22] из «Искусственных решений» [23] получил бронзовую награду премии Лёбнера в 2008 году за наиболее похожую на человека искусственную разговорную сущность, обманув троих из двенадцати судей, допрашивавших его (в сравнении с людьми), заставив поверить в то, что это был человек. . Это очень близко к 30%, традиционно необходимым для того, чтобы считать, что программа действительно прошла тест Тьюринга. Юджин Густман [24] и Ультра Хэл [25] обманули по одному судье, что это был человек.
Уилл Павиа, журналист The Times , написал о своем опыте; судья финала Лёбнера, его обманули Эльбот и Юджин. [26] Кевин Уорвик и Хума Шах сообщили о тестах Тьюринга с параллельными парами. [27]
2009 г.
Конкурс на премию Лебнера 2009 был проведен 6 сентября 2009 года в Брайтон-центре , Брайтон, Великобритания, в связи с конференцией Interspeech 2009. Сумма приза на 2009 год составила 3000 долларов.
Участниками были Дэвид Леви , Ролло Карпентер и Мохан Эмбар, которые финишировали в таком порядке.
Писатель Брайан Кристиан участвовал в конкурсе на премию Лебнера 2009 года как единомышленник и описал свой опыт участия в конкурсе в своей книге «Самый человечный» .
2010 г.
Конкурс на приз Лебнера 2010 года прошел 23 октября в Калифорнийском государственном университете в Лос-Анджелесе. Конкурс 2010 года стал 20-м проведением конкурса. Победителями стали Брюс Уилкокс с Сюзетт.
2011 г.
Конкурс на премию Лебнера 2011 года прошел 19 октября в Университете Эксетера , Девон , Великобритания. Размер приза на 2011 год составил 4000 долларов.
Четверо финалистов и их болтуны были Брюс Уилкокс (Розетка), Адина Миньогна (Зои), Мохан Эмбар (Чип Вивант) и Рон Ли (Наставник), которые финишировали в указанном порядке.
В том же году была добавлена коллегия младших судей, а именно Джорджия-Мэй Линдфилд, Уильям Данн, Сэм Кит и Кирилл Джердев. Результаты юношеского соревнования заметно отличались от основного: первое место заняли болтуны Tutor и Zoe, а третье и четвертое места заняли Chip Vivant и Rosette соответственно.
2012 г.
Конкурс на премию Лебнера 2012 года прошел 15 мая в Блетчли-парке в Блетчли , Бакингемшир , Англия, в честь празднования столетия Алана Тьюринга . Сумма приза на 2012 год составила 5000 долларов. Организатором аранжировки выступил Дэвид Леви, получивший премию Лебнера в 1997 и 2009 годах.
Четверо финалистов и их болтуны были Мохан Эмбар (Чип Вивант), Брюс Уилкокс (Анджела), Дэниел Берк (Адам), М. Аллан (Линго), которые финишировали в указанном порядке.
В том же году команда факультета информатики Университета Эксетера (Эд Кидвелл, Макс Дупенуа и Кент МакКлимонт) провела первую в истории прямую трансляцию этих бесед в Интернете. [28]
2013
Конкурс на премию Лебнера 2013 года был впервые проведен на острове Ирландия 14 сентября в Ольстерском университете , Колледж Маги , Дерри , Северная Ирландия , Великобритания.
Четырьмя финалистами и их чат-ботами были Стив Уорсвик (Мицуку), доктор Рон С. Ли (наставник), Брюс Уилкокс (Роуз) и Брайан Ригсби (Изар), которые финишировали в указанном порядке.
Судьи были профессором Роджером Шенком (Socratic Arts), профессором Ноэлем Шарки ( Университет Шеффилда ), профессором Минхуа (Юнис) Ма ( Университет Хаддерсфилда , затем Университет Глазго ) и профессором Майком МакТиром ( Университет Ольстера ).
На конкурсе Junior Loebner Prize 2013 года чат-боты Mitsuku и Tutor разделили первое место, а Роуз и Изар заняли 3-е и 4-е места соответственно.
2014 г.
Конкурс на призы Лебнера 2014 года проходил в Блетчли-парке, Англия, в субботу, 15 ноября 2014 года. Мероприятие было снято в прямом эфире Sky News. Приглашенным судьей был телеведущий и телеведущий Джеймс Мэй.
После 2 часов судейства победителем был признан «Роза» Брюса Уилкокса. Брюс получит чек на 4000 долларов и бронзовую медаль. Ранги были следующими:
Роза - ранг 1 (4000 долларов и бронзовая медаль); Изар - Ранг 2.25 (1500 $); Uberbot - 3,25 ранга (1000 $); и Mitsuku - 3,5 ранга (500 долларов).
Судьи: доктор Ян Хокинг, писатель и старший преподаватель психологии, Колледж Крайст-Черч, Кентербери; Д-р Гита Куадри-Мостефауи, преподаватель компьютерных наук и технологий, Университет Бедфордшира; Г-н Джеймс Мэй, телеведущий и телеведущий; и д-р Пол Сант, декан UCMK, Университет Бедфордшира.
2015 г.
В конкурсе на премию Лебнера 2015 года снова выиграла «Роза» Брюса Уилкокса. [29]
Судьями были Джейкоб Аарон, корреспондент журнала New Scientist по физическим наукам; Рори Селлан-Джонс, технологический корреспондент BBC; Бретт Марти, кинорежиссер и фотограф; Ариадна Тампион, писатель.
2016 г.
Премия Лебнера 2016 года была проведена в Блетчли-парке 17 сентября 2016 года. После 2 часов судейства были объявлены окончательные результаты. Ранги были следующими:
- 1 место: Мицуку [30]
- 2 место: Репетитор
- 3 место: Роза
Победители
Официальный список победителей. [31]
Год | Победитель | Программа |
---|---|---|
1991 г. | Джозеф Вайнтрауб | «Причудливый разговор» [32] ( ПК-терапевт ) [33] |
1992 г. | Джозеф Вайнтрауб | ПК терапевт |
1993 г. | Джозеф Вайнтрауб | ПК терапевт |
1994 г. | Томас Уэлен | ЧАЕВЫЕ |
1995 г. | Джозеф Вайнтрауб | ПК терапевт |
1996 г. | Джейсон Хатченс | HeX |
1997 г. | Дэвид Леви | Converse |
1998 г. | Робби Гарнер | Альберт Один |
1999 г. | Робби Гарнер | Альберт Один |
2000 г. | Ричард Уоллес | Искусственный лингвистический Интернет-компьютерный объект (ALICE) |
2001 г. | Ричард Уоллес | Искусственный лингвистический Интернет-компьютерный объект (ALICE) |
2002 г. | Кевин Коппл | Элла |
2003 г. | Юрген Пирнер | Джаббервок |
2004 г. | Ричард Уоллес | Искусственный лингвистический Интернет-компьютерный объект (ALICE) |
2005 г. | Ролло Карпентер | Джордж (Джабберваки) |
2006 г. | Ролло Карпентер | Джоан (Джабберваки) |
2007 г. | Роберт Медексза | Ультра Хэл |
2008 г. | Фред Робертс | Эльбот |
2009 г. | Дэвид Леви | Сделай намного больше |
2010 г. | Брюс Уилкокс | Сюзетта |
2011 г. | Брюс Уилкокс | Розетка [34] |
2012 г. | Мохан Эмбар | Чип Вивант [35] |
2013 | Стив Уорсвик | Мицуку [30] |
2014 г. | Брюс Уилкокс | Роза |
2015 г. | Брюс Уилкокс | Роза |
2016 г. | Стив Уорсвик | Мицуку [30] |
2017 г. | Стив Уорсвик | Мицуку [30] |
2018 г. | Стив Уорсвик | Мицуку [30] |
2019 г. | Стив Уорсвик | Мицуку [30] |
Смотрите также
- Список наград в области информатики
- Искусственный интеллект
- Глоссарий искусственного интеллекта
- Робот
- Общий искусственный интеллект
- Конфедеративный эффект
- Компьютерный игровой бот Turing Test
Рекомендации
- ^ [1] , Премия Лебнера, конкурс теста Тьюринга в Блетчли-парке - блог Exeter , последнее обращение 8 декабря 2014 г.
- ^ Loebner премии , AISB сайт , Проверено 23 января 2018
- ↑ Искусственная глупость , Salon.com , 16 февраля 2003 г.
- ↑ Уэйкфилд, Джейн (14 сентября 2019 г.). «Любители, соревнующиеся за то, чтобы сделать ИИ человеком» . BBC News . Проверено 23 июля 2020 .
- ^ « « Машины, которые думают », 4 сезон, серия 3» . Scientific American Frontiers . Компания Chedd-Angier Production. 1993–1994 гг. PBS . Архивировано 2006 годом.
- ^ 17-я ежегодная премия Лебнера за искусственный интеллект 21 октября 2007 г., Нью-Йорк
- ^ а б Пауэрс, Дэвид. «Полный тест Тьюринга и премия Лебнера» . Дата обращения 29 мая 2016 .
- ^ а б в Флориди, Лучано; Таддео, Мариаросария; Турилли, Маттео (2009). «Имитационная игра Тьюринга: все еще невыполнимая задача для всех машин и некоторых судей - оценка конкурса Лебнера 2008 года». Умы и машины . 19 (19): 145–150. CiteSeerX 10.1.1.672.7417 . DOI : 10.1007 / s11023-008-9130-6 .
- ^ Сундман, Джон. «Искусственная глупость» . Салон . Архивировано из оригинала на 2012-07-20 . Дата обращения 29 мая 2016 .
- ^ Минский, Марвин. «Объявление ежегодной Премии Мински Лебнера за 1995 год» . Дата обращения 29 мая 2016 .
- ^ Фишер, Ричард (16 мая 2012 г.). «Чат-боты не убеждают, несмотря на выигрыш приза Лебнера» . Новый ученый . Дата обращения 29 мая 2016 .
- ^ Серк, ЗЛинда. "Может ли компьютер думать?" . BBC . Дата обращения 29 мая 2016 .
- ^ Стивенс, Кеннет Р. «Что нам рассказал конкурс Лебнера о системах с обменом мнениями?» (PDF) . www.behavior.org . Оперантное WebSites, Inc . Дата обращения 29 мая 2016 .
- ^ Флориди, Лучано (25 января 2016 г.). «Людям нечего бояться интеллектуальных машин» . Financial Times . Дата обращения 29 мая 2016 .
- ^ Кристиан, Брайан. «Разум против машины» (март 2011 г.). Атлантика . Дата обращения 29 мая 2016 .
- ^ Информация о премии Лебнера 2006
- ^ Лобнер 2006
- ^ Как быть человеком , Обзор технологий , 20 сентября 2006 г.
- ^ Приз Лебнера , loebner.net
- ^ 17-я ежегодная премия Лебнера за искусственный интеллект , loebner.net
- ^ 18-я ежегодная премия Лебнера в области искусственного интеллекта 12 октября 2008 г. Университет Рединга, Рединг, Великобритания
- ^ Эльбот
- ^ Искусственные решения
- ^ «Евгений Густман» . Архивировано из оригинала на 2017-06-17 . Проверено 21 октября 2008 .
- ^ Ультра Хэл
- ^ Машина побеждает человека в массовом тесте Тьюринга
- ^ Параллельно-парные тесты Тьюринга
- ^ "Интернет-трансляция Премии Лебнера 2012" . Архивировано из оригинального 18 мая 2012 года . Проверено 15 мая 2012 года .
- ^ «Chatbot Роза победы 2015 в Loebner искусственного интеллекта приз» . BBC . Дата обращения 29 мая 2016 .
- ^ а б в г д е «Чат-бот Mitsuku» .
- ^ Лауреаты премии Лебнера , AISB - Общество по изучению искусственного интеллекта и моделирования поведения
- ^ « « Машины, которые думают », 2 сезон, 5 серия» . Scientific American Frontiers . Компания Chedd-Angier Production. 1991–1992 гг. PBS . Архивировано 2006 годом.
- ^ http://loebner.net/Prizef/weintraub-bio.html
- ^ «Прочтите о розетке, удостоенной премии Лебнера - чат-боте Брюса Уилкокса» . Архивировано из оригинального 15 мая 2013 года . Проверено 29 октября 2011 года .
- ^ «Чип Вивант - Мохан Эмбар» .
Внешние ссылки
- Новый официальный сайт
- Бывший официальный сайт (недоступен)
- Марков, Джон (10 января 1993 г.). «Коктейльная беседа - с компьютером» . Нью-Йорк Таймс .
Разговор с победителем 1992 года; тема: мужчины и женщины
- Платт, Чарльз (апрель 1995 г.). "Что вообще значит быть человеком?" . Проводной .
- Шах, Хума (октябрь 2008 г.). «Премия Лебнера 2008 года: мифы и заблуждения» .
- Кристиан, Брайан (март 2011 г.). «Разум против машины» . Атлантика .
- Николич, Данко. «Актуален ли тест Тьюринга? Как насчет времени Тьюринга?» . Средний .