Мудрость толпы является коллективным мнением группы лиц , а не у одного эксперта. Этот процесс, хотя и не новость для эпохи информации , был поставлен в центр внимания со стороны сайтов социальной информации, таких как Quora , Stack Exchange , Wikipedia , Yahoo! Ответы и другие веб-ресурсы, основанные на коллективных человеческих знаниях. [1] Объяснение этого явления состоит в том, что с каждым индивидуальным суждением связан идиосинкразический шум, и усреднение большого количества ответов в некоторой степени поможет нейтрализовать эффект этого шума. [2]
Суд присяжных можно понимать как по крайней мере частично полагающийся на мудрость толпы по сравнению с судом присяжных, который полагается на одного или нескольких экспертов. В политике иногда жеребьевка проводится как пример того, как могла бы выглядеть мудрость толпы. Решения будут принимать разнородная группа, а не достаточно однородная политическая группа или партия. Исследования в области когнитивной науки стремились смоделировать взаимосвязь между влиянием толпы и индивидуальным познанием.
Агрегированные ответы большой группы на вопросы, включающие количественную оценку, общие знания о мире и пространственное мышление, обычно [ сомнительно ] столь же хороши, но часто превосходят ответ, данный любым из людей в группе. [ необходима цитата ]
Примеры
Считается, что Аристотель первым написал о «мудрости толпы» в своей работе « Политика» . [3] [4] Согласно Аристотелю, «возможно, что многие, хотя и не по отдельности хорошие люди, тем не менее, когда они соберутся вместе, могут быть лучше, не индивидуально, а коллективно, чем те, кто таковы, точно так же как общественные обеды, на которые многие вносят больше, чем те, которые предоставляются за счет одного человека ". [5]
Классический метод исследования толпы предполагает точечную оценку непрерывного количества. На сельской ярмарке 1906 года в Плимуте 800 человек участвовали в соревновании по оценке веса зарезанного и разделанного быка. Статистик Фрэнсис Гальтон заметил, что среднее предположение, 1207 фунтов, было точным в пределах 1% от истинного веса в 1198 фунтов. [6] Это способствовало пониманию когнитивной науки того, что индивидуальные суждения толпы можно смоделировать как распределение вероятностей ответов со средним значением, сосредоточенным около истинного значения оцениваемой величины. [7]
В последние годы феномен «мудрости толпы» стал использоваться в бизнес-стратегиях и рекламных пространствах. Такие фирмы, как Napkin Labs, собирают для клиентов отзывы потребителей и впечатления от бренда. Между тем, такие компании, как Trada, привлекают толпы для разработки рекламы, основанной на требованиях клиентов. [8]
Преобладают нечеловеческие примеры. Например, Золотистый Шайнер - рыба, предпочитающая тенистые участки. Одиночному Шайнеру очень трудно находить тенистые участки в водоеме, тогда как большая группа намного эффективнее находит тень. [9]
Многомерные задачи и моделирование
Хотя классические выводы толпы сосредоточены на точечных оценках отдельных непрерывных величин, это явление также масштабируется до задач более высокого измерения, которые не поддаются методам агрегирования, таким как определение среднего. Для этих целей были разработаны более сложные модели. Вот несколько примеров проблем более высокого измерения, которые демонстрируют эффект мудрости толпы:
- Комбинаторные задачи, такие как минимальные остовные деревья и задача коммивояжера , в которой участники должны найти кратчайший маршрут между массивом точек. Модели этих проблем либо разбивают проблему на общие части ( метод агрегирования локальной декомпозиции ), либо находят решения, наиболее похожие на индивидуальные человеческие решения ( метод агрегирования глобального сходства ). [2] [10]
- Упорядочивание задач, таких как порядок президентов США или городов мира по населению. Полезным подходом в этой ситуации является моделирование Терстона , при котором каждый участник имеет доступ к основному порядку истинности, но с различной степенью стохастического шума , что приводит к расхождению в окончательном порядке, заданном разными людьми. [11] [12] [13] [14]
- Задачи многорукого бандита , в которых участники выбирают из набора альтернатив с фиксированными, но неизвестными ставками вознаграждения с целью максимизации отдачи после ряда испытаний. Чтобы учесть сочетание процессов принятия решений и индивидуальных различий в вероятностях выигрыша и сохранения данной альтернативы по сравнению с проигрышем и переходом к другой альтернативе, были использованы иерархические байесовские модели , которые включают параметры для отдельных людей, взятые из распределений Гаусса [15]
Удивительно популярный
В ходе дальнейшего изучения способов улучшения результатов ученые из лаборатории нейроэкономики Слоуна Массачусетского технологического института в сотрудничестве с Принстонским университетом разработали новый метод, названный « удивительно популярным ». На заданный вопрос людей просят дать два ответа: какой, по их мнению, правильный ответ, и какое, по их мнению, будет общественное мнение. Средняя разница между ними указывает на правильный ответ. Было обнаружено, что «удивительно популярный» алгоритм снижает количество ошибок на 21,3 процента по сравнению с простым большинством голосов и на 24,2 процента по сравнению с базовыми голосами, взвешенными по доверию, когда люди выражают свою уверенность в своих ответах, и на 22,2 процента по сравнению с продвинутыми. голоса, взвешенные по доверию, когда используются только ответы с наивысшим средним значением. [16]
Определение толпы
В контексте мудрости толпы термин «толпа» приобретает широкий смысл. Одно определение характеризует толпу как группу людей, собранную открытым призывом к участию. [17] Хотя толпы часто используются в онлайн-приложениях, их также можно использовать в автономных контекстах. [17] В некоторых случаях членам толпы могут быть предложены денежные стимулы за участие. [18] Некоторые применения «мудрости толпы», такие как обязанности присяжных в США, требуют участия толпы. [19]
Аналоги с индивидуальным познанием: «толпа внутри»
Понимание того, что толпа реагирует на задачу оценки, может быть смоделирована как выборка из распределения вероятностей, побуждает проводить сравнения с индивидуальным познанием. В частности, возможно, что индивидуальное познание является вероятностным в том смысле, что индивидуальные оценки берутся из «внутреннего распределения вероятностей». Если это так, то две или более оценок одной и той же величины от одного и того же человека должны иметь среднее значение, более близкое к истинному, чем любое из индивидуальных суждений, поскольку влияние статистического шума в рамках каждого из этих суждений снижается. Это, конечно, основывается на предположении, что шум, связанный с каждым суждением, является (по крайней мере, в некоторой степени) статистически независимым . Таким образом, толпа должна быть независимой, но в то же время разнообразной, чтобы можно было давать самые разные ответы. Ответы на концах спектра нейтрализуют друг друга, позволяя мудрости феномена толпы занять свое место. Еще одно предостережение заключается в том, что индивидуальные вероятностные суждения часто смещены в сторону экстремальных значений (например, 0 или 1). Таким образом, любой положительный эффект от нескольких суждений одного и того же человека, вероятно, будет ограничен выборками из беспристрастного распределения. [20]
Вул и Пашлер (2008) попросили участников дать точечные оценки непрерывных величин, связанных с общими мировыми знаниями, например: «Какой процент аэропортов мира находится в Соединенных Штатах?» Без предупреждения о процедуре половину участников немедленно попросили сделать второе, другое предположение в ответ на тот же вопрос, а другую половину попросили сделать это через три недели. Среднее значение двух предположений участника было более точным, чем каждое отдельное предположение. Более того, усредненные предположения, сделанные в условиях трехнедельной задержки, были более точными, чем предположения, сделанные сразу же после этого. Одно из объяснений этого эффекта состоит в том, что предположения в непосредственном состоянии были менее независимыми друг от друга ( эффект привязки ) и, таким образом, были подвержены (некоторым) шумам одного и того же типа. В целом, эти результаты предполагают, что индивидуальное познание действительно может быть подвержено внутреннему распределению вероятностей, характеризующемуся стохастическим шумом, а не постоянно давать лучший ответ, основанный на всех имеющихся у человека знаниях. [20] Эти результаты были в основном подтверждены в мощной предварительно зарегистрированной репликации. [21] Единственный результат, который не был полностью воспроизведен, заключался в том, что задержка во втором предположении дает лучшую оценку.
Hourihan и Benjamin (2010) проверили гипотезу о том, что улучшения оценок, наблюдаемые Вулом и Пашлером в условиях отложенного ответа, были результатом большей независимости оценок. Для этого Хурихан и Бенджамин использовали различия в памяти у своих участников. В подтверждение они обнаружили, что усреднение повторных оценок для тех, у кого более низкий интервал памяти, показал большее улучшение оценок, чем усреднение повторных оценок для тех, у кого более широкий интервал памяти. [22]
Раухут и Лоренц (2011) расширили это исследование, снова попросив участников сделать оценки непрерывных величин, связанных со знанием реального мира - однако в этом случае участникам сообщили, что они сделают пять последовательных оценок. Этот подход позволил исследователям определить, во-первых, количество раз, которое нужно задать себе, чтобы соответствовать точности вопросов другим, а затем скорость, с которой оценки, сделанные им самим, улучшают оценки по сравнению с запросами других. Авторы пришли к выводу, что вопрос, задаваемый себе бесконечное количество раз, не превосходит точность вопроса только одного человека. В целом они не нашли поддержки так называемого «ментального распределения», на основании которого люди делают свои оценки; на самом деле, они обнаружили, что в некоторых случаях многократный запрос самого себя снижает точность. В конечном итоге они утверждают, что результаты Вула и Пашлера (2008) переоценивают мудрость «внутренней толпы» - поскольку их результаты показывают, что более чем трехкратный запрос самого себя на самом деле снижает точность до уровней ниже, чем сообщают Вул и Пашлер (которые только попросил участников сделать две оценки). [23]
Мюллер-Треде (2011) попытался исследовать типы вопросов, в которых использование «внутренней толпы» наиболее эффективно. Он обнаружил, что, хотя повышение точности было меньше, чем можно было бы ожидать от усреднения оценок с другим человеком, повторные суждения приводят к повышению точности как для вопросов годовой оценки (например, когда был изобретен термометр?), Так и для вопросов о расчетных процентах (например, , какой процент интернет-пользователей подключается из Китая?). Общие числовые вопросы (например, какова скорость звука в километрах в час?), Однако, не показали улучшения при повторных суждениях, тогда как усреднение индивидуальных суждений с суждениями случайного другого действительно повысило точность. Это, как утверждает Мюллер-Треде, является результатом ограничений, подразумеваемых вопросами по годам и процентам. [24]
Ван Долдер и Ван ден Ассем (2018) изучили «толпу внутри», используя большую базу данных по трем оценочным соревнованиям, организованным Holland Casino. Они обнаружили, что для каждого из этих соревнований личная агрегация действительно повышает точность оценок. Кроме того, они также подтверждают, что этот метод работает лучше, если между последующими решениями есть временная задержка. Однако даже при значительной задержке между оценками преимущество бледнеет по сравнению с агрегацией между людьми: среднее значение большого количества суждений одного и того же человека едва ли лучше, чем среднее значение двух суждений разных людей. [25]
Диалектический бутстрэппинг: улучшение оценок "внутренней толпы"
Херцог и Хертвиг (2009) попытались улучшить «мудрость многих в одном сознании» (т. Е. «Толпу внутри»), попросив участников использовать диалектический бутстрап. Диалектическая бутстреппинг включает в себя использование диалектики (аргументированное обсуждение, которое происходит между двумя или более сторонами с противоположными взглядами в попытке определить лучший ответ) и самонастройки (продвижение себя без помощи внешних сил). Они утверждали, что люди должны иметь возможность улучшить свои первоначальные оценки, основывая вторую оценку на противоположной информации. Следовательно, эти вторые оценки, основанные на других предположениях и знаниях, чем те, которые использовались для генерации первой оценки, также будут иметь другую ошибку (как систематическую, так и случайную ), чем первая оценка, что повысит точность среднего суждения. С аналитической точки зрения диалектический бутстрэппинг должен повышать точность, если диалектическая оценка не так уж далека и ошибки первой и диалектической оценок различны. Чтобы проверить это, Херцог и Хертвиг попросили участников сделать серию оценок дат относительно исторических событий (например, когда было обнаружено электричество), не зная, что их попросят предоставить вторую оценку. Затем половину участников просто попросили сделать вторую оценку. Другой половине было предложено использовать стратегию рассмотрения противоположного, чтобы сделать диалектические оценки (используя их первоначальные оценки в качестве ориентира). В частности, участников просили представить, что их первоначальная оценка ошибочна, подумать, какая информация могла быть неправильной, что могла бы предложить эта альтернативная информация, сделало бы их оценку завышенной или заниженной, и, наконец, исходя из этой точки зрения, что их новая оценка будет. Результаты этого исследования показали, что, хотя диалектический бутстрэппинг не превзошел мудрость толпы (усреднение первой оценки каждого участника с оценкой случайного другого участника), он дал более точные оценки, чем простая просьба людей сделать две оценки. [26]
Хирт и Маркман (1995) обнаружили, что участники не должны ограничиваться стратегией рассмотрения противоположного, чтобы улучшить суждения. Исследователи попросили участников рассмотреть альтернативу - операционализированную как любую правдоподобную альтернативу (а не просто сосредоточиться на «противоположной» альтернативе) - обнаружив, что простое рассмотрение альтернативы улучшает суждения. [27]
Не все исследования подтвердили поддержку суждений о «толпе внутри». Ариэли и его коллеги попросили участников дать ответы, основанные на их ответах на вопросы «верно-неверно» и их уверенности в этих ответах. Они обнаружили, что, хотя усреднение оценок суждений между людьми значительно улучшило оценки, усреднение повторных оценок суждений, сделанных одними и теми же людьми, не привело к значительному улучшению оценок. [28]
Проблемы
Исследования «мудрости толпы» обычно приписывают превосходство средних значений толпы над индивидуальными суждениями устранению индивидуального шума [29] , объяснение, которое предполагает независимость индивидуальных суждений друг от друга. [7] [20] Таким образом, толпа склонна принимать лучшие решения, если она состоит из различных мнений и идеологий.
Усреднение может устранить случайные ошибки, которые влияют на ответ каждого человека по-разному, но не систематические ошибки, которые одинаково влияют на мнение всей толпы. Так, например, нельзя ожидать, что метод «мудрости толпы» компенсирует когнитивные искажения . [30]
Скотт Э. Пейдж представил теорему прогнозирования разнообразия: «Квадрат ошибки коллективного прогнозирования равен среднему квадрату ошибки минус прогнозируемое разнообразие». Следовательно, когда разнообразие в группе велико, ошибка толпы мала. [31]
Миллер и Стивайерс уменьшили независимость индивидуальных ответов в эксперименте «мудрость толпы», разрешив ограниченное общение между участниками. Участников попросили ответить на вопросы по порядку для общих вопросов, таких как приказ президентов США. Для половины вопросов каждый участник начинал с упорядочивания, представленного другим участником (и предупреждал об этом факте), а для другой половины они начинали со случайного упорядочивания, и в обоих случаях их просили переставить (при необходимости) в правильном порядке. Ответы, в которых участники начинали с ранжирования другого участника, были в среднем более точными, чем ответы, полученные при случайном стартовом условии. Миллер и Стейверс пришли к выводу, что за это явление ответственны разные знания участников на уровне заданий, и что участники интегрировали и дополнили знания предыдущих участников своими собственными знаниями. [32]
Толпа, как правило, работает лучше всего, когда есть правильный ответ на поставленный вопрос, например, вопрос о географии или математике. [33] Когда нет точного ответа, толпа может прийти к произвольным выводам. [34]
Эффект мудрости толпы легко подорвать. Социальное влияние может привести к тому, что среднее значение ответов толпы будет совершенно неточным, в то время как среднее геометрическое и медиана будут гораздо более надежными. [35]
Эксперименты, проведенные Швейцарским федеральным технологическим институтом, показали, что когда группу людей просили ответить на вопрос вместе, они пытались прийти к консенсусу, что часто приводило к снижению точности ответа. т.е. какова длина границы между двумя странами? Одно из предложений по борьбе с этим эффектом - обеспечить, чтобы в группе было население с разным происхождением. [34]
Смотрите также
- Argumentum ad populum
- Эффект победившего
- Программное обеспечение для совместной работы
- Коллективная мудрость
- Традиционная мудрость
- Краудфандинг
- Краудсорсинг
- Метод Delphi
- Разрозненные знания
- Долларовое голосование
- Эффект Даннинга – Крюгера
- Возникновение
- The Good Judgment Project (проект прогнозирования)
- Групповое мышление
- Человеческая надежность
- В торговле
- Закон больших чисел
- Закон Линуса
- Сетевая экспертиза
- Открытый источник
- Ошибка пилота
- Тирания большинства
- Мудрость толпы
Рекомендации
- ^ Baase, Sara (2007). Дар огня: социальные, правовые и этические проблемы компьютеров и Интернета . 3-е издание. Прентис Холл. С. 351–357. ISBN 0-13-600848-8 .
- ^ а б Йи, Шэн Кунг Майкл; Стейверс, Марк; Ли, Майкл Д .; Сухой, Мэтью Дж. (Апрель 2012 г.). «Мудрость толпы в комбинаторных задачах» . Когнитивная наука . 36 (3): 452–470. DOI : 10.1111 / j.1551-6709.2011.01223.x . PMID 22268680 .
- ^ Обер, Джозия (сентябрь 2009 г.). «Аристотелевский средний путь между размышлением и агрегированием независимых предположений» (PDF) . Стэндфордский Университет. Цитировать журнал требует
|journal=
( помощь ) - ^ Ландемор, Элен (2012). «Коллективная мудрость - старая и новая» (PDF) . В Ландеморе - Элен; Эльстер, Джон (ред.). Коллективная мудрость: принципы и механизмы . Кембридж: Издательство Кембриджского университета. ISBN 9781107010338. OCLC 752249923 .
- ^ Аристотель: Политика III.1281b. Перевод Х. Рэкхема, Классическая библиотека Леба
- ^ Гальтон, Ф. (1907). "Vox populi" . Природа . 75 (1949): 450–451. Bibcode : 1907Natur..75..450G . DOI : 10.1038 / 075450a0 .
- ^ a b Surowiecki, Джеймс. Мудрость толпы . Даблдэй, 2004. ISBN 978-0-385-50386-0 .
- ^ Рич, Лаура (2010-08-04). «Прикосновение к мудрости толпы» . Нью-Йорк Таймс . ISSN 0362-4331 . Проверено 3 апреля 2017 .
- ^ «Настоящая мудрость толпы» . Явления . 2013-01-31 . Проверено 2 апреля 2017 .
- ^ Yi, SKM, Steyvers, М., Ли, доктор медицинских наук, и сухой, M. (2010). Мудрость толпы в задачах минимального связующего дерева. Материалы 32-й ежегодной конференции Общества когнитивных наук. Махва, Нью-Джерси: Лоуренс Эрлбаум.
- ^ Ли, Майкл Д .; Стейверс, Марк; де Янг, Минди; Миллер, Брент (январь 2012 г.). «Вывод опыта в задачах ранжирования знаний и прогнозирования». Темы когнитивной науки . 4 (1): 151–163. CiteSeerX 10.1.1.303.822 . DOI : 10.1111 / j.1756-8765.2011.01175.x . PMID 22253187 .
- ^ Ли, доктор медицины; Steyvers, M .; де Янг, М .; Miller, BJ Carlson, L .; Hölscher, C .; Шипли, Т.Ф. (ред.). «Модельный подход к измерению опыта при ранжировании задач». Материалы 33-й ежегодной конференции Общества когнитивных наук . Остин, Техас: Общество когнитивных наук.
- ^ Steyvers, М., Ли, доктор медицинских наук, Миллер, Б. и Hemmer, P. (2009). «Мудрость толпы в восприятии информации о порядке». В: Y. Bengio, D. Schuurmans, J. Lafferty, CKI Williams и A. Culotta (Eds.) Advances in Neural Information Processing Systems , 22, pp. 1785–1793. MIT Press.
- ^ Миллер, Б., Hemmer, П. Steyvers, М. и Ли, доктор медицинских наук (2009). «Мудрость толпы в решении задач». В: Материалы Девятой Международной конференции по когнитивному моделированию . Манчестер, Великобритания.
- Перейти ↑ Zhang, S., and Lee, MD, (2010). «Когнитивные модели и мудрость толпы: тематическое исследование с использованием проблемы бандитов». В Р. Катрамбоне и С. Олссоне (ред.), Труды 32-й ежегодной конференции Общества когнитивных наук , стр. 1118–1123. Остин, Техас: Общество когнитивных наук.
- ^ Прелец, Дражен; Сеунг, Х. Себастьян; Маккой, Джон (2017). «Решение проблемы мудрости толпы с одним вопросом». Природа . 541 (7638): 532–535. Bibcode : 2017Natur.541..532P . DOI : 10,1038 / природа21054 . PMID 28128245 .
- ^ а б Прпич, Джон; Шукла, Прашант П .; Кицманн, Ян Х .; Маккарти, Ян П. (01.01.2015). «Как работать с толпой: развитие краудсорсинга». Бизнес-горизонты . 58 (1): 77–85. arXiv : 1702.04214 . DOI : 10.1016 / j.bushor.2014.09.005 .
- ^ «Мудрость толпы» . Природа . 438 (7066): 281. 2005. Bibcode : 2005Natur.438..281. . DOI : 10.1038 / 438281a . PMID 16292279 .
- ^ [email protected], Майкл Х. О'Доннелл. «Судья превозносит мудрость присяжных» . Журнал штата Айдахо . Проверено 3 апреля 2017 .
- ^ а б в Vul, E .; Пашлер, Х. (2008). «Измерение толпы внутри: вероятностные представления внутри отдельных лиц». Психологическая наука . 19 (7): 645–647. CiteSeerX 10.1.1.408.4760 . DOI : 10.1111 / j.1467-9280.2008.02136.x . PMID 18727777 .
- ^ Steegen, S; Девитт, L; Tuerlinckx, F; Ванпаемель, В. (2014). «Измерение толпы внутри снова: предварительно зарегистрированное исследование репликации» . Границы в психологии . 5 : 786. DOI : 10.3389 / fpsyg.2014.00786 . PMC 4112915 . PMID 25120505 .
- ^ Hourihan, KL; Бенджамин, А.С. (2010). «Чем меньше, тем лучше (при выборке из толпы внутри): люди с низкой памятью больше извлекают выгоду из множества возможностей для оценки» . Журнал экспериментальной психологии: обучение, память и познание . 36 (4): 1068–1074. DOI : 10.1037 / a0019694 . PMC 2891554 . PMID 20565223 .
- ^ Раухут, Н; Лоренц (2011). «Мудрость толпы в одном сознании: как люди могут моделировать знания различных обществ, чтобы принимать лучшие решения». Журнал математической психологии . 55 (2): 191–197. DOI : 10.1016 / j.jmp.2010.10.002 .
- ^ Мюллер-Треде, Дж. (2011). «Повторная выборка суждения: границы». Суждение и принятие решений . 6 : 283–294.
- ^ ван Долдер, Денни; Ассем, Мартин Дж. Ван ден (2018). «Мудрость внутренней толпы в трех больших экспериментах на природе» . Природа человеческого поведения . 2 (1): 21–26. DOI : 10.1038 / s41562-017-0247-6 . ЛВП : 1871,1 / e9dc3564-2c08-4de7-8a3a-e8e74a8d9fac . ISSN 2397-3374 . PMID 30980050 . Выложите резюме .
- ^ Herzog, SM; Хертвиг, Р. (2009). «Мудрость многих в одном разуме: улучшение индивидуальных суждений с помощью диалектической загрузки». Психологическая наука . 20 (2): 231–237. DOI : 10.1111 / j.1467-9280.2009.02271.x . hdl : 11858 / 00-001M-0000-002E-575D-B . PMID 19170937 .
- ^ Hirt, ER; Маркман, К.Д. (1995). «Множественное объяснение: альтернативная стратегия для опровержения суждений». Журнал личности и социальной психологии . 69 (6): 1069–1086. DOI : 10.1037 / 0022-3514.69.6.1069 .
- ^ Ariely, D .; Au, WT; Бендер, Р.Х .; Будеску, Д.В. Дитц, CB; Gu, H .; Зауберман, Г. (2000). «Эффекты усреднения оценок субъективной вероятности между судьями и внутри них». Журнал экспериментальной психологии: прикладной . 6 (2): 130–147. CiteSeerX 10.1.1.153.9813 . DOI : 10.1037 / 1076-898x.6.2.130 .
- ^ Бенхенда, Мостафа (2011). «Модель обсуждения, основанная на политическом либерализме Ролза». Социальный выбор и благосостояние . 36 : 121–178. DOI : 10.1007 / s00355-010-0469-2 . SSRN 1616519 .
- ^ Маркус Бэкингем; Эшли Гудолл. «Ошибка обратной связи» . Harvard Business Review . № март-апрель 2019.
- ^ Пейдж, Скотт Э. (2007). Разница: как сила разнообразия создает лучшие группы, фирмы, школы и общества . Принстон, Нью-Джерси: Издательство Принстонского университета. ISBN 978-0-691-13854-1.
- ^ Миллер, Б. и Steyvers, М. (в печати). «Мудрость толпы с общением». В Л. Карлсоне, К. Хёльшере и Т. Ф. Шипли (ред.), Труды 33-й ежегодной конференции Общества когнитивных наук . Остин, Техас: Общество когнитивных наук.
- ^ «Мудрость толпы» . randomhouse.com .
- ^ а б Болл, Филипп. « ' Мудрость толпы': мифы и реалии» . Проверено 2 апреля 2017 .
- ^ «Как социальное влияние может подорвать мудрость толпы» . Proc. Natl. Акад. Наук, 2011.