Конференция Text REtrieval Conference ( TREC ) - это непрерывная серия семинаров, посвященных списку различных областей или треков исследований в области информационного поиска (IR) . Он спонсируется Национальным институтом стандартов и технологий (NIST) и Intelligence Advanced Research Projects Activity (часть офиса директора национальной разведки ) и начался в 1992 году как часть программы TIPSTER Text . Его цель состоит в том, чтобы поддерживать и поощрять исследования в рамках информационно - поисковой сообщества путем предоставления необходимой инфраструктуры для крупномасштабной оценки вметодологии поиска текста и для увеличения скорости передачи технологии от лаборатории к продукту .
Конференция по восстановлению текста | |
---|---|
Сокращение | TREC |
Дисциплина | поиск информации |
Детали публикации | |
Издатель | NIST |
История | 1992 |
Частота | ежегодный |
Веб-сайт | trec |
Протоколы оценки TREC улучшили многие поисковые технологии. По оценкам исследования 2010 года, «без TREC пользователи Интернета в США потратили бы до 3,15 миллиарда дополнительных часов на использование поисковых систем в период с 1999 по 2009 год». [1] Хэл Вариан, главный экономист Google, написал, что «данные TREC оживили исследования по поиску информации. Наличие стандартного, широко доступного и тщательно составленного набора данных заложило основу для дальнейших инноваций в этой области». [2]
У каждого трека есть задача, в которой NIST предоставляет участвующим группам наборы данных и тестовые задачи. В зависимости от трека, тестовые задачи могут быть вопросами, темами или целевыми извлекаемыми функциями . Выполняется единообразная оценка, чтобы можно было справедливо оценить системы. После оценки результатов, семинар предоставляет участникам возможность собраться вместе с мыслями и идеями и представить текущие и будущие исследования. Конференция по поиску текста началась в 1992 году, финансируется DARPA (Проект перспективных исследований в области обороны США) и проводится NIST. Его цель заключалась в поддержке исследований в сообществе поиска информации путем предоставления инфраструктуры, необходимой для крупномасштабной оценки методологий поиска текста.
Цели
- Поощряйте поисковый поиск на основе больших текстовых коллекций
- Расширение взаимодействия между промышленностью, академическими кругами и правительством путем создания открытого форума для обмена исследовательскими идеями.
- Ускорьте перенос технологий из исследовательских лабораторий в коммерческие продукты, продемонстрировав существенные улучшения методологий поиска по реальным проблемам.
- Повысить доступность соответствующих методов оценки для использования в промышленности и научных кругах, включая разработку новых методов оценки, более применимых к существующим системам.
TREC курирует программный комитет, состоящий из представителей правительства, промышленности и академических кругов. Для каждого TREC NIST предоставляет набор документов и вопросов. Участники запускают свою собственную систему поиска данных и возвращают в NIST список извлеченных документов с наивысшим рейтингом. NIST объединяет отдельные результаты, оценивая правильность извлеченных документов и оценивая результаты. Цикл TREC завершается семинаром, на котором участники могут поделиться своим опытом.
Решения о релевантности в TREC
TREC использует бинарный критерий релевантности: документ актуален или не актуален. Поскольку размер коллекции TREC велик, невозможно рассчитать абсолютный отзыв для каждого запроса. Чтобы оценить релевантность документов по отношению к запросу, TREC использует специальный пул вызовов методов для вычисления относительного отзыва. Все соответствующие документы, которые попали в 100 лучших документов для каждой системы и для каждого запроса, объединяются вместе для создания пула соответствующих документов. Вспомните долю пула релевантных документов, которые одна система извлекла по теме запроса.
Различные TREC
В 1992 году в НИСТ прошел TREC-1. Первая конференция собрала 28 групп исследователей из академических кругов и промышленности. Он продемонстрировал широкий спектр различных подходов к извлечению текста из больших коллекций документов. Наконец, TREC1 выявил факты, что автоматическое построение запросов из запросов на естественном языке, похоже, работает. Методы, основанные на обработке естественного языка, были не лучше, чем методы, основанные на векторном или вероятностном подходе.
TREC2 Прошел в августе 1993 года. В нем участвовала 31 группа исследователей. Были исследованы два типа поиска. Получение с использованием специального запроса и получение с помощью запроса маршрутизации.
В TREC-3 небольшая группа экспериментов работала с коллекцией на испанском языке, а другие имели дело с интерактивной формулировкой запросов в нескольких базах данных.
TREC-4 они сделали еще короче, чтобы исследовать проблемы с очень короткими пользовательскими заявлениями.
TREC-5 включает как краткую, так и полную версии тем с целью проведения более глубокого исследования того, какие типы методов хорошо работают с темами разной длины.
В TREC-6 были введены три новых трека: речь, кросс-язык, поиск информации высокой точности. Цель межъязыкового поиска информации - облегчить исследование системы, которая способна находить соответствующий документ независимо от языка исходного документа.
TREC-7 содержал семь дорожек, из которых две были новой дорожкой запросов и дорожкой очень большого корпуса. Целью трека запросов было создание большой коллекции запросов.
TREC-8 содержит семь треков, из которых два - ответы на вопросы и веб-треки - были новыми. Цель QA-запроса - изучить возможности предоставления ответов на конкретные запросы на естественном языке.
TREC-9 Включает семь треков
В TREC-10 «Видеодорожки» представлен дизайн видеодорожек для содействия исследованиям в поиске контента из цифрового видео.
В TREC-11 введены треки новизны. Цель отслеживания новизны - исследовать возможности систем по обнаружению актуальной и новой информации в ранжированном наборе документов, возвращаемом традиционной системой поиска документов.
TREC-12, проведенный в 2003 году, добавил три новых трека: геномный трек, надежный поисковый трек, HARD (высокоточное извлечение из документов [3]).
Треки
Текущие треки
Новые треки добавляются по мере выявления новых потребностей в исследованиях, этот список актуален на TREC 2018. [4]
- CENTER Track - Цель: запустить параллельно CLEF 2018, NTCIR-14, TREC 2018 для разработки и настройки протокола оценки воспроизводимости IR (новый трек на 2018 год).
- Common Core Track - Цель: специальная задача поиска по новостным документам.
- Получение комплексных ответов (CAR) - Цель: разработать системы, способные отвечать на сложные информационные потребности путем сопоставления информации из всего корпуса.
- Дорожка потоков инцидентов - Цель: исследовать технологии автоматической обработки потоков в социальных сетях во время чрезвычайных ситуаций (новый трек для TREC 2018).
- The News Track - Цель: партнерство с The Washington Post для разработки тестовых сборников в новостной среде (новинка 2018 года).
- Трек прецизионной медицины - цель: специализация трека поддержки принятия клинических решений с упором на привязку данных онкологических пациентов к клиническим испытаниям.
- Дорожка суммирования в реальном времени (RTS) - Цель: изучить методы обновления сводок в реальном времени из потоков социальных сетей.
Прошлые треки
- Chemical Track - Цель: разработать и оценить технологию крупномасштабного поиска в документах, связанных с химией , включая научные статьи и патенты, чтобы лучше удовлетворять потребности профессиональных поисковиков, особенно исследователей патентов и химиков.
- Программа поддержки принятия клинических решений - Цель: изучить методы привязки медицинских случаев к информации, имеющей отношение к уходу за пациентами.
- Дорожка контекстных предложений - Цель: изучить методы поиска сложных информационных потребностей, которые сильно зависят от контекста и интересов пользователя.
- Crowdsourcing Track - Цель: предоставить совместную площадку для изучения методов краудсорсинга как для оценки поиска, так и для выполнения поисковых задач.
- Genomics Track - Цель: изучить поиск геномных данных, а не только последовательностей генов, но и сопроводительной документации, такой как исследовательские работы, лабораторные отчеты и т. Д. Последний раз проводился на TREC 2007.
- Динамическое отслеживание домена - цель: исследовать алгоритмы поиска для конкретных областей, которые адаптируются к динамическим информационным потребностям профессиональных пользователей, исследующих сложные области.
- Enterprise Track - Цель: изучить поиск по данным организации для выполнения некоторой задачи. Последний раз запускался на TREC 2008.
- Entity Track - Цель: выполнить поиск по сущностям в веб-данных. Эти поисковые задачи (такие как поиск сущностей и свойств сущностей) удовлетворяют общие информационные потребности, которые не так хорошо моделируются, как специальный поиск документов.
- Межъязыковой трек - Цель: изучить способность поисковых систем тематически находить документы независимо от исходного языка. После 1999 года этот трек превратился в CLEF .
- FedWeb Track - Цель: выбрать лучшие ресурсы для пересылки запроса и объединить результаты, чтобы наиболее релевантные оказались вверху.
- Дорожка федеративного веб-поиска - Цель: изучить методы выбора и комбинирования результатов поиска из большого количества реальных онлайновых поисковых служб.
- Отслеживание фильтрации - Цель: двоичное решение об извлечении новых входящих документов с учетом стабильной потребности в информации .
- HARD Track - Цель: добиться высокой точности поиска из документов за счет использования дополнительной информации об искателе и / или контексте поиска.
- Интерактивный трек - Цель: изучить взаимодействие пользователя с системами поиска текста.
- Track Base Acceleration (KBA) Track - Цель: разработать методы для значительного повышения эффективности кураторов (человеческих) баз знаний за счет того, что система предлагает модификации / расширения базы знаний на основе мониторинга потоков данных, созданного KBA streamcorpus , организованный Diffeo . [5]
- Юридическая Дорожка - Цель: разработать технологию поиска , которая отвечает потребностям юристов заниматься эффективным открытием в цифровых документах коллекций.
- LiveQA Track - Цель: генерировать ответы на реальные вопросы, исходящие от реальных пользователей, через поток вопросов в реальном времени.
- Дорожка медицинских записей - цель: изучить методы поиска неструктурированной информации, содержащейся в медицинских записях пациентов.
- Microblog Track - Цель: изучить природу информационных потребностей в реальном времени и их удовлетворение в контексте сред микроблогов, таких как Twitter.
- Трек обработки естественного языка - Цель: изучить, как конкретные инструменты, разработанные компьютерными лингвистами, могут улучшить поиск.
- Дорожка новизны - Цель: исследовать способность систем находить новую (т. Е. Неизбыточную) информацию.
- OpenSearch Track - Цель: изучить парадигму оценки IR, которая включает реальных пользователей действующих поисковых систем. Для первого года прохождения трека задачей был специальный академический поиск.
- Вопрос Ответа Дорожка - Цель: добиться более поиска информации , чем просто поиск документов , ответив Factoid, список и определение стиля вопросов.
- Дорожка суммирования в реальном времени - цель: изучить методы построения сводок обновлений в реальном времени из потоков социальных сетей в ответ на информационные потребности пользователей.
- Надежный поисковый трек - Цель: сосредоточить внимание на эффективности отдельной темы.
- Дорожка обратной связи по релевантности - Цель: дальнейшая глубокая оценка процессов обратной связи по релевантности.
- Отслеживание сеанса - цель: разработать методы измерения сеансов с несколькими запросами, в которых информация должна дрейфовать или становиться более или менее конкретной в течение сеанса.
- Spam Track - Цель: предоставить стандартную оценку текущих и предлагаемых подходов к фильтрации спама .
- Отслеживание задач - Цель: проверить, могут ли системы вызывать возможные задачи, которые пользователи могут пытаться выполнить с учетом запроса.
- Отслеживание темпорального обобщения - цель: разработать системы, позволяющие пользователям эффективно отслеживать информацию, связанную с событием, с течением времени.
- Терабайтный трек - Цель: изучить, может ли / как IR- сообщество масштабировать традиционную оценку на основе IR-тестов на основе значительно больших коллекций.
- Total Recall Track - Цель: оценить методы для достижения очень высокого уровня отзыва, включая методы, которые включают в себя человека-оценщика.
- Видео дорожки - Цель: исследовать в автоматической сегментации, индексации и поиска контента на основе из цифрового видео . В 2003 году этот трек стал отдельной независимой оценкой под названием TRECVID.
- Веб-трек - Цель: изучить поведение при поиске информации, обычное для обычного веб-поиска.
Связанные события
В 1997 году был запущен японский аналог TREC (первый семинар в 1999 году) под названием NTCIR ( NII Test Collection for IR Systems), а в 2000 году был создан европейский аналог CLEF , специально ориентированный на изучение межъязыкового поиска информации. запущен. Форум по оценке поиска информации (FIRE) начал свою работу в 2008 году с целью создания южноазиатского аналога для TREC, CLEF и NTCIR,
Вклад конференции в эффективность поиска
NIST утверждает, что за первые шесть лет семинаров эффективность поисковых систем увеличилась примерно вдвое. [6] Конференция также была первой, где были проведены крупномасштабные оценки неанглоязычных документов, речи, видео и поиска на разных языках. Кроме того, проблемы послужили поводом для написания большого количества публикаций . Технология, впервые разработанная в TREC, теперь включена во многие коммерческие поисковые системы мира . В независимом отчете RTII говорится, что «около одной трети улучшений в поисковых системах в период с 1999 по 2009 гг. Приходится на TREC. Эти улучшения, вероятно, позволили сэкономить до 3 миллиардов часов времени при использовании поисковых систем. ... Кроме того, Отчет показал, что на каждый доллар, который NIST и его партнеры инвестировали в TREC, американским исследователям по поиску информации из частного сектора и академических кругов было начислено от 3,35 до 5,07 долларов в виде пособий ». [7] [8]
В то время как одно исследование предполагает, что состояние дел в области специального поиска существенно не продвинулось за десятилетие, предшествующее 2009 г. [9], оно имеет в виду только поиск тематически релевантных документов в небольших новостях и веб-коллекциях объемом несколько гигабайт. Были достигнуты успехи и в других видах специального поиска. Например, для веб-поиска по известным элементам были созданы тестовые коллекции, в которых были обнаружены улучшения за счет использования якорного текста, взвешивания заголовков и длины URL, которые не были полезными методами в старых специальных тестовых коллекциях. В 2009 году была представлена новая веб-коллекция на миллиард страниц, и фильтрация спама оказалась полезным методом для специального веб-поиска, в отличие от прошлых тестовых сборников.
Коллекции тестов, разработанные в TREC, полезны не только для (потенциально) помощи исследователям в продвижении современного уровня техники, но и для того, чтобы позволить разработчикам новых (коммерческих) продуктов для поиска оценивать их эффективность в стандартных тестах. За последнее десятилетие TREC создал новые тесты для корпоративного поиска по электронной почте, геномного поиска, фильтрации спама, электронного обнаружения и нескольких других областей поиска. [ когда? ] [ необходима ссылка ]
Системы TREC часто служат основой для дальнейших исследований. Примеры включают:
- Хэл Вариан , главный экономист Google , говорит, что чем лучше данные, тем лучше наука. История поиска информации хорошо иллюстрирует этот принцип "и описывает вклад TREC. [10]
- Правовой трек TREC оказал влияние на сообщество e-Discovery как в исследованиях, так и в оценке коммерческих поставщиков. [11]
- IBM исследователь тимбилдинг IBM Watson (ака DeepQA ), обыгравшая лучший в мире Jeopardy! игроки [12] использовали данные и системы из TREC QA Track в качестве базовых показателей эффективности. [13]
Участие
Конференция состоит из разнообразной международной группы исследователей и разработчиков. [14] [15] [16] В 2003 году в нем приняли участие 93 группы как из академических кругов, так и из промышленности из 22 стран.
Смотрите также
- Список наград в области информатики
Рекомендации
- ↑ Брент Р. Роу, Даллас В. Вуд, Альберт Н. Линк и Диглио А. Симони (июль 2010 г.). «Оценка экономического воздействия программы конференции NIST по повторному поиску текста (TREC)» (PDF) . RTI International . Цитировать журнал требует
|journal=
( помощь )CS1 maint: использует параметр авторов ( ссылка ) - ^ Хэл Вариан (4 марта 2008 г.). «Почему данные имеют значение» .
- ^ Чоудхури, Г. Г. (2003). Введение в современный информационный поиск . Лэндон: Издательство Facet. С. 269–279. ISBN 978-1856044806.
- ^ https://trec.nist.gov/tracks.html
- ^ «Дорожка ускорения базы знаний» . NIST .gov. 2014-06-30 . Проверено 4 ноября 2020 .
- ^ С домашней страницы TREC: «... эффективность примерно удвоилась за первые шесть лет TREC»
- ^ «Инвестиции NIST значительно улучшили поисковые системы» . Rti.org. Архивировано из оригинала на 2011-11-18 . Проверено 19 января 2012 .
- ^ https://www.nist.gov/director/planning/upload/report10-1.pdf
- ^ Тимоти Г. Армстронг, Алистер Моффат, Уильям Уэббер, Джастин Зобель. Усовершенствования, которые не складываются: результаты специального поиска с 1998 года. CIKM 2009. ACM.
- ^ Почему данные имеют значение
- ^ The 451 Group: стандарты в e-Discovery - прогулка пешком
- ^ IBM и Jeopardy! Оживите историю с Encore Presentation of Jeopardy !: IBM Challenge
- ↑ Дэвид Ферруччи, Эрик Браун, Дженнифер Чу-Кэрролл, Джеймс Фэн, Дэвид Гондек, Адитья А. Калянпур, Адам Лалли, Дж. Уильям Мердок, Эрик Найберг, Джон Прагер, Нико Шлафер и Крис Велт. Building Watson: обзор проекта DeepQA
- ^ «Участники - IRF Wiki» . Wiki.ir-facility.org. 2009-12-01. Архивировано из оригинала на 2012-02-23 . Проверено 19 января 2012 .
- ^ http://trec.nist.gov/pubs/trec17/papers/LEGAL.OVERVIEW08.pdf
- ^ "Конференция по восстановлению текста (TREC) Результаты отслеживания миллионов запросов TREC 2008" . Trec.nist.gov . Проверено 19 января 2012 .
Внешние ссылки
- Сайт TREC в NIST
- ЖУЧОК
- Книга TREC (на Amazon)