Конференция и лаборатории оценочного форума (ранее — Межъязыкового оценочного форума ), или CLEF , — это организация, продвигающая исследования в области многоязычного доступа к информации (в настоящее время основное внимание уделяется европейским языкам ). Его конкретные функции заключаются в поддержании базовой структуры для тестирования систем поиска информации и создании репозиториев данных для использования исследователями при разработке сопоставимых стандартов . [1] Организация проводит конференцию каждый сентябрь в Европе с момента первого учредительного семинара в 2000 году. С 1997 по 1999 год TREC, аналогичная оценочная конференция, организуемая ежегодно в США, включала в себя трек для оценки межъязыкового IR для европейских языков. Этот трек координировался совместно NIST и группой европейских добровольцев, которая с годами росла. В конце 1999 года некоторыми участниками было принято решение перенести деятельность в Европу и организовать ее самостоятельно. Цель состояла в том, чтобы расширить охват на большее количество языков и сосредоточить внимание на более широком круге вопросов, включая оценку одноязычной системы для языков, отличных от английского. На протяжении многих лет CLEF поддерживался рядом различных проектов и инициатив, финансируемых ЕС.[2]
CLEF 2019 ознаменовал 20-летие конференции и был отмечен публикацией книги [3] об уроках, извлеченных за 20 лет оценочной деятельности.
До 2010 года [4] CLEF был организован как семинар, совместно с Европейской конференцией по цифровым библиотекам , состоящий из ряда оценочных лабораторий или направлений, аналогично TREC. В 2010 году CLEF превратилась в самостоятельную организованную конференцию с оценочными лабораториями, лабораторными семинарами и основным направлением конференции. В 2012 году INEX, семинар по поиску и доступу к структурированному тексту, который ранее ежегодно проводился в Schloß Dagstuhl , объединился с CLEF и стал одной из его оценочных лабораторий.
Перед каждой конференцией CLEF участники оценочных лабораторий получают набор сложных задач. Задания предназначены для проверки различных аспектов информационно-поисковых систем и стимулирования их развития. Группы исследователей предлагают и организуют кампании для выполнения этих задач, а результаты используются в качестве эталонов уровня техники в конкретных областях., [5] [6]
Вначале CLEF фокусировался в основном на довольно типичных задачах поиска информации, но перешел к более конкретным задачам. Например, интерактивная задача поиска изображений 2005 г. работала с иллюстрациями научно-популярных текстов с использованием изображений из Flickr [7] , а задача медицинского поиска 2010 г. была сосредоточена на поиске компьютерной томографии, МРТ и рентгенографических изображений. [8] В 2017 году CLEF выполнил ряд задач, например, по идентификации биологических видов по фотографиям или видеоклипам, по стилистическому анализу авторства и доступу к информации, связанной со здоровьем.