Из Википедии, бесплатной энциклопедии
Перейти к навигации Перейти к поиску

YaCy (произносится как «я вижу») - это бесплатная распределенная поисковая система , построенная на принципах одноранговых (P2P) сетей. [2] [3] Его ядро ​​- компьютерная программа, написанная на Java, распространенная на нескольких сотнях компьютеров, по состоянию на сентябрь 2006 г., так называемых YaCy-peers. Каждый YaCy-узел независимо просматривает Интернет, анализирует и индексирует найденные веб-страницы и сохраняет результаты индексации в общей базе данных (так называемый индекс), которая используется совместно с другими YaCy-узлами, используя принципы сетей P2P. Это поисковая система, которую каждый может использовать для создания поискового портала для своей интрасети и для четкого поиска в общедоступном Интернете.

По сравнению с полураспределенными поисковыми системами, YaCy-сеть имеет децентрализованную архитектуру. Все пиры YaCy равны, и центрального сервера не существует. Его можно запускать либо в режиме сканирования, либо в качестве локального прокси-сервера , индексируя веб-страницы, посещаемые пользователем YaCy на своем компьютере. (Для защиты конфиденциальности пользователя предусмотрено несколько механизмов). Доступ к функциям поиска осуществляется локально работающим веб-сервером, который предоставляет поле поиска для ввода условий поиска и возвращает результаты поиска в формате, аналогичном формату других популярных поисковых систем.

YaCy был создан в 2003 году Майклом Кристеном. [4]

Компоненты системы [ править ]

Поисковая система YaCy основана на четырех элементах: [5]

Гусеничный трактор
Поисковый робот, который переходит с веб-страницы на веб-страницу и анализирует их содержимое. [6]
Индексатор
Создает обратный индекс слова (RWI), т.е. каждое слово из RWI имеет свой список соответствующих URL-адресов и информацию о ранжировании. Слова сохраняются в виде хэшей слов. [7]
Интерфейс поиска и администрирования
Сделан как веб-интерфейс, предоставляемый локальным HTTP- сервлетом с механизмом сервлетов. [8]
Хранилище данных
Используется для хранения базы данных индекса обратного слова с использованием распределенной хеш-таблицы .
Домашняя страница YaCy

Технология поисковых систем [ править ]

Сеть YaCy
  • YaCy - это полноценное поисковое устройство с пользовательским интерфейсом, индексированием, администрированием и мониторингом.
  • YaCy собирает веб-страницы с помощью поискового робота. Затем документы анализируются, индексируются, и поисковый индекс сохраняется локально. Если ваш одноранговый узел является частью одноранговой сети, ваш локальный поисковый индекс также объединяется с общим индексом для этой сети.
  • Начинается поиск, после чего локальный индекс вносится вместе с глобальным поисковым индексом от партнеров в поисковой сети YaCy .
  • YaCy Grid - это реализация второго поколения однорангового поиска YaCy. Установка YaCy Grid состоит из микросервисов, которые обмениваются данными с помощью MCP.
  • YaCy Parser - это микросервис, который можно развернуть с помощью Docker . Когда компонент Parser запускается, он ищет MCP и подключается к нему. По умолчанию на локальном хосте выполняется поиск MCP, но вы можете настроить его самостоятельно.

Архитектура платформы YaCy [ править ]

Веб-поиск, показывающий результаты различных компонентов, используемых YaCy

YaCy использует комбинацию методов для создания сетей, администрирования и обслуживания индексации поисковой системы, включая внесение в черный список, модерацию и общение с сообществом. Вот как YaCy выполняет эти операции:

  • Компоненты сообщества
    1. Интернет-форум [9]
    2. Статистика
    3. XML API
  • Обслуживание
    1. Веб сервер
    2. Индексирование
    3. Краулер с балансиром
    4. Одноранговая связь с сервером
  • Организация контента
    1. Внесение в черный список и фильтрация
    2. Интерфейс поиска
    3. Закладки
    4. Мониторинг результатов поиска

Распространение [ править ]

YaCy доступен для Windows , Mac и Linux .

Пакет Debian можно установить из репозитория, доступного в поддомене веб-сайта проекта. [10] Пакет еще не поддерживается в официальном репозитории пакетов Debian. [11] [12] [13] [14] [15]

См. Также [ править ]

  • Dooble - веб-браузер с открытым исходным кодом со встроенным виджетом YaCy Search Engine Tool.

Ссылки [ править ]

  1. ^ "Ich entwickle eine P2P-basierende suchmaschine. Wer macht mit?" . Heise Online (на немецком языке). 2003-12-15 . Проверено 9 мая 2018 .
  2. ^ "YaCy побеждает Google с помощью поисковой системы с открытым исходным кодом" . Реестр . 2011-11-29 . Проверено 16 апреля 2012 .
  3. ^ «YaCy: речь идет о свободе, а не о победе над Google» . Мир ПК . 2011-12-03 . Проверено 16 апреля 2012 .
  4. ^ "Ich entwickle eine P2P-basierende suchmaschine. Wer macht mit?" . Heise Online (на немецком языке). 2003-12-15 . Проверено 9 мая 2018 .
  5. ^ "Архитектура технологии YaCy" . YaCy.net . Проверено 14 февраля 2012 .
  6. ^ GitHub: YaCy Grid Crawler , YaCy Search Engine, 2021-02-28, стр. Yacy / yacy_grid_crawler , получено 2021-03-11.
  7. ^ GitHub: YaCy Grid Parser , YaCy Search Engine, 2021-02-28, стр. YaCy Grid - это реализация YaCy второго поколения , получено 2021-03-11.
  8. ^ GitHub: YaCY Search , YaCy Search Engine, 2021-02-28, стр. Yacy / yacy-search, полученный из cream / yacy-search , получено 2021-03-11
  9. ^ "forum.yacy.de" . Проверено 6 июня +2017 .
  10. ^ «En: DebianInstall» . YaCyWiki . Дата обращения 6 октября 2019 .
  11. ^ «Dev: TaskSharing» . YaCyWiki . Дата обращения 6 октября 2019 .
  12. ^ "# 452422 - RFP: yacy - распределенный веб-сканер и поисковая система" . Журналы отчетов об ошибках Debian . Дата обращения 2 мая 2020 .
  13. ^ Скрипт поисковой системы Azizi
  14. ^ Bang Digital
  15. ^ PWD

Дальнейшее чтение [ править ]

YaCy в LinuxReviews

Внешние ссылки [ править ]

  • Официальный веб-сайт