Эта статья поднимает множество проблем. Пожалуйста, помогите улучшить его или обсудите эти проблемы на странице обсуждения . ( Узнайте, как и когда удалить эти сообщения-шаблоны ) ( Узнайте, как и когда удалить этот шаблон сообщения )
|
Автор (ы) оригинала | Майкл Кристен |
---|---|
Разработчики) | Сообщество YaCy |
изначальный выпуск | 2003 [1] |
Стабильный выпуск | 1.922 / 14 октября 2019 г . |
Репозиторий | github |
Написано в | Ява |
Операционная система | Кроссплатформенность |
Тип | Оверлейная сеть , поисковая система |
Лицензия | GPLv2 + |
Интернет сайт | yacy |
YaCy (произносится как «я вижу») - это бесплатная распределенная поисковая система , построенная на принципах одноранговых (P2P) сетей. [2] [3] Его ядро - компьютерная программа, написанная на Java, распространенная на нескольких сотнях компьютеров, по состоянию на сентябрь 2006 г.[Обновить], так называемых YaCy-peers. Каждый YaCy-узел независимо просматривает Интернет, анализирует и индексирует найденные веб-страницы и сохраняет результаты индексации в общей базе данных (так называемый индекс), которая используется совместно с другими YaCy-узлами, используя принципы сетей P2P. Это поисковая система, которую каждый может использовать для создания поискового портала для своей интрасети и для четкого поиска в общедоступном Интернете.
По сравнению с полураспределенными поисковыми системами, YaCy-сеть имеет децентрализованную архитектуру. Все пиры YaCy равны, и центрального сервера не существует. Его можно запускать либо в режиме сканирования, либо в качестве локального прокси-сервера , индексируя веб-страницы, посещаемые пользователем YaCy на своем компьютере. (Для защиты конфиденциальности пользователя предусмотрено несколько механизмов). Доступ к функциям поиска осуществляется локально работающим веб-сервером, который предоставляет поле поиска для ввода условий поиска и возвращает результаты поиска в формате, аналогичном формату других популярных поисковых систем.
YaCy был создан в 2003 году Майклом Кристеном. [4]
Компоненты системы [ править ]
Поисковая система YaCy основана на четырех элементах: [5]
- Гусеничный трактор
- Поисковый робот, который переходит с веб-страницы на веб-страницу и анализирует их содержимое. [6]
- Индексатор
- Создает обратный индекс слова (RWI), т.е. каждое слово из RWI имеет свой список соответствующих URL-адресов и информацию о ранжировании. Слова сохраняются в виде хэшей слов. [7]
- Интерфейс поиска и администрирования
- Сделан как веб-интерфейс, предоставляемый локальным HTTP- сервлетом с механизмом сервлетов. [8]
- Хранилище данных
- Используется для хранения базы данных индекса обратного слова с использованием распределенной хеш-таблицы .
Технология поисковых систем [ править ]
- YaCy - это полноценное поисковое устройство с пользовательским интерфейсом, индексированием, администрированием и мониторингом.
- YaCy собирает веб-страницы с помощью поискового робота. Затем документы анализируются, индексируются, и поисковый индекс сохраняется локально. Если ваш одноранговый узел является частью одноранговой сети, ваш локальный поисковый индекс также объединяется с общим индексом для этой сети.
- Начинается поиск, после чего локальный индекс вносится вместе с глобальным поисковым индексом от партнеров в поисковой сети YaCy .
- YaCy Grid - это реализация второго поколения однорангового поиска YaCy. Установка YaCy Grid состоит из микросервисов, которые обмениваются данными с помощью MCP.
- YaCy Parser - это микросервис, который можно развернуть с помощью Docker . Когда компонент Parser запускается, он ищет MCP и подключается к нему. По умолчанию на локальном хосте выполняется поиск MCP, но вы можете настроить его самостоятельно.
Архитектура платформы YaCy [ править ]
YaCy использует комбинацию методов для создания сетей, администрирования и обслуживания индексации поисковой системы, включая внесение в черный список, модерацию и общение с сообществом. Вот как YaCy выполняет эти операции:
- Компоненты сообщества
- Интернет-форум [9]
- Статистика
- XML API
- Обслуживание
- Веб сервер
- Индексирование
- Краулер с балансиром
- Одноранговая связь с сервером
- Организация контента
- Внесение в черный список и фильтрация
- Интерфейс поиска
- Закладки
- Мониторинг результатов поиска
Распространение [ править ]
YaCy доступен для Windows , Mac и Linux .
Пакет Debian можно установить из репозитория, доступного в поддомене веб-сайта проекта. [10] Пакет еще не поддерживается в официальном репозитории пакетов Debian. [11] [12] [13] [14] [15]
См. Также [ править ]
- Dooble - веб-браузер с открытым исходным кодом со встроенным виджетом YaCy Search Engine Tool.
Ссылки [ править ]
- ^ "Ich entwickle eine P2P-basierende suchmaschine. Wer macht mit?" . Heise Online (на немецком языке). 2003-12-15 . Проверено 9 мая 2018 .
- ^ "YaCy побеждает Google с помощью поисковой системы с открытым исходным кодом" . Реестр . 2011-11-29 . Проверено 16 апреля 2012 .
- ^ «YaCy: речь идет о свободе, а не о победе над Google» . Мир ПК . 2011-12-03 . Проверено 16 апреля 2012 .
- ^ "Ich entwickle eine P2P-basierende suchmaschine. Wer macht mit?" . Heise Online (на немецком языке). 2003-12-15 . Проверено 9 мая 2018 .
- ^ "Архитектура технологии YaCy" . YaCy.net . Проверено 14 февраля 2012 .
- ^ GitHub: YaCy Grid Crawler , YaCy Search Engine, 2021-02-28, стр. Yacy / yacy_grid_crawler , получено 2021-03-11.
- ^ GitHub: YaCy Grid Parser , YaCy Search Engine, 2021-02-28, стр. YaCy Grid - это реализация YaCy второго поколения , получено 2021-03-11.
- ^ GitHub: YaCY Search , YaCy Search Engine, 2021-02-28, стр. Yacy / yacy-search, полученный из cream / yacy-search , получено 2021-03-11
- ^ "forum.yacy.de" . Проверено 6 июня +2017 .
- ^ «En: DebianInstall» . YaCyWiki . Дата обращения 6 октября 2019 .
- ^ «Dev: TaskSharing» . YaCyWiki . Дата обращения 6 октября 2019 .
- ^ "# 452422 - RFP: yacy - распределенный веб-сканер и поисковая система" . Журналы отчетов об ошибках Debian . Дата обращения 2 мая 2020 .
- ^ Скрипт поисковой системы Azizi
- ^ Bang Digital
- ^ PWD
Викискладе есть медиафайлы по теме YaCy . |
Дальнейшее чтение [ править ]
YaCy в LinuxReviews
Внешние ссылки [ править ]
- Официальный веб-сайт