Сервер новостей представляет собой набор программного обеспечения , используемого для ручки Usenet статей. [1] Это может также относиться к самому компьютеру, который в основном или исключительно используется для работы с Usenet. Доступ к Usenet доступен только через провайдера сервера новостей.
Статьи и сообщения [ править ]
Конечные пользователи часто используют термин «публикация» для обозначения отдельного сообщения или файла, размещенного в Usenet. Для статей, содержащих простой текст, это синоним статьи. Для двоичного содержимого, такого как изображения и файлы, часто бывает необходимо разделить содержимое между несколькими статьями. Обычно за счет использования пронумерованных заголовков Тема: сообщения из нескольких статей автоматически собираются программой чтения новостей в единый блок . Большинство серверов не различают однокомпонентные и многокомпонентные публикации, работая только на уровне отдельных статей-компонентов. [2]
Заголовки и обзоры [ править ]
Каждая новостная статья содержит полный набор строк заголовков, но обычно термин «заголовки» также используется при обращении к базе данных обзора новостей . [2] Обзор представляет собой список наиболее часто используемых заголовков и дополнительную информацию, такую как размеры статей, обычно получаемые клиентским программным обеспечением с помощью команды NNTP XOVER . Обзоры ускоряют чтение группы новостей как для клиента, так и для сервера, устраняя необходимость открывать каждую отдельную статью для представления их в виде списка.
Если требуются не обзорные заголовки, например, при использовании файла уничтожения , все же может потребоваться более медленный метод чтения всех полных заголовков статей. [1] Многие клиенты не могут этого сделать и ограничивают фильтрацию тем, что доступно в сводках. [2]
Атрибуты сервера новостей [ править ]
Операторы и пользователи коммерческих серверов новостей обеспокоены постоянно растущими требованиями к хранению данных и пропускной способности сети, а также их последствиями. [2] Завершение (способность сервера успешно принимать весь трафик), удержание (количество времени, в течение которого статьи становятся доступными для читателей) и общая производительность системы. В связи с возрастающими требованиями роли транзитного сервера и считывающего сервера обычно подразделяются на системы нумерации, хранения и внешнего интерфейса. Эти серверные фермы постоянно контролируются как инсайдерами, так и посторонними, и измерения этих характеристик часто используются потребителями при выборе службы коммерческих новостей.
Скорость [ править ]
Скорость применительно к Usenet - это то, насколько быстро сервер может доставить статью пользователю. Сервер, к которому подключается пользователь, обычно является частью фермы серверов, в которой много серверов выделено для выполнения нескольких задач. Скорость передачи данных по ферме - это первое, что влияет на скорость доставки. [ необходима цитата ]
Скорость передачи данных по ферме может быть серьезно ограничена из-за операций с жестким диском. Получение статьи и обзорной информации может вызвать серьезную нагрузку на жесткие диски. [ необходима цитата ] Для борьбы с этим были разработаны технология кэширования и системы хранения файлов цилиндрической формы. [ необходима цитата ]
Как только ферма может доставлять данные в сеть, поставщик имеет ограниченный контроль над скоростью для пользователя. Поскольку сетевой путь к каждому пользователю разный, у некоторых пользователей будут хорошие маршруты, и данные будут передаваться быстро. У других пользователей будут перегруженные маршрутизаторы между ними и провайдером, что вызовет задержки. Практически все, что может сделать провайдер в этом случае, - это попытаться переместить трафик по другому маршруту. Если интернет-провайдер имеет ограниченное подключение к сети, изменения маршрутизации могут иметь незначительный эффект.
Часто пользователь может уменьшить влияние сетевых проблем, используя несколько подключений. Некоторые серверы допускают до 60 одновременных подключений, но это сильно зависит от поставщика. [3]
Размеры статьи [ править ]
Размеры статей ограничены тем, что принимает каждый сервер новостей. Чем больше размер статьи, тем больше места она занимает и, следовательно, тем меньше статей на каждом сервере. Обычно это означает, что сервер может работать с меньшими накладными расходами, что делает сервер более эффективным, но дает меньше статей для доступа пользователей. [ необходима цитата ]
Хранение [ править ]
Удержание просто определяется как долго сервер хранит статьи. [4] Исторически сложилось так, что большинство пользователей хотят, чтобы срок хранения был достаточно долгим, чтобы им не приходилось обращаться к серверу каждый день, но не слишком долгое хранение, которое может перегружать пользователей с медленными компьютерами или сетевыми соединениями. [1] В современную эпоху высокоскоростные соединения, большая емкость хранилища и расширенные инструменты поиска позволяют пользователям использовать обширное хранение без каких-либо недостатков.
Удержание обычно указывается отдельно для текстовых и бинарных статей, хотя оно также может варьироваться между разными группами в этих категориях. Время сильно различается в зависимости от объема памяти, доступного на серверах, и постоянного увеличения трафика. По данным на 2009 год, среднестатистические поставщики новостей обычно имеют срок хранения текста более 1000 дней и двоичного хранения более 200 дней. [ необходима цитата ] Крупные поставщики новостей предлагают хранение текста до 2480 дней и хранение двоичных файлов до 850 дней и более. [ необходима цитата ]Важно понимать, что время хранения различается для разных групп новостей в текстовых и бинарных категориях. HW Media от Omicron в настоящее время является сервером Usenet с наибольшим объемом хранения двоичного кода, а Google - сервером Usenet с наибольшим объемом хранения текста. [ необходима цитата ]
Конечным пользователям может быть сложно точно измерить время удержания сервера. Один из распространенных методов - изучить самые старые статьи в группе и проверить дату, но это не всегда точно. Некоторые статьи в группе могут храниться дольше, чем другие, статьи с удаленных серверов не всегда приходят вовремя, а иногда заголовки даты просто неверны. Для обнаружения таких аномалий требуется выборка из многих или всех статей, предпочтительно в нескольких группах новостей.
Серверы новостей не имеют неограниченного хранилища, и из-за этого они могут хранить сообщения только в течение определенного периода времени, прежде чем они должны будут удалить их, чтобы освободить место для новых сообщений. Это особая проблема для двоичных групп новостей, которые передают большие объемы статей.
Для серверов новостей, предоставляемых интернет-провайдерами в рамках пакета подписки пользователя, типичный срок хранения обычно составляет всего 2–4 дня. [ необходима цитата ] Чтобы справиться с увеличением трафика Usenet, многие провайдеры обращаются к гибридной системе, в которой старые статьи, не найденные на сервере провайдера, будут запрашивать статью с другого сервера с более длительным хранением.
Завершение [ править ]
Учитывая большое количество статей, передаваемых между серверами, и большой размер отдельных статей, их полное распространение на любую одну ферму серверов не гарантируется. Термин «завершение» используется для описания того, насколько хорошо служба справляется с трафиком. [ необходима цитата ]
Основное препятствие для расчета процента завершения - это количество опубликованных статей. Глядя только на один сервер, невозможно узнать, сколько статей было фактически вставлено в сеть. [ необходима цитата ] Статьи могут никогда не выходить за пределы исходного сервера или могут не выходить в транзитное облако. Очень большие статьи часто сбрасываются, и их размножение происходит хуже, чем у более мелких. [ необходима цитата ]
Один из способов измерить завершенность - получить доступ к нескольким серверам и получить списки статей. Поскольку заголовки Message-ID: номинально уникальны во всей сети, сравнение списков в большинстве случаев является простой задачей. Практические ограничения этого типа измерения включают невозможность получения списков со всех серверов по всему миру, тот факт, что многие серверы отфильтровывают спам или применяют смертные казни Usenet , и что некоторые серверы маскируют незавершенность, скрывая составные двоичные наборы с недостающими статьями. [ необходима цитата ] Также необходимо учитывать время распространения и удерживание; статья могла просто еще не прибыть на данный сервер, или она могла присутствовать, но срок ее действия уже истек. [цитата необходима ]
Работа сервера новостей [ править ]
Пиринг [ править ]
Все серверы Usenet взаимодействуют с одним или несколькими другими серверами для обмена статьями. Время от времени появляются новые серверы. Хотя существует несколько веб-ресурсов, которые могут помочь в поиске сверстников, лучшим ресурсом является группа новостей news.admin.peering (портал групп Google). [ необходима цитата ]
Начиная с 2020 года, текстовые каналы обычно можно получить бесплатно, в то время как полные двоичные каналы могут быть бесплатными или платными (в зависимости от того, сколько статей каждый сервер отправляет другому). Из-за большого количества данных в полном двоичном + текстовом фиде Usenet (может достигать 30 терабайт в день) и высокой стоимости передачи этих данных через провайдера IP-транзита, такого как Cogent , Telia или Zayo , большинство провайдеров Usenet будут участвуют в бинарном пиринге только тогда, когда они подключены к Интернет-обмену, например, AMS-IX , SIX или DeCIX .
Катушки [ править ]
Когда сервер хранит текст статьи, он помещает его в дисковое хранилище, обычно называемое «катушкой». [2] Есть несколько распространенных способов организации катушки:
- Один файл на статью - это самая старая схема хранения, которая до сих пор широко используется на небольших серверах и реплицируется на многих клиентах. Его производительность напрямую зависит от способности базовой операционной системы создавать, удалять и находить файлы в каталоге, и часто этой схемы недостаточно, чтобы не отставать от современного трафика Usenet. Однако он обеспечивает максимальную гибкость в управлении объемом и расположением хранилища, используемого сервером. Почти все текущее программное обеспечение, использующее эту схему, хранит статьи с использованием макета B News 2.10.
- Циклическое хранение становится все более распространенным с 1990-х годов. В этом методе хранения статьи последовательно добавляются к большим индексированным файлам-контейнерам. Когда достигается конец файла, новые статьи записываются в начало файла, перезаписывая самые старые записи. На некоторых серверах эта перезапись не выполняется, вместо этого создаются новые файлы-контейнеры, а старые удаляются. Основные преимущества этой системы включают предсказуемые требования к хранилищу, если используется схема перезаписи, и некоторая свобода от зависимости от базовой производительности операционной системы. Однако существует меньшая гибкость для сохранения статей по возрасту, а не по используемому пространству, и традиционные инструменты для работы с текстом, такие как grepхуже подходят для анализа этих файлов. Определенную степень контроля долговечности статей можно осуществить, направив подмножества групп новостей на определенные наборы файлов-контейнеров.
- В некоторых случаях для хранения спула используется реляционная база данных или что-то подобное. Чаще всего это наблюдается с программным обеспечением Интернет-форумов, которое также предлагает интерфейс NNTP.
- Некоторые серверы, такие как INN , позволяют использовать сразу несколько схем хранения. В серверах новостей также использовались различные гибридные схемы хранения, в том числе различные организации, использующие метод «файл на статью», или контейнеры меньшего размера, вмещающие около 100 статей каждая.
Типы серверов [ править ]
Сервер читателя предоставляет интерфейс для чтения и публиковать статьи, как правило , при содействии клиента новостей . Транзитный сервер обменивается статьи с другими серверами. Большинство серверов могут обеспечивать обе функции.
Транзитный сервер [ править ]
Современные транзитные серверы обычно используют NNTP для постоянного обмена новостями через Интернет и аналогичные постоянные соединения. В прошлом серверы обычно использовали протокол UUCP , который был разработан для прерывистых коммутируемых соединений. Другие специальные протоколы, включая электронную почту , встречаются реже. Серверы новостей обычно подключаются к нескольким одноранговым узлам, а избыточность помогает распределить нагрузку и гарантировать, что статьи не потеряны. Меньшие сайты, называемые листовыми узлами , подключены к еще одному крупному серверу. [2]
Маршрутизация статей основана на информации, содержащейся в строках заголовков, определенных в RFC 1036. [ необходима ссылка ] Особый интерес для транзитного сервера представляют:
- Message-ID - глобально уникальный ключ
- Группы новостей - список из одной или нескольких групп новостей, в которых должна быть опубликована статья.
- Распространение - (необязательно) дополнение к группам новостей, используемое для ограничения распространения статей.
- Дата - время создания статьи
- Путь - список серверов, через которые статья прошла на пути к локальному серверу.
- Истекает - (необязательно) время, когда требуется удалить статью
- Утверждено - (необязательно) указывает, что статья была принята в модерируемую группу новостей.
- Control - (необязательно) содержит запросы команд
В большинстве случаев отправляющий сервер контролирует процесс передачи товара. Он сравнивает группы новостей и распространение каждой вновь поступившей статьи с набором шаблонов, называемых новостными каналами , перечисляя каждый удаленный сервер и группы новостей, которые желает получать его оператор. Некоторые отправители также исследуют Путь; если принимающий сервер указан в этой строке, он не предлагается. Также могут быть добавлены другие местные правила. Отправитель передает идентификаторы сообщений совпадающих статей на принимающий сервер. Получатель указывает, какие идентификаторы сообщений еще не сохранены локально, и эти статьи отправляются. [2]
Принимающий сервер проверяет входящие статьи. Сообщение обычно отбрасывается, если идентификатор сообщения дублируется уже полученной статьей (т. Е. Другой сервер отправил его тем временем), строки Date или Expires указывают на то, что статья слишком старая, синтаксис заголовка кажется недопустимым, заголовок "Утверждено" отсутствует для модерируемой группы новостей или это запрещено дополнительными местными правилами. [ необходима цитата ] Большинство серверов также поддерживают список активных групп новостей. Если заголовок группы новостей новой статьи не соответствует активному списку, он может быть отброшен или помещен в специальную «нежелательную» группу новостей. После сохранения статьи сервер пытается повторно передать ее на любые серверы в своем собственном списке каналов новостей. [2]
Статьи с контрольными строками подвергаются особой обработке. Обычно они помещаются в специальные «контрольные» группы новостей и могут заставлять сервер автоматически выполнять исключительные действия. Эти newgroupи rmgroupкоманды могут вызывать группы новостей , которые будут созданы или удалены; checkgroupsможет использоваться для согласования локального активного списка с общепринятым набором; и cancelкоманды используются для запроса удаления определенной статьи. ihaveи sendmeиногда используются с UUCP для передачи списков предлагаемых и желаемых идентификаторов сообщений. Другие команды ( version, sendsysи uuname) - это запросы деталей конфигурации сервера. Когда-то они использовались для создания сетевых карт, теперь они вообще устарели. [2]
Сервер чтения [ править ]
Сервер чтения - это сервер, который делает статьи доступными в формате иерархической дисковой директории , созданной B News 2.10, или предлагает команды NNTP или IMAP для использования программами чтения новостей. Сервер чтения обычно также работает как транзитный сервер, но он может работать независимо или служить альтернативным интерфейсом для Интернет-форума . При получении новостей сервер этого типа должен выполнять дополнительные шаги по занесению статей в группы новостей и присвоению порядковых номеров внутри каждой группы. XrefОбычно добавляется строка, в которой перечислены все группы, в которых появляется сообщение, и порядковые номера. В отличие от идентификаторов сообщений, количество и порядок статей на каждом сервере будут отличаться; но связанные серверы могут принудительно согласиться, работая в подчиненном режиме, повторно используя строки внешних ссылок своих братьев и сестер. Серверы чтения обычно также поддерживают базу данных обзора новостей (NOV), которая позволяет программам чтения новостей быстро получать сводки сообщений и представлять сообщения в виде цепочек. [2]
Большинство серверов чтения поддерживают публикацию сообщений либо через NNTP, либо через специальную программу inews . [ необходима цитата ] Когда статья публикуется, процесс во многом такой же, как когда транзитный сервер получает новости, но с дополнительными проверками. Для публикации сервер обычно заполняет отсутствующие строки Path и Message-ID и проверяет синтаксис заголовков, предназначенных для чтения людьми, таких как From и Subject . Если статья размещена в модерируемой группе, сервер попытается отправить ее модератору группы новостей, если заголовок «Утверждено» отсутствует. На этом этапе также обычно применяются дополнительные проверки личности и фильтры. [2]
Гибридный или кеш-сервер [ править ]
Небольшие сайты с ограниченной пропускной способностью сети могут использовать «всасывающие» или кэширующие серверы. Они выполняют ту же роль сервера чтения, что и обычные серверы новостей, но сами действуют как программы чтения новостей для обмена статьями с другими серверами чтения. [ необходима цитата ] Гибридные серверы обеспечивают большую гибкость для оператора сервера в том, что полученные группы могут быть настроены без ручного вмешательства операторов. Они также могут быть единственными доступными средствами для получения статей с удаленных серверов, которые не предлагают традиционное кормление.
Поскольку гибридные серверы обычно используют функцию публикации для отправки новостей, заголовки статей переформатируются функцией публикации, и информация отслеживания может быть потеряна. Кроме того, отложенный процесс всасывания может привести к чрезмерной активности на серверах удаленных считывателей. По этим причинам использование гибридных серверов часто не рекомендуется или запрещается без предварительного согласования. [2]
См. Также [ править ]
- Список серверов новостей
Ссылки [ править ]
- ^ a b c Пегораро, Роб (30 января 1990 г.). «Usenet:« Другой »Интернет» . Вашингтон Пост . Проверено 28 июля, 2020 .
- ^ Б с д е е г ч я J K L МакДермотт, Джеймс; Филлипс, Джон (1 мая 1997 г.). Администрирование серверов новостей Usenet: подробное руководство по планированию, созданию и управлению новостными службами Интернета и интрасети . Эддисон-Уэсли. ISBN 020141967X.
- ^ «Объяснение подключений к серверу Usenet» . ТехСоно Инжиниринг . Проверено 28 июля, 2020 .
- ^ "Сохранение групп новостей Usenet" . Usenet.com . Проверено 28 июля, 2020 .
Внешние ссылки [ править ]
- Серверы Usenet в Curlie
- Серверы публичных новостей в Curlie
