В этой статье не процитировать какие - либо источники . ( октябрь 2008 г. ) ( Узнайте, как и когда удалить этот шаблон сообщения ) |
Сегментированная передача файлов (также известная как передача файлов из нескольких источников или копирующая передача файлов ) - это программный метод, предназначенный для повышения скорости загрузки файлов. Он работает путем одновременной загрузки разных частей компьютерного файла, полученного либо с нескольких серверов, либо с одного сервера, рекомбинируя части в один запрошенный файл. Так работает большинство приложений Download Manager.
История [ править ]
Сегментированные загрузки, вероятно, происходят от НАСА и файловых систем на основе магнитных лент , используемых на аппаратах Deep Space Network, например, в программе Voyager . Однако с 1960-х по 1980-е годы было много экспериментов с загрузкой, загрузкой (и синхронизацией) данных по полосе пропускания, ограничивавшей телекоммуникационные каналы большинством [ какие? ] пользователи мэйнфреймов. Таким образом, ранние истоки сегментированной загрузки исторически не ясны.
Понятно, что в некоторых миссиях НАСА используется какая-то техника сегментированной загрузки (либо для форматов файлов, либо для потоков данных):
- Марсоходы (для файлов изображений ICER )
- New Horizons (для данных облетов Юпитера )
- Программа "Вояджер" (историческая)
Swarmcast была первой значительной одноранговой (P2P) системой доставки контента, которая реализовала своего рода технологию сегментированной загрузки. Программа и протокол были изобретены и разработаны в 1999 году Джастином Чапвеске и проданы Opencola, которая выпустила программное обеспечение под лицензией GPL .
Многие термины, используемые в технологии сегментированной загрузки, происходят от Swarmcast , при этом BitTorrent является единственным другим важным участником используемых терминов. [ необходима цитата ]
Сетевые последствия [ править ]
Большинство IP-сетей предназначены для пользователей, которые загружают больше, чем загружают, обычно с ожидаемым соотношением (Загрузка: Загрузка) 3: 1 или более.
Сегментированная загрузка, когда ее используют только 20% пользователей Интернет-провайдера, может нарушить работу сети Интернет-провайдера до такой степени, что потребует существенного перепрограммирования маршрутизаторов и переосмысления дизайна сети .
- Традиционная технология кэширования веб-объектов (например, прокси-сервер Squid ) здесь бесполезна.
- Универсальное внедрение IPv6 также не может помочь, поскольку позволяет всем пользователям иметь фиксированные IP-адреса. Фиксированный IP-адрес не полностью решает проблемы таблицы маршрутизации, связанные с сегментированной загрузкой.
- В типичных конфигурациях загрузки один пользователь может контактировать с 10–30 временными пользователями на файл, разбросанный по всему миру.
- Таблицы IP-маршрутизаторов могут стать раздутыми из-за маршрутов к этим временным пользователям, что замедлит поиск в таблицах.
Сетевые преимущества [ править ]
- Большие файлы могут быть эффективно доступны для многих других пользователей кем-то, у кого нет большой пропускной способности для загрузки.
- Маршруты к более непонятным частям Интернета могут заявить о себе в большей части Интернета - это особенно верно для пользователей коммутируемого доступа.
- Сегментированная загрузка действительно сохраняет некоторую пропускную способность, поскольку количество потерянных или избыточных мегабайт минимально по сравнению с потерей длительной загрузки по http или ftp.
Большинство интернет-провайдеров научились справляться с технологией сегментированной загрузки, но это означает обязательное развертывание технологии формирования трафика TCP / IP. [ необходима цитата ]
Ограничения [ править ]
Технология сегментированной загрузки не может волшебным образом решить все проблемы загрузки. Есть математические ограничения на эффективность технологии.
В группе пользователей с недостаточной пропускной способностью загрузки, когда спрос превышает предложение . Однако сегментированная загрузка может очень хорошо справляться с пиками трафика, а также может в некоторой степени позволить загрузчикам загружать файлы «чаще», чтобы лучше использовать свое соединение.
Проблемы с целостностью данных
- Очень простые реализации технологии сегментированной загрузки часто могут приводить к разным уровням повреждения файла, поскольку часто невозможно узнать, все ли источники действительно загружают сегменты одного и того же файла.
- Проблемы с повреждением данных привели к тому, что большинство программ используют сегментированную загрузку с использованием какой-либо контрольной суммы или алгоритма хеширования для обеспечения целостности файла (для получения файла в неповрежденном виде) и уникальности (для того, чтобы не получать биты других подобных файлов).
- Обычно хэши MD5 и SHA-1 предпочтительны в большинстве протоколов сегментированной загрузки, но в большинстве случаев достаточно CRC-64-ECMA. В тех случаях , когда только MPEG файлы посылаются CRC-32-MPEG также будет приемлемым.
- В будущем в большинстве технологий сегментированной загрузки, вероятно, будут использоваться многоуровневые хэши и контрольные суммы, такие как WHIRLPOOL , SHA-256 , SHA-512 и CRC-64-ECMA (для отдельных сегментов), чтобы бесспорно гарантировать целостность данных. MD5 и SHA-1 были определены как криптографически слабые в отношении защиты целостности данных. [ необходима цитата ]
Сегментированная загрузка [ изменить ]
Хотя в отношении BitTorrent и других протоколов распределенной передачи файлов нет никакой разницы между загрузкой и загрузкой (поскольку клиенты могут делать и то и другое) или какого-либо значимого различия между клиентом и сервером (поскольку оба они одинаковы), существуют некоторые сегментированные технологии загрузки. .
Системы связи на основе космического сегмента - единственные широко известные случаи, когда появились технологии сегментированной загрузки. В основном это связано с ограниченной полосой пропускания и другими ограничениями космического сегмента.
- Протоколы загрузки программного обеспечения CCSDS имеют возможность сегментированной загрузки, но текущие развернутые системы не нуждались в протоколе, который использовался в большей степени, чем BitTorrent.
- Спутниковые системы подписки с прямым подключением к дому, развернутые в Европе и Северной Америке, используют подход к обновлению программного обеспечения на устройствах клиентов путем отправки только нескольких байтов за раз (~ 2 КБ или меньше) в течение длительного периода времени. Как правило, эти подходы к сегментированной загрузке являются проприетарными и связаны с механизмом безопасности SIM- карты и подписки.
Что касается систем Direct To Home TV, использующих сегментированную загрузку, чтобы перехитрить «хакеров» - только SkyTV (Великобритания) и DirecTV (США), возможно, были связаны с возможностью сделать это или делали это в прошлом. Однако можно предположить, что любая современная массовая абонентская система MPEG2 DVB DTH может принимать обновления программного обеспечения со скоростью 8 Кбайт / день или меньше.
Примеры [ править ]
- BitTorrent
- Прямое подключение (обмен файлами)
- Менеджер загрузки
- eMule
- iMule
- Swarmcast
- KaZaA
- RetroShare
- RevConnect
- Metalink
См. Также [ править ]
- Пирсинг
- Пиринговый
- Специальная беспроводная сеть