Из Википедии, бесплатной энциклопедии
  (Перенаправлено из сегментированной загрузки )
Перейти к навигации Перейти к поиску

Сегментированная передача файлов (также известная как передача файлов из нескольких источников или копирующая передача файлов ) - это программный метод, предназначенный для повышения скорости загрузки файлов. Он работает путем одновременной загрузки разных частей компьютерного файла, полученного либо с нескольких серверов, либо с одного сервера, рекомбинируя части в один запрошенный файл. Так работает большинство приложений Download Manager.

История [ править ]

Сегментированные загрузки, вероятно, происходят от НАСА и файловых систем на основе магнитных лент , используемых на аппаратах Deep Space Network, например, в программе Voyager . Однако с 1960-х по 1980-е годы было много экспериментов с загрузкой, загрузкой (и синхронизацией) данных по полосе пропускания, ограничивавшей телекоммуникационные каналы большинством [ какие? ] пользователи мэйнфреймов. Таким образом, ранние истоки сегментированной загрузки исторически не ясны.

Понятно, что в некоторых миссиях НАСА используется какая-то техника сегментированной загрузки (либо для форматов файлов, либо для потоков данных):

Swarmcast была первой значительной одноранговой (P2P) системой доставки контента, которая реализовала своего рода технологию сегментированной загрузки. Программа и протокол были изобретены и разработаны в 1999 году Джастином Чапвеске и проданы Opencola, которая выпустила программное обеспечение под лицензией GPL .

Многие термины, используемые в технологии сегментированной загрузки, происходят от Swarmcast , при этом BitTorrent является единственным другим важным участником используемых терминов. [ необходима цитата ]

Сетевые последствия [ править ]

В этой анимации цветные полосы под всеми клиентами представляют отдельные части файла. После того, как начальные части передаются из семян, части индивидуально передаются от клиента к клиенту. Исходному сидеру необходимо отправить только одну копию файла, чтобы все клиенты получили копию.

Большинство IP-сетей предназначены для пользователей, которые загружают больше, чем загружают, обычно с ожидаемым соотношением (Загрузка: Загрузка) 3: 1 или более.

Сегментированная загрузка, когда ее используют только 20% пользователей Интернет-провайдера, может нарушить работу сети Интернет-провайдера до такой степени, что потребует существенного перепрограммирования маршрутизаторов и переосмысления дизайна сети .

  • Традиционная технология кэширования веб-объектов (например, прокси-сервер Squid ) здесь бесполезна.
  • Универсальное внедрение IPv6 также не может помочь, поскольку позволяет всем пользователям иметь фиксированные IP-адреса. Фиксированный IP-адрес не полностью решает проблемы таблицы маршрутизации, связанные с сегментированной загрузкой.
  • В типичных конфигурациях загрузки один пользователь может контактировать с 10–30 временными пользователями на файл, разбросанный по всему миру.
  • Таблицы IP-маршрутизаторов могут стать раздутыми из-за маршрутов к этим временным пользователям, что замедлит поиск в таблицах.

Сетевые преимущества [ править ]

  • Большие файлы могут быть эффективно доступны для многих других пользователей кем-то, у кого нет большой пропускной способности для загрузки.
  • Маршруты к более непонятным частям Интернета могут заявить о себе в большей части Интернета - это особенно верно для пользователей коммутируемого доступа.
  • Сегментированная загрузка действительно сохраняет некоторую пропускную способность, поскольку количество потерянных или избыточных мегабайт минимально по сравнению с потерей длительной загрузки по http или ftp.

Большинство интернет-провайдеров научились справляться с технологией сегментированной загрузки, но это означает обязательное развертывание технологии формирования трафика TCP / IP. [ необходима цитата ]

Ограничения [ править ]

Технология сегментированной загрузки не может волшебным образом решить все проблемы загрузки. Есть математические ограничения на эффективность технологии.

В группе пользователей с недостаточной пропускной способностью загрузки, когда спрос превышает предложение . Однако сегментированная загрузка может очень хорошо справляться с пиками трафика, а также может в некоторой степени позволить загрузчикам загружать файлы «чаще», чтобы лучше использовать свое соединение.

Проблемы с целостностью данных

  • Очень простые реализации технологии сегментированной загрузки часто могут приводить к разным уровням повреждения файла, поскольку часто невозможно узнать, все ли источники действительно загружают сегменты одного и того же файла.
  • Проблемы с повреждением данных привели к тому, что большинство программ используют сегментированную загрузку с использованием какой-либо контрольной суммы или алгоритма хеширования для обеспечения целостности файла (для получения файла в неповрежденном виде) и уникальности (для того, чтобы не получать биты других подобных файлов).
  • Обычно хэши MD5 и SHA-1 предпочтительны в большинстве протоколов сегментированной загрузки, но в большинстве случаев достаточно CRC-64-ECMA. В тех случаях , когда только MPEG файлы посылаются CRC-32-MPEG также будет приемлемым.
  • В будущем в большинстве технологий сегментированной загрузки, вероятно, будут использоваться многоуровневые хэши и контрольные суммы, такие как WHIRLPOOL , SHA-256 , SHA-512 и CRC-64-ECMA (для отдельных сегментов), чтобы бесспорно гарантировать целостность данных. MD5 и SHA-1 были определены как криптографически слабые в отношении защиты целостности данных. [ необходима цитата ]

Сегментированная загрузка [ изменить ]

Хотя в отношении BitTorrent и других протоколов распределенной передачи файлов нет никакой разницы между загрузкой и загрузкой (поскольку клиенты могут делать и то и другое) или какого-либо значимого различия между клиентом и сервером (поскольку оба они одинаковы), существуют некоторые сегментированные технологии загрузки. .

Системы связи на основе космического сегмента - единственные широко известные случаи, когда появились технологии сегментированной загрузки. В основном это связано с ограниченной полосой пропускания и другими ограничениями космического сегмента.

  • Протоколы загрузки программного обеспечения CCSDS имеют возможность сегментированной загрузки, но текущие развернутые системы не нуждались в протоколе, который использовался в большей степени, чем BitTorrent.
  • Спутниковые системы подписки с прямым подключением к дому, развернутые в Европе и Северной Америке, используют подход к обновлению программного обеспечения на устройствах клиентов путем отправки только нескольких байтов за раз (~ 2 КБ или меньше) в течение длительного периода времени. Как правило, эти подходы к сегментированной загрузке являются проприетарными и связаны с механизмом безопасности SIM- карты и подписки.

Что касается систем Direct To Home TV, использующих сегментированную загрузку, чтобы перехитрить «хакеров» - только SkyTV (Великобритания) и DirecTV (США), возможно, были связаны с возможностью сделать это или делали это в прошлом. Однако можно предположить, что любая современная массовая абонентская система MPEG2 DVB DTH может принимать обновления программного обеспечения со скоростью 8 Кбайт / день или меньше.

Примеры [ править ]

  • BitTorrent
  • Прямое подключение (обмен файлами)
  • Менеджер загрузки
  • eMule
  • iMule
  • Swarmcast
  • KaZaA
  • RetroShare
  • RevConnect
  • Metalink

См. Также [ править ]

  • Пирсинг
  • Пиринговый
  • Специальная беспроводная сеть