Из Википедии, бесплатной энциклопедии
Перейти к навигации Перейти к поиску

Корпус Калгари - это набор текстовых и двоичных файлов данных , обычно используемых для сравнения алгоритмов сжатия данных . Он был создан Яном Виттеном , Тимом Беллом и Джоном Клири из Университета Калгари в 1987 году и широко использовался в 1990-х годах. В 1997 году он был заменен на корпус Кентерберийский , [1] на основе заботы о том , как репрезентативна корпус Калгари был, [2] , но корпус Калгари все еще существует для сравнения и по - прежнему полезно для его первоначально предназначенной цели.

Содержание [ править ]

В наиболее часто используемом виде корпус состоит из 14 файлов общим размером 3 141 622 байта, как показано ниже.

Размер (байты)Имя файлаОписание
111 261BIBТекст ASCII в формате UNIX « ссылается » - 725 библиографических ссылок.
768 771КНИГА1неформатированный текст ASCII - Томас Харди: Вдали от обезумевшей толпы.
610 856КНИГА2Текст ASCII в формате UNIX " troff " - Виттен: Принципы компьютерной речи.
102 400GEO32-битные числа в формате IBM с плавающей запятой - сейсмические данные.
377 109НОВОСТИТекст ASCII - командный файл USENET по различным темам.
21 504OBJ1Исполняемая программа VAX - компиляция PROGP.
246 814OBJ2Исполняемая программа Macintosh - «Система поддержки знаний».
53 161БУМАГА1Формат UNIX "troff" - Виттен, Нил, Клири: арифметическое кодирование для сжатия данных.
82 199БУМАГА2Формат UNIX "troff" - Виттен: компьютерная (не) безопасность.
513 216ПОСРастровое изображение 1728 x 2376 (сначала MSB): текст на французском языке и линейные диаграммы.
39 611PROGCИсходный код на C - UNIX compress v4.0.
71 646ПРОГЛИсходный код на Лиспе - системное ПО.
49 379PROGPИсходный код на Паскале - программа для оценки сжатия PPM.
93 695ТРАНСASCII и управляющие символы - стенограмма терминальной сессии.

Существует также менее часто используемая версия из 18 файлов, которая включает 4 дополнительных текстовых файла в формате «troff» UNIX, от PAPER3 до PAPER6.

Контрольные показатели [ править ]

Корпус Калгари был широко используемым эталоном для сжатия данных в 1990-х годах. Чаще всего результаты приводились в битах на байт (бит / байт) для каждого файла, а затем суммировались путем усреднения. В последнее время было принято просто добавлять сжатые размеры всех файлов. Это называется средневзвешенным значением, потому что оно эквивалентно взвешиванию коэффициентов сжатия по исходным размерам файлов. Тест UCLC [3] Йохана де Бока использует этот метод.

Для некоторых компрессоров данных можно уменьшить корпус путем объединения входных данных в несжатый архив (например, файл tar ) перед сжатием из-за взаимной информации между текстовыми файлами. В других случаях компрессия хуже, потому что компрессор плохо обрабатывает неоднородную статистику. Этот метод использовался в тесте в онлайн-книге Мэтта Махони « Сжатие данных ». [4]

В таблице ниже показаны сжатые размеры корпуса из 14 файлов Калгари с использованием обоих методов для некоторых популярных программ сжатия. Параметры, если они используются, позволяют выбрать наилучшее сжатие. Более полный список см. В приведенных выше тестах.

КомпрессорОпцииВ виде 14 отдельных файловКак файл tar
Несжатый3 141 6223,152,896
компресс1 272 7721,319,521
Info-ZIP 2.32-91 020 7811 023 042
gzip 1.3.5-91 017 6241 022 810
bzip2 1.0.3-9828 347860 097
7-молния 9.12b848 687824 573
ppmd Jr1-m256 -o16740 737754 243
ppmonstr J675 485669 497
ZPAQ v7.15-метод 5659 709659 853

Проблема сжатия [ править ]

Конкурс "Сжатие корпуса Калгари и вызов трещины SHA-1 " [5] - это конкурс, начатый Леонидом Броухисом 21 мая 1996 года для сжатия 14-файловой версии корпуса Калгари. Конкурс предлагает небольшой денежный приз, размер которого со временем менялся. В настоящее время приз составляет 1 доллар США за улучшение предыдущего результата на 111 байт.

Согласно правилам конкурса, заявка должна состоять как из сжатых данных, так и из программы декомпрессии, упакованных в один из нескольких стандартных архивных форматов. Ограничения по времени и памяти, форматы архивов и языки декомпрессии со временем были ослаблены. В настоящее время программа должна работать в течение 24 часов на машине с 2000 MIPS под Windows или Linux и использовать менее 800 МБ памяти. SHA-1 задача была добавлена позднее. Это позволяет программе декомпрессии выводить файлы, отличные от корпуса Калгари, при условии, что они имеют те же значения, что и исходные файлы. Пока эта часть задачи не решена.

Первая полученная запись была 759 881 байт в сентябре 1997 года Малкольмом Тейлором, автором RK и WinRK. Самая последняя запись была сделана Александром Ратушняком 2 июля 2010 г. 580 170 байт. Запись состоит из сжатого файла размером 572 465 байт и программы распаковки, написанной на C ++ и сжатой до 7700 байт как переменная PPMd. Я архивирую плюс 5 байтов для имени и размера сжатого файла. История такова.

Размер (байты)Месяц годАвтор
759 88109/1997Малкольм Тейлор
692 15408/2001Максим Смирнов
680 55809/2001Максим Смирнов
653 72011/2002Серж Воскобойников
645 66701/2004Мэтт Махони
637 11604/2004Александр Ратушняк
608 98012/2004Александр Ратушняк
603 41604/2005Пшемыслав Скибински
596 31410/2005Александр Ратушняк
593 62012/2005Александр Ратушняк
589 86305/2006Александр Ратушняк
580 17007/2010Александр Ратушняк

См. Также [ править ]

  • Сравнение файловых архиваторов

Ссылки [ править ]

  1. ^ Ян Х. Виттен; Алистер Моффат; Тимоти С. Белл (1999). Управление гигабайтами: сжатие и индексирование документов и изображений . Морган Кауфманн. п. 92.
  2. ^ Саломон, Дэвид (2007). Сжатие данных: полный справочник (четвертое изд.). Springer. п. 12. ISBN 9781846286032.
  3. ^ http://uclc.info/calgary_corpus_compression_test.htm
  4. ^ http://mattmahoney.net/dc/dce.html#Section_214
  5. ^ http://mailcom.com/challenge/

Внешние ссылки [ править ]

  • Оригинальный дом Калгари Корпус
  • Новый дом
  • Белл, Виттен и Клири, 1988 г.
  • Информация о Калгари Корпус
  • Сжатие корпуса Калгари и вызов трещины SHA-1