Из Википедии, бесплатной энциклопедии
Перейти к навигации Перейти к поиску
Специальные
КлассифицироватьU + FFF0..U + FFFF
(16 кодовых точек)
СамолетBMP
СкриптыОбщий
Назначенный5 кодовых точек
Неиспользованный9 зарезервированных кодовых точек
2 несимвола
История версий Unicode
1.0.01 (+1)
2.12 (+1)
3.05 (+3)
Примечание : [1] [2]

Specials - это короткий блок Unicode, расположенный в самом конце базовой многоязычной плоскости в U + FFF0 – FFFF. Из этих 16 кодовых точек пять были присвоены начиная с Unicode 3.0:

  • U + FFF9 МЕЖЛИНЕЙНЫЙ ЯКОРЬ АННОТАЦИИ , отмечает начало аннотированного текста
  • U + FFFA МЕЖЛИНЕЙНЫЙ СЕПАРАТОР АННОТАЦИИ , отмечает начало аннотирующего символа (ов)
  • U + FFFB ИНТЕРЛИНЕЙНЫЙ ТЕРМИНАТОР АННОТАЦИИ , отмечает конец блока аннотации
  • U + FFFC  СИМВОЛ ЗАМЕНЫ ОБЪЕКТА , заполнитель в тексте для другого неуказанного объекта, например, всоставном документе.
  • U + FFFD ЗАМЕНА СИМВОЛОВ используется для замены неизвестного, непризнанных или непредставимо характер
  • U + FFFE <noncharacter-FFFE> не символ.
  • U + FFFF <noncharacter-FFFF> не символ.

FFFE и FFFF не являются неназначенными в обычном смысле, но гарантированно не являются символами Unicode . Их можно использовать, чтобы угадать схему кодировки текста, поскольку любой текст, содержащий их, по определению не является правильно закодированным текстом Unicode. Символ Unicode U + FEFF BYTE ORDER MARK может быть вставлен в начало текста Unicode, чтобы обозначить его порядок следования байтов : программа, читающая такой текст и обнаруживающая 0xFFFE, будет знать, что она должна переключить порядок байтов для всех следующих символов.

Его имя блока в Unicode 1.0 было Special . [3]

Замещающий символ [ править ]

Замещающий персонаж

Символ замены (часто отображается как черный алмаз с белым вопросительным знаком) является символом найден в Unicode стандарта на код точки U + FFFD в Specials таблице. Он используется для обозначения проблем, когда система не может преобразовать поток данных в правильный символ. Обычно это видно, когда данные недействительны и не соответствуют ни одному символу:

Рассмотрим текстовый файл, содержащий немецкое слово für (что означает «для») в кодировке ISO-8859-1 ( 0x66 0xFC 0x72). Теперь этот файл открывается в текстовом редакторе, предполагающем, что вводится в кодировке UTF-8 . Первый и последний байт являются допустимыми кодировками UTF-8 для ASCII, но средний байт ( 0xFC) не является допустимым байтом в UTF-8. Следовательно, текстовый редактор может заменить этот байт символом замены, чтобы создать допустимую строку кодовых точек Unicode . Теперь вся строка выглядит так: «f r».

Плохо реализованный текстовый редактор может сохранить замену в форме UTF-8; тогда данные текстового файла будут выглядеть следующим образом:, 0x66 0xEF 0xBF 0xBD 0x72который будет отображаться в ISO-8859-1 как «f�r» (это называется моджибаке ). Поскольку замена одинакова для всех ошибок, восстановить исходный символ невозможно. Лучше (но труднее реализовать) дизайн - сохранить исходные байты, включая ошибку, и преобразовать в замену только при отображении текста. Это позволит текстовому редактору сохранить исходную последовательность байтов, по-прежнему показывая пользователю индикатор ошибки.

Когда-то заменяющий символ часто использовался, когда в шрифте не было глифа для этого символа. Однако большинство современных систем визуализации текста вместо этого используют символ шрифта .notdef , который в большинстве случаев представляет собой пустое поле (или «?» Или «X» в поле [4] ), иногда называемый « тофу » (этот браузер отображает? ???). Для этого символа нет кода Unicode.

Таким образом, заменяющий символ теперь виден только для ошибок кодирования, таких как недопустимый UTF-8. Некоторое программное обеспечение пытается скрыть это, переводя байты недопустимого UTF-8 в совпадающие символы в Windows-1252 (поскольку это наиболее вероятный источник этих ошибок), так что заменяющий символ никогда не виден.

Диаграмма Юникода [ править ]

Специальные предложения [1] [2] [3]
Официальная таблица кодов Консорциума Unicode (PDF)
 0123456789АBCDEF
U + FFFx IA 
A		 IA 
S		 IA 
T		
Примечания
1. ^ Начиная с версии Unicode 13.0
2. ^ Серые области обозначают неназначенные кодовые точки.
3. ^ Черные области обозначают несимволы (кодовые точки, которые, как гарантируется, никогда не будут назначены как закодированные символы в стандарте Unicode)

История [ править ]

Следующие документы, относящиеся к Unicode, фиксируют цель и процесс определения определенных символов в блоке Specials:

ВерсияОкончательные коды [a]Считать Идентификатор UTCL2  ID ID WG2Документ
1.0.0U + FFFD1(быть определенным)
U + FFFE..FFFF2(быть определенным)
L2 / 01-295RМур, Лиза (2001-11-06), "Движение 88-M2", протокол встречи UTC / L2 # 88
L2 / 01-355N2369 (HTML , doc )Дэвис, Марк (26 сентября 2001 г.), Запрос на разрешение FFFF, FFFE в UTF-8 в тексте ISO / IEC 10646
L2 / 02-154N2403Умамахесваран, VS (2002-04-22), "9.3 Разрешение FFFF и FFFE в UTF-8", проект протокола заседания 41 WG 2, отель Phoenix, Сингапур, 15 октября 2001 г.
2.1U + FFFC1UTC / 1995-056Сарджент, Мюррей (1995-12-06), Рекомендация кодировать символ WCH_EMBEDDING
UTC / 1996-002Алипранд, Жанна; Харт, Эдвин; Гринфилд, Стив (1996-03-05), «Встроенные объекты», UTC # 67 минут
N1365Сарджент, Мюррей (1996-03-18), Краткое изложение предложения - Персонаж, заменяющий объект
N1353Умамахесваран, ВС; Ксар, Майк (1996-06-25), "8.14", проект протокола совещания WG2 в Копенгагене № 30
L2 / 97-288N1603Умамахесваран, ВС (1997-10-24), "7.3", неподтвержденный протокол заседания, РГ 2, заседание № 33, Ираклион, Крит, Греция, 20 июня - 4 июля 1997 г.
L2 / 98-004RN1681Текст ISO 10646 - AMD 18 для регистрации PDAM и бюллетеня FPDAM, 1997-12-22
L2 / 98-070Алипранд, Жанна; Винклер, Арнольд, "Дополнительные комментарии относительно 2.1", Протокол совместной встречи UTC и L2 встречи в Купертино, 25-27 февраля 1998 г.
L2 / 98-318N1894Пересмотренный текст 10646-1 / FPDAM 18, ПОПРАВКА 18: Символы и прочее , 1998-10-22
3.0U + FFF9..FFFB3L2 / 97-255RАлипранд, Джоан (1997-12-03), "3.D Proposal for In-Line Notation (ruby)", Approved Minutes - UTC # 73 & L2 # 170 совместное заседание, Пало-Альто, Калифорния - 4-5 августа 1997 г.
L2 / 98-055Фрейтаг, Асмус (1998-02-22), Поддержка реализации встроенных и подстрочных аннотаций
L2 / 98-070Алипранд, Жанна; Винклер, Арнольд, «3.C.5. Поддержка реализации встроенных и подстрочных аннотаций», Протокол совместной встречи в формате UTC и L2 на встрече в Купертино, 25-27 февраля 1998 г.
L2 / 98-099N1727Фрейтаг, Асмус (1998-03-18), Поддержка внедрения подстрочных аннотаций, используемых в восточноазиатской типографике
L2 / 98-158Алипранд, Жанна; Винклер, Арнольд (1998-05-26), "Встроенные и подстрочные аннотации", проект протокола - совместное заседание подгруппы L2 # 173 UTC № 76 и NCITS, Тредифрин, Пенсильвания, 20-22 апреля 1998 г.
L2 / 98-286N1703Умамахесваран, ВС; Ксар, Майк (1998-07-02), «8.14», неподтвержденный протокол собрания, РГ 2, собрание № 34, Редмонд, Вашингтон, США; 1998-03-16-20
L2 / 98-270Хиура, Хидеки; Кобаяси, Тацуо (1998-07-29), Предложение по встроенной и подстрочной аннотации
L2 / 98-281R (pdf , html )Алипранд, Джоан (1998-07-31), «Встроенная и подстрочная аннотация (III.C.1.c)», неподтвержденные протоколы - UTC № 77 и NCITS подгруппа L2 № 174 СОВМЕСТНОЕ ВСТРЕЧА, Редмонд, Вашингтон - июль 29-31, 1998 г.
L2 / 98-363N1861Сато, Т.К. (1998-09-01), Рубиновые маркеры
L2 / 98-372N1884R2 (pdf , doc )Уистлер, Кен; и другие. (1998-09-22), Дополнительные персонажи для UCS
L2 / 98-416N1882.zipПоддержка внедрения подстрочных аннотаций , 23 сентября 1998 г.
L2 / 98-329N1920Комбинированный бюллетень регистрации и рассмотрения PDAM на WD для ISO / IEC 10646-1 / Amd. 30, ПОПРАВКА 30: Дополнительные латинские и другие символы , 1998-10-28
L2 / 98-421RSuignard, Мишель; Хиура, Хидеки (1998-12-04), Заметки о подстрочных аннотационных символах PDAM 30
L2 / 99-010N1903 (pdf , html , doc )Умамахесваран, ВС (1998-12-30), "8.2.15", Протокол заседания РГ 2 № 35, Лондон, Великобритания; 1998-09-21-25
L2 / 98-419 (pdf , doc )Алипранд, Джоан (1999-02-05), «Подстрочные символы аннотации», утвержденный протокол - UTC № 78 и NCITS Subgroup L2 № 175 Совместное совещание, Сан-Хосе, Калифорния - 1-4 декабря 1998 г.
UTC / 1999-021Дюрст, Мартин; Босак, Джон (1999-06-08), инструкция W3C XML CG для символов аннотации
L2 / 99-176RМур, Лиза (1999-11-04), "Заявление о взаимодействии W3C по аннотационным персонажам", Протоколы совместной встречи UTC / L2 в Сиэтле, 8-10 июня 1999 г.
L2 / 01-301Уистлер, Кен (2001-08-01), «E. Обозначено как« настоятельно не рекомендуется »для обмена обычным текстом», Анализ устаревания символов в стандарте Unicode
  1. ^ Предлагаемые кодовые точки и имена символов могут отличаться от окончательных кодовых точек и имен.

См. Также [ править ]

  • Управляющие символы Unicode

Ссылки [ править ]

  1. ^ "База данных символов Юникода" . Стандарт Юникода . Проверено 9 июля 2016 .
  2. ^ «Нумерованные версии стандарта Unicode» . Стандарт Юникода . Проверено 9 июля 2016 .
  3. ^ «3.8: Блок-за-блок-схемы» (PDF) . Стандарт Юникода . версия 1.0. Консорциум Unicode .
  4. ^ «Рекомендации для шрифтов OpenType (OpenType 1.7) - Типографика» . docs.microsoft.com . Проверено 18 октября 2020 года .