История кодирования текста: ASCII

Посчитать, сколько битов нужно на символ, умеет формула $N = 2^b$: для алфавита из 256 символов – 8 битов, один байт. Но формула молчит о главном: какой именно код достанется каждому символу. Букве «А» – код 192? 225? 65?

Ответ невозможно вывести математически, потому что правильного ответа нет. Есть только договорённость.

Кодировка (кодовая таблица) – соглашение о том, какому символу какой числовой код соответствует.

Причём договориться нужно обеим сторонам сразу. Память хранит не буквы, а числа (урок 5.1): в ячейке лежит 11001111, и сама по себе эта восьмёрка битов не значит ничего. Буквой её делает таблица, по которой её читают. Тот, кто пишет, и тот, кто читает, обязаны пользоваться одной и той же таблицей – иначе получится ровно то, что в начале урока.

Задача кодирования старше компьютеров почти на век – первым её решил телеграф.

Код Морзе (1830-е, Сэмюэл Морзе и Альфред Вейл; международный вариант закрепили в 1865 году) был неравномерным: частой английской букве E досталась одна точка, редкой Q – четыре знака. Экономно, но декодировал такой код человек на слух: между буквами нужны паузы, иначе непонятно, где кончается одна и начинается другая. Машине с этим работать трудно – почему именно, разберём в уроке 7.4.

Код Бодо (Эмиль Бодо, патент 1874 года) устроен уже по-компьютерному: равномерный, ровно 5 битов на символ. Отсюда, кстати, и единица скорости передачи – бод. Но $2^5 = 32$ комбинации: 26 латинских букв влезают, а цифры и знаки препинания – уже нет. Выкрутились переключением «регистров»: специальный символ сообщал, что дальше таблица читается по-другому. Костыль работал, но текст, в котором потерялся один такой переключатель, превращался в мусор до конца строки.

Вывод, с которым подошли к эпохе ЭВМ: пяти битов мало, нужна одна общая таблица без переключений.

ASCII (American Standard Code for Information Interchange, «американский стандартный код для обмена информацией») – 7-битная кодировка на 128 символов, опубликованная в 1963 году.

Разрабатывал её комитет X3.2 Американской ассоциации стандартов; работа была коллективной, хотя из участников чаще всего вспоминают Роберта Бемера. В первой редакции 1963 года строчных букв ещё не было – их добавила редакция 1967 года, и в таком виде таблица дожила до наших дней.

Семь битов дают $2^7 = 128$ кодов, и распределены они так:

Первые 32 кода – не буквы, а команды устройству: телетайп получал код 10 и прокручивал бумагу на строку, получал 13 – возвращал печатающую головку в начало строки. Отсюда, между прочим, тянется различие, живое до сих пор: в Windows конец строки в текстовом файле – два байта (13 и 10), в Linux и macOS – один (10). Разные потомки одной телетайпной привычки.

И сразу заметьте, чего в таблице нет: русских букв. И немецких умляутов, и французских акцентов. ASCII – стандарт американский, про остальной мир в нём не подумали.

Коды в ASCII расставлены так, чтобы программисту было удобно считать. Три решения, которые видно невооружённым глазом.

1. Цифры лежат подряд с кода 48. Значит, из символа цифры её значение получается вычитанием: код '7' минус код '0' = 55 − 48 = 7. В шестнадцатеричной записи ещё нагляднее: '0' = 0x30, '7' = 0x37 – младшая шестнадцатеричная цифра и есть само число.

2. Буквы идут подряд и в алфавитном порядке. Поэтому сравнение кодов работает как сравнение по алфавиту, а сортировка списка слов не требует никакой отдельной таблицы порядка.

3. 'A' = 65, 'a' = 97 – разница ровно 32. Это не совпадение: $32 = 2^5$, то есть заглавная и строчная буквы отличаются одним-единственным битом – пятым, если считать разряды с нуля.

'A' = 65 = 0100 0001
'a' = 97 = 0110 0001
             ^ вот он

Смена регистра из блока 6 выглядит так: 65 | 32 даёт 97 (в строчную), 97 & ~32 даёт 65 (в заглавную). Одна побитовая операция вместо таблицы соответствий – в 1960-е, когда на счету был каждый такт, это был весомый аргумент.

И напоследок объяснение странности: почему DEL, «удалить», получил код 127 – самый последний? Потому что 127 – это 1111111, все единицы. Тексты набивали на перфоленте, и чтобы отменить ошибочный символ, дырокол просто пробивал все отверстия в позиции: вернуть непробитое отверстие нельзя, а добить остальные можно.

Память адресуется байтами – по 8 битов (урок 5.1). ASCII занимает семь. Куда девался восьмой?

Сначала он был при деле: его использовали как бит чётности при передаче по линии связи. Отправитель ставил его так, чтобы общее число единиц в байте было чётным; получатель пересчитывал и, если чётность не сошлась, знал, что байт по дороге исказился. Простая и дешёвая защита от помех.

Но линии становились надёжнее, а вместе с этим всё заметнее делалась арифметика: в байте 256 комбинаций, ASCII занимает 128, вторая половина свободна. Ровно 128 пустых мест – и всё это в мире, где половина языков в ASCII не влезает вовсе.

Соблазн оказался непреодолимым.

Решение напрашивалось: коды 0–127 оставляем как в ASCII (латиница везде работает одинаково – вот почему английский текст никогда не ломается), а верхнюю половину, 128–255, каждая страна отдаёт под свой алфавит.

Кодовая страница – однобайтовая кодировка, у которой нижняя половина совпадает с ASCII, а верхние 128 позиций отведены под символы конкретного языка.

Идея хорошая ровно до одного вопроса: а кто решает, как именно расставить буквы в верхней половине? Единого органа не было, и для русского языка получилось несколько независимых ответов:

• KOI8-R – выросла из советского стандарта, стала основной в раннем рунете и в Unix;
• Windows-1251 – кодовая страница Microsoft, господствовала в русском Windows и на сайтах 1990–2000-х;
• CP866 – «альтернативная» кодировка русского MS-DOS;
• ISO 8859-5 – международный стандарт, у нас почти не прижившийся;
• MacCyrillic – своя у компьютеров Apple.

Пять таблиц. Один язык. Причём все пять – не ошибка и не небрежность: у каждой была своя причина, и две из них стоит разобрать подробно.

Буквы в KOI8-R расставлены не по алфавиту, и с первого взгляда это выглядит как бессмыслица: а = 0xC1, б = 0xC2, ц = 0xC3, д = 0xC4…

Логика открывается, если сбросить у кода старший бит:

Каждая русская буква стоит там, где латинская буква с похожим звучанием. Слово «привет», записанное в KOI8-R и потерявшее восьмой бит у каждого байта, превращается в PRIWET – не по-русски, но читаемо.

Это было не украшение, а страховка. В ранних сетях и почтовых шлюзах восьмой бит часто обрезали – и текст в KOI8-R после такой обрезки не погибал, а превращался в транслит. Родственная таблица КОИ-8 стандартизирована ещё ГОСТ 19768-74, а вариант KOI8-R («R» – Russian) зафиксировал в 1993 году в RFC 1489 Андрей Чернов.

Цена решения: русский алфавит в таблице лежит вперемешку, поэтому сортировка слов по кодам даёт не алфавитный порядок, а мусор.

Microsoft решила ту же задачу с противоположного конца: расставить кириллицу строго по алфавиту, подряд.

• А = 192, Б = 193, … Я = 223;
• а = 224, б = 225, … я = 255.

Заглавные буквы занимают ровно 32 позиции, строчные – следующие 32. И тут повторяется трюк ASCII: А и а снова отличаются на 32, то есть на один бит. Сортировка по кодам работает как алфавитная, проверка «это русская буква?» сводится к сравнению $192 \le c \le 255$, где $c$ – код байта. Ради этого пожертвовали совместимостью с обрезкой восьмого бита – к середине 1990-х она уже мало кого волновала.

Одна заноза всё же осталась: букве Ё места в непрерывном блоке не хватило – в русском алфавите 33 буквы, а ровные «по 32» позиции просят именно 32. Её выселили отдельно: Ё = 168, ё = 184. Поэтому «диапазон 192–255» – почти правда, и код, который проверяет русские буквы этим диапазоном, на слове «ёжик» спотыкается.

Для сравнения, в CP866 кириллица разорвана даже не на два, а на три куска: середину таблицы там заняла псевдографика – символы рамок ╔ ═ ╝, из которых в текстовом режиме DOS рисовали окна и меню.

Соберём главное следствие в одну таблицу. Возьмём несколько байтов и прочитаем каждый по всем четырём таблицам:

Последняя строка – та самая причина, по которой английский текст не ломается: в нижней половине все таблицы совпадают. А вот в верхней один и тот же байт 0xF0 – это три разные буквы, и в самом байте нет ни намёка на то, какая из них имелась в виду.

Теперь можно вернуться к началу урока и разобрать тот случай по байтам.

Слово «Привет» записали в Windows-1251 – на диск легли шесть байтов:

CF F0 E8 E2 E5 F2

Файл открыли программой, которая считает, что текст в KOI8-R. Она честно берёт каждый байт и ищет его в своей таблице: 0xCF → о, 0xF0 → П, 0xE8 → Х, 0xE2 → Б, 0xE5 → Е, 0xF2 → Р. Получается оПХБЕР.

Ошибки не было ни у кого. Байты записаны верно, прочитаны верно, потерь при передаче нет. Разошлись только таблицы – а обычный текстовый файл не хранит внутри себя название своей кодировки. Это просто последовательность байтов; кодировка живёт в голове у того, кто файл открывает (или в заголовке письма, или в теге <meta charset> на веб-странице – и если там указано неправильно, случается ровно то же самое).

Работает и в обратную сторону: «Привет» в KOI8-R – это байты F0 D2 C9 D7 C5 D4, и Windows-1251 покажет их как рТЙЧЕФ.

Отсюда практический вывод: «кракозябры» – не порча данных, а неверная интерпретация. Файл почти всегда можно спасти, если угадать исходную таблицу. По самому виду мусора опытный глаз даже определял кодировку: рТЙЧЕФ – значит, писали в KOI8-R, читают в Windows-1251.

encode превращает строку в байты по указанной таблице, decode – обратно. Строка в Python – это символы, а байты – то, что реально уходит в файл или в сеть; между ними всегда стоит какая-то кодировка, названная явно или взятая по умолчанию. К этой паре методов мы вернёмся в уроке 7.3, когда появится UTF-8.

Схема «каждому языку своя верхняя половина» продержалась около двадцати лет и упёрлась в три стены.

Стена первая: в одном документе – только один язык. Русский и греческий текст рядом набрать невозможно: они претендуют на одни и те же коды 128–255. Словарь, учебник иностранного, да просто цитата – уже проблема.

Стена вторая: даже для одного языка таблиц несколько. Пять русских кодировок означали, что каждая программа обязана уметь угадывать и конвертировать, а каждый обмен файлами – это лотерея. Браузеры 1990-х не зря носили в меню пункт «Кодировка» с десятком вариантов: угадать автоматически удавалось не всегда, и пользователь перебирал их вручную.

Стена третья: 256 мест хватает не всем. В китайском письме десятки тысяч иероглифов – в байт они не влезают в принципе. Пришлось изобретать двухбайтовые кодировки: Shift-JIS в Японии, GB2312 в Китае, Big5 на Тайване, EUC-KR в Корее. Каждая со своими правилами, и все несовместимые между собой. Кстати, международное название эффекта из начала урока пришло именно оттуда: японское mojibake (文字化け) – «превращение символов».

Вывод, к которому мир шёл всю эпоху кодовых страниц, звучит просто: пока таблиц много, конфликт неизбежен. Нужна одна таблица на все письменности сразу.