Если UTF-8 является 8-битной кодировкой, зачем ей нужны 1-4 байта?

абсолютный минимум каждый разработчик программного обеспечения абсолютно, положительно должен знать о Unicode и наборах символов (никаких оправданий!) Джоэл Спольски - среда, 08 октября 2003 года

выдержка сверху:

Так была изобретена блестящая концепция UTF-8. UTF-8 была еще одной системой для хранения строки кодовых точек Unicode, этих волшебных чисел U+, в памяти с использованием 8-битных байтов. В UTF-8, каждый пункт Код от 0-127 это хранится в одном байте. Только кодовые точки 128 и выше хранятся с использованием 2, 3, по сути, до 6 байт. Это имеет аккуратный побочный эффект, что английский текст выглядит точно так же в UTF-8, как и в ASCII, поэтому американцы даже не замечают ничего плохого. Только остальной мир должен прыгать через обручи. В частности, Привет, который был U + 0048 U+0065 U+006C U+006C U+006C U + 006F, будет храниться как 48 65 6C 6C 6F, который, вот! это то же самое, что было сохранено в ASCII, ANSI и каждом наборе символов OEM на планете. Теперь, если вы настолько смелы, чтобы использовать акцентированные буквы или греческие буквы или Клингонские буквы, вам придется использовать несколько байтов для хранения одной кодовой точки, но американцы никогда не заметят. (UTF-8 также имеет хорошее свойство, что невежественный старый код обработки строк, который хочет использовать один 0 байт в качестве нулевого Терминатора, не будет усекать строки).

до сих пор я говорил вам три способа кодирования Unicode. Традиционные методы store-it-in-two-byte называются UCS-2 (потому что он имеет два байта) или UTF-16 (потому что он имеет 16 бит), и вам все равно нужно выяснить, является ли это высококачественным UCS-2 или низким UCS-2. И есть популярный новый стандарт UTF-8, который имеет хорошее свойство также работать респектабельно, если у вас есть счастливое совпадение английского текста и программ braindead, которые совершенно не знают, что есть что-то другое, кроме ASCII.

на самом деле есть куча других способов кодирования Unicode. Есть что-то под названием UTF-7, это очень похоже на UTF-8, но гарантирует, что высокий бит всегда будет равен нулю, так что если вам нужно передать Unicode через какую-то драконовскую систему электронной почты полицейского государства, которая думает, что 7 бит вполне достаточно, Спасибо, что он все еще может протиснуться невредимым. Есть UCS-4, который хранит каждую кодовую точку в 4 байтах, которая имеет хорошее свойство, что каждая отдельная кодовая точка может храниться в том же количестве байтов, но, черт возьми, даже техасцы не будут настолько смелыми, чтобы тратить столько память.

и на самом деле теперь, когда вы думаете о вещах с точки зрения платонических идеальных букв, которые представлены кодовыми точками Юникода, эти кодовые точки Юникода могут быть закодированы в любой старой школе кодирования схемы, тоже! Например, вы можете кодировать строку Unicode для Hello (U + 0048 U+0065 U+006C U+006C U+006F) в ASCII, или старую греческую кодировку OEM, или еврейскую кодировку ANSI, или любую из нескольких сотен кодировок, которые были изобретены до сих пор, с одним уловом: некоторые из них письма могут не появиться! Если нет эквивалента для кодовой точки Unicode, которую вы пытаетесь представить в кодировке, в которой вы пытаетесь ее представить, вы обычно получаете небольшой знак вопроса:? или, если ты действительно хорош, ящик. Что вы получили? -> �

существуют сотни традиционных кодировок, которые могут правильно хранить только некоторые кодовые точки и изменять все остальные кодовые точки в вопросительные знаки. Некоторые популярные кодировки английского текста-Windows-1252 (the Стандарт Windows 9x для западноевропейских языков) и ISO-8859-1, он же латинский-1 (также полезен для любого западноевропейского языка). Но попробуйте сохранить русские или еврейские буквы в этих кодировках, и вы получите кучу вопросительных знаков. UTF 7, 8, 16 и 32 имеют хорошее свойство правильно хранить любую кодовую точку.