Как моя программа может переключиться с ASCII на Unicode?

вы должны решить,как вы представляете текст внутри.
Это должно быть постоянным независимо от того, что вы выберете.

затем, когда вы читаете любой вход вы должны транс-код из входного формата во внутренний формат. Затем из внутреннего формата в формат на выходе. Если вы используете тот же формат, внутренний и внешний, это становится операцией идентификации.

UTF-8 отлично подходит для хранения и передачи при сжатии что ж.
Но мне не нравится это как внутреннее представление, поскольку оно имеет переменную длину.

UTF-16: должен был стать спасителем всего человечества.
Но был быстро superceeded на УТФ-32

UTF-32: исправлено. Поэтому отлично подходит для внутреннего представления и манипуляции.
Легко конвертировать в/из UTF-8.
Очень громоздкие (каждый символ занимает 4 байта).

большинство ОС уже преобразованы в строковое представление UTF или заголовок такой образ. Таким образом, использование формата onld obsolte внутри, например ISO-8859, просто означает, что вызовы ОС вызовут дополнительную работу, поскольку строка преобразуется в/из UTF. В результате это кажется пустой тратой времени (для меня).

вы должны решить, какую кодировку Unicode вы хотите использовать e.G UTF-8, ISO-8859-1 и т.д. Тогда вы должны учитывать это в своем C++ во всех ваших манипуляциях со строками. Е. Г. взгляните на w_char и wstring, которая. В среде, отличной от Unicode, я предполагаю, что вы имеете в виду, что входные переменные будут только ascii?

идентификатор локали "" (пустая строка) указывает локаль по умолчанию для конкретной реализации. Итак, если вы установите глобальную локаль в std::locale("") затем вы теоретически получите локаль по умолчанию, которая инициализируется на основе настроек локали среды. Это примерно как стандарт C++ дает вам.

Это имеет некоторые основные ограничения на Windows, где MSVC не proivde любой std:: locale с кодировкой UTF-8. И Mac OS X не предоставляет никаких std:: locale other чем языка "C" локали.

на практике обычно стандартизировать на UTF-8 закодированный std:: string везде внутри вашего приложения. Тогда в тех конкретные случаи, когда вам нужно взаимодействовать с ОС, сделать преобразование кода по мере необходимости. Например, вы будете использовать const char*, закодированный с UTF-8, чтобы определить имя файла в unix, но wchar*, закодированный с UTF-16, чтобы определить имя файла в windows.

UTF-8 широко порекомендованный внутренний набор символов для приложений, которые предназначены для переноски. UTF-16 имеет те же проблемы с кодированием переменной ширины, что и UTF-8, плюс использует больше места для многих языков. Также UTF-16 добавляет проблему упорядочения байтов и имеет относительно небольшую поддержку в unix. UTF-32-самая простая кодировка для работы, но она также использует наибольшее пространство и не имеет собственной поддержки в windows.

лично я бы пошел другим путем.

какой бы формат вы ни выбрали, он должен соответствовать Unicode, это данность. Однако вам, конечно, не нужно ограничиваться использованием существующей кодировки.

определенная кодировка предназначена для легкой связи, однако, поскольку Unix по умолчанию использует UTF-8, а Windows-UTF-16, невозможно иметь универсальную кодировку. Поэтому я бы просто предложил использовать ваше собственное внутреннее представление и применить подходящий преобразование в зависимости от целевой ОС. Это происходит с помощью общего интерфейса для функций, которые вам нужны, и реализации per OS/encoding.

также обратите внимание, что вы должны иметь возможность изменять кодировку/декодирование на лету независимо от платформы, на которой вы находитесь (например, вам может быть предложено использовать UTF-32 в Unix для определенного файла), еще одна причина не использовать данную кодировку.

в итоге:

• ICU is великий
• если вы реализуете его самостоятельно и хотите быть несколько "стандартными", используйте UTF-32 (4 байта на точку)
• если вы плотно в памяти, 21 бит (

преобразование может показаться "компьютерным", но:

• вы можете сделать это поточном
• это намного быстрее, чем I / O

мои 2 cts, как говорится:)

лучший способ, который я видел, это иметь typedefs и очень мало макросов, определенных на основе условной компиляции. Например:

#ifdef UNICODE
#define mychar wchar_t
#define s(a) L ## a
typedef std::wstring mystringa;
#else
#define mychar char
#define s(a) a
typedef std::string mystringa;
#endif
typedef std::basic_string<mychar> mystringb;

и так далее. Затем вы будете использовать строки как s("foo") и mystringa(s("foo"));. Я показал два способа создания строкового типа. Либо должен работать.