в старые времена у меня была функция, которая преобразует WideString до AnsiString указанной кодовой страницы:

function WideStringToString(const Source: WideString; CodePage: UINT): AnsiString;
...
begin
   ...
    // Convert source UTF-16 string (WideString) to the destination using the code-page
    strLen := WideCharToMultiByte(CodePage, 0,
        PWideChar(Source), Length(Source), //Source
        PAnsiChar(cpStr), strLen, //Destination
        nil, nil);
    ...
end;

и все работало. Я передал функцию a unicode string (т. е. кодированные данные UTF-16) и преобразовал его в AnsiString, С пониманием того, что байт AnsiString представлены символы с указанной кодовой страницы.

например:

TUnicodeHelper.WideStringToString('Ŧĥε ｑùíçķ ƀřǭŵņ fôｘ ǰűmpεď ōvêŗ ţħě łáƶÿ ďơǥ', 1252);

вернет Windows-1252 закодированных строка:

The qùíçk brown fôx jumped ovêr the lázÿ dog

Примечание: информация, конечно, была потеряна во время преобразования из полного набора символов Юникода в ограниченные границы кодовой страницы Windows-1252:

• Ŧĥε ｑùíçķ ƀřǭŵņ fôｘ ǰűmpεď ōvêŗ ţħě łáƶÿ ďơǥ (перед)
• The qùíçk brown fôx jumped ovêr the lázÿ dog (после)

и WideChartoMultiByte делает довольно хорошую работу наиболее подходящего отображения; как он предназначен для этого.

теперь после раз

теперь мы находимся в after times. WideString теперь пария, с UnicodeString быть добродетелью. Это несущественное изменение; поскольку функция Windows нуждалась только в указатель серия WideChar в любом случае (которого UnicodeString тоже есть). Поэтому мы меняем декларацию на use UnicodeString вместо:

funtion WideStringToString(const Source: UnicodeString; CodePage: UINT): AnsiString;
begin
   ...
end;

теперь мы подошли к возвращаемому значению. у меня есть AnsiString, который содержит байт:

54 68 65 20 71 F9 ED E7  The qùíç
6B 20 62 72 6F 77 6E 20  k brown 
66 F4 78 20 6A 75 6D 70  fôx jump
65 64 20 6F 76 EA 72 20  ed ovêr 
74 68 65 20 6C E1 7A FF  the lázÿ
20 64 6F 67               dog

в старые времена это было штраф. Я следил за тем, какая кодовая страница AnsiString на самом деле содержится, я должен был помните что вернулся AnsiString не был закодирован с помощью языкового стандарта компьютера (например, Windows 1258), но вместо этого закодирован с помощью другой кодовой страницы (CodePage кодовая страница).

но в Delphi XE6 an AnsiString также тайно содержит кодовую страницу:

• кодовая страница: 1258
• длина: 44
• значение: The qùíçk brown fôx jumped ovêr the lázÿ dog

этот код-страницы-это неправильно. Delphi указывает кодовую страницу моего компьютера, а не кодовую страницу, которая является строкой. Технически это не проблема, я всегда понимал, что AnsiString был на определенной кодовой странице, мне просто нужно было обязательно передать эту информацию.

поэтому, когда я хотел декодировать строку, мне пришлось передать кодовую страницу с это:

s := TUnicodeHeper.StringToWideString(s, 1252);

с

function StringToWideString(s: AnsiString; CodePage: UINT): UnicodeString;
begin
   ...
   MultiByteToWideChar(...);
   ...
end;

тогда один человек все испортит

проблема была в том, что в старые времена я объявил тип под названием Utf8String:

type
   Utf8String = type AnsiString;

потому что это было достаточно обычным:

function TUnicodeHelper.WideStringToUtf8(const s: UnicodeString): Utf8String;
begin
   Result := WideStringToString(s, CP_UTF8);
end;

и обратное:

function TUnicodeHelper.Utf8ToWideString(const s: Utf8String): UnicodeString;
begin
   Result := StringToWideString(s, CP_UTF8);
end;

теперь в XE6 у меня есть функция, которая принимает a Utf8String. Если какой-то существующий код где-то был, возьмите кодировку UTF-8 AnsiString, и пытаться преобразуйте его в UnicodeString с помощью Utf8ToWideString это не удастся:

s: AnsiString;
s := UnicodeStringToString('Ŧĥε ｑùíçķ ƀřǭŵņ fôｘ ǰűmpεď ōvêŗ ţħě łáƶÿ ďơǥ', CP_UTF8);

...

 ws: UnicodeString;
 ws := Utf8ToWideString(s); //Delphi will treat s an CP1252, and convert it to UTF8

или хуже, это широта существующего кода, который делает:

s: Utf8String;
s := UnicodeStringToString('Ŧĥε ｑùíçķ ƀřǭŵņ fôｘ ǰűmpεď ōvêŗ ţħě łáƶÿ ďơǥ', CP_UTF8);

возвращенная строка станет полностью искореженной:

• функция возвращает AnsiString(1252) (AnsiString помечено как закодированное с использованием текущей кодовой страницы)
• результат возврата хранится в AnsiString(65001) строка (Utf8String)
• Delphi преобразует кодированную строку UTF-8 в UTF-8 как хотя это было 1252.

как двигаться вперед

в идеале мой UnicodeStringToString(string, codePage) функция (которая возвращает AnsiString) можно установить CodePage внутри строки, чтобы соответствовать фактической кодовой странице, используя что-то вроде SetCodePage:

function UnicodeStringToString(s: UnicodeString; CodePage: UINT): AnsiString;
begin
   ...
   WideCharToMultiByte(...);
   ...

   //Adjust the codepage contained in the AnsiString to match reality
   //SetCodePage(Result, CodePage, False); SetCodePage only works on RawByteString
   if Length(Result) > 0 then
      PStrRec(PByte(Result) - SizeOf(StrRec)).codePage := CodePage;
end;

за исключением того, что вручную возиться с внутренней структурой AnsiString - это ужасно опасно.

так как насчет возвращения RawByteString?

было сказано, более того, многие люди, которые не являются мной, что RawByteString считается универсальная получатель; это не должно было быть в качестве возвращаемого параметра:

function UnicodeStringToString(s: UnicodeString; CodePage: UINT): RawByteString;
begin
   ...
   WideCharToMultiByte(...);
   ...

   //Adjust the codepage contained in the AnsiString to match reality
   SetCodePage(Result, CodePage, False); SetCodePage only works on RawByteString
end;

это имеет преимущество в том, чтобы иметь возможность использовать поддерживаемые и документированные SetCodePage.

но если мы собираемся пересечь линию, и начать возвращение RawByteString, конечно, Delphi уже имеет функцию, которая может преобразовать UnicodeString до RawByteString строку и обратно versa:

function WideStringToString(const s: UnicodeString; CodePage: UINT): RawByteString;
begin
   Result := SysUtils.Something(s, CodePage);
end;

function StringToWideString(const s: RawByteString; CodePage: UINT): UnicodeString;
begin
   Result := SysUtils.SomethingElse(s, CodePage);       
end;

но что это?

или что еще мне делать?

это был длинный набор фона для тривиального вопроса. The реальные вопрос, конечно, что я должен делать вместо этого? Существует много кода, который зависит от UnicodeStringToString и наоборот.

tl; dr:

я могу преобразовать UnicodeString в UTF, сделав:

Utf8Encode('Ŧĥε ｑùíçķ ƀřǭŵņ fôｘ ǰűmpεď ōvêŗ ţħě łáƶÿ ďơǥ');

и я могу преобразовать UnicodeString на текущую кодовую страницу с помощью:

AnsiString('Ŧĥε ｑùíçķ ƀřǭŵņ fôｘ ǰűmpεď ōvêŗ ţħě łáƶÿ ďơǥ');

но как мне преобразовать UnicodeString на произвольную (неуказанную) кодовую страницу?

я чувствую, что, поскольку все действительно является AnsiString:

Utf8String = AnsiString(65001);
RawByteString = AnsiString(65535);

я должен укусить пулю, разорвать AnsiString структура и вставьте в нее правильную кодовую страницу:

function StringToAnsi(const s: UnicodeString; CodePage: UINT): AnsiString;
begin
   LocaleCharsFromUnicode(CodePage, ..., s, ...);

   ...

   if Length(Result) > 0 then
      PStrRec(PByte(Result) - SizeOf(StrRec)).codePage := CodePage;
end;

тогда остальная часть VCL будет соответствовать.