Как работать с UTF-8 на C++, преобразование из других кодировок в UTF-8

не уверен, что это даст вам все, что вы ищете, но это может немного помочь. Вы пробовали смотреть на:

1) импульс.Библиотека язык ? Повышение.Locale был выпущен в Boost 1.48 (ноябрь 15th, 2011), что упрощает преобразование из и в UTF8/16

вот несколько удобных примеров из документов:

string utf8_string = to_utf<char>(latin1_string,"Latin1");
wstring wide_string = to_utf<wchar_t>(latin1_string,"Latin1");
string latin1_string = from_utf(wide_string,"Latin1");
string utf8_string2 = utf_to_utf<char>(wide_string);

2) или в преобразования являются частью C++11?

#include <codecvt>
#include <locale>
#include <string>
#include <cassert>

int main() {
  std::wstring_convert<std::codecvt_utf8<char32_t>, char32_t> convert;
  std::string utf8 = convert.to_bytes(0x5e9);
  assert(utf8.length() == 2);
  assert(utf8[0] == '\xD7');
  assert(utf8[1] == '\xA9');
}

как я могу работать с UTF-8-строками на C++? Я думаю, что wchar_t не работе, потому что это 2 байта. Кодовые точки в UTF-8 до 4 байт...

это легко, есть проект под названием tinyutf8 , который является drop-in замена на std::string/std::wstring.

после этого потребитель может шикарно работать дальше коды, в то время как их представление всегда закодированы в chars.

как преобразовать" любую " (или наиболее используемую) кодировку символов в UTF-8?

возможно, вы захотите взглянуть на std::codecvt_utf8 и simlilar шаблоны С <codecvt> (C++11).

UTF-8-это кодировка, которая использует несколько байтов для не-ASCII (7-битный код), используя 8-й бит. Как таковой вы не найдете '\', '/' внутри многобайтовой последовательности. И isdigit работает (хотя и не арабские и другие цифры).

это надмножество ASCII и может содержать все символы Юникода, поэтому определенно использовать с char и string.

Проверьте заголовки HTTP (без учета регистра); они находятся в ISO-8859-1 и предшествуют пустой строке, а затем HTML содержание.

Content-Type: text/html; charset=UTF-8

если нет, там также может быть

<meta http-equiv="Content-Type" content="text/html; charset=UTF-8">
<meta charset="UTF-8">      <!-- HTML5 -->

ISO-8859-1-это латинский 1, и вам лучше конвертировать из Windows - 1252, расширение Windows Latin-1 с использованием 0x80-0xBF для некоторых специальных символов, таких как кавычки запятой и т. д. Даже браузеры на MacOS поймут это, хотя был указан ISO-8859-1.

библиотеки преобразования: alread упоминается @syam.

преобразование

давайте не будем рассматривать UTF-16. Можно прочитать заголовки и начать до мета-оператора для кодировки как однобайтовые символы.

преобразование из однобайтовой кодировки в UTF-8 может происходить через таблицу. Например, сгенерированный с Java: a const char* table[] индексируется символом.

table[157] = "\xEF\xBF\xBD";


public static void main(String[] args) {
    final String SOURCE_ENCODING = "windows-1252";
    byte[] sourceBytes = new byte[1];
    System.out.println("    const char* table[] = {");
    for (int c = 0; c < 256; ++c) {
        String comment = "";
        System.out.printf("       /* %3d */ \"", c);
        if (32 <= c && c < 127) {
            // Pure ASCII
            if (c == '\"' || c == '\')
                System.out.print("\");
            System.out.print((char)c);
        } else {
            if (c == 0) {
                comment = " // Unusable";
            }
            sourceBytes[0] = (byte)c;
            try {
                byte[] targetBytes = new String(sourceBytes, SOURCE_ENCODING).getBytes("UTF-8");
                for (int j = 0; j < targetBytes.length; ++j) {
                    int b = targetBytes[j] & 0xFF;
                    System.out.printf("\x%02X", b);
                }
            } catch (UnsupportedEncodingException ex) {
                comment = " // " + ex.getMessage().replaceAll("\s+", " "); // No newlines.
            }
        }
        System.out.print("\"");
        if (c < 255) {
            System.out.print(",");
        }
        System.out.println();
    }
    System.out.println("    };");
}