Как заменить символы юникода символами ascii в Python (приведенный скрипт perl)?

Я пытаюсь изучить python и не мог понять, как перевести следующий скрипт perl на python:

#!/usr/bin/perl -w                     

use open qw(:std :utf8);

while(<>) {
  s/x{00E4}/ae/;
  s/x{00F6}/oe/;
  s/x{00FC}/ue/;
  print;
}

скрипт просто изменяет umlauts unicode на альтернативный вывод ascii. (Таким образом, полный вывод находится в ascii. Я был бы благодарен за любые намеки. Спасибо!

19
diacritics perl python unicode

4 ответов

  • использовать fileinput модуль для перебора стандартного ввода или список файлов,
  • декодируйте строки, которые Вы читаете из UTF-8 в объекты unicode
  • затем сопоставьте любые символы юникода, которые вы хотите с translate метод

translit.py будет выглядеть так:

#!/usr/bin/env python2.6
# -*- coding: utf-8 -*-

import fileinput

table = {
          0xe4: u'ae',
          ord(u'ö'): u'oe',
          ord(u'ü'): u'ue',
          ord(u'ß'): None,
        }

for line in fileinput.input():
    s = line.decode('utf8')
    print s.translate(table),

и вы можете использовать его как это:

$ cat utf8.txt 
sömé täßt
sömé täßt
sömé täßt

$ ./translit.py utf8.txt 
soemé taet
soemé taet
soemé taet
  • обновление:

если вы используете python 3 строки по умолчанию unicode, и вам не нужно кодировать его, если он содержит символы не ASCII или даже не латинские символы. Поэтому решение будет выглядеть следующим образом:

line = 'Verhältnismäßigkeit, Möglichkeit'

table = {
         ord('ä'): 'ae',
         ord('ö'): 'oe',
         ord('ü'): 'ue',
         ord('ß'): 'ss',
       }

line.translate(table)

>>> 'Verhaeltnismaessigkeit, Moeglichkeit'
17

для преобразования в ASCII вы можете попробовать ASCII, черт возьми!--3--> или этот рецепт, которая сводится к:

>>> title = u"Klüft skräms inför på fédéral électoral große"
>>> import unicodedata
>>> unicodedata.normalize('NFKD', title).encode('ascii','ignore')
'Kluft skrams infor pa federal electoral groe'
36

Я использую translitcodec 

>>> import translitcodec
>>> print '\xe4'.decode('latin-1')
ä
>>> print '\xe4'.decode('latin-1').encode('translit/long').encode('ascii')
ae
>>> print '\xe4'.decode('latin-1').encode('translit/short').encode('ascii')
a

вы можете изменить язык декодирования на все, что вам нужно. Может потребоваться простая функция для уменьшения длины одной реализации.

def fancy2ascii(s):
    return s.decode('latin-1').encode('translit/long').encode('ascii')
3

вы могли бы попробовать unidecode для преобразования Unicode в ascii вместо написания ручных регулярных выражений. Это порт Python Text::Unidecode модуль Perl:

#!/usr/bin/env python
import fileinput
import locale
from contextlib import closing
from unidecode import unidecode # $ pip install unidecode

def toascii(files=None, encoding=None, bufsize=-1):
    if encoding is None:
        encoding = locale.getpreferredencoding(False)
    with closing(fileinput.FileInput(files=files, bufsize=bufsize)) as file:
        for line in file: 
            print unidecode(line.decode(encoding)),

if __name__ == "__main__":
    import sys
    toascii(encoding=sys.argv.pop(1) if len(sys.argv) > 1 else None)

Он использует FileInput класса, чтобы избежать глобального состояния.

пример:

$ echo 'äöüß' | python toascii.py utf-8
aouss
3