Türkçe metin eğitiminde Utf-8 hatası


#1

Arkadaşlar türkçe metni eğiteceğiö zaman şöyle bit hata alıyorum. utf-8’ codec can’t decode byte 0xf6 in position 24: invalid start byte
Kodun tamamı aşağıda yardımcı olursanız sevinirim.
https://github.com/MuhammedBuyukkinaci/TensorFlow-Text-Generator/blob/master/tensorflow_text_generator.py


#2

Input olarak verdiğin string’de non-ascii bir şeyler var demek. Hangi karakterde patlıyorsun bir bak. Garip gurup karakterler yoksa stringlerini encode’la

string.encode('utf-8').strip()

Stackoverflow kaynağı: https://stackoverflow.com/questions/22216076/unicodedecodeerror-utf8-codec-cant-decode-byte-0xa5-in-position-0-invalid-s