Encoding utf 8 ошибка

Проверьте users['Nickname'], уверен уже в этих строках у вас будут кракозябры вида Крестьянин.

Если вы откуда-то скачиваете данные с этими строками убедитесь что она пришли как utf-8 и что вы с ними не делаете преобразования в cp1251. Если у вас Windows, то преобразование в cp1251 может быть неявным при работе с методами encode/decode, или с bytes — если при работе с ними не указывать кодировку, то подставится системная.

Ниже информация по кодировкам (сложная эта тема…).

Файл лучше всего хранить в кодировке utf-8, но нужно убедиться, что и остальные строки у вас будут той же кодировке.

Например, берем исходную строку:

text = 'Крестьянин'
print(len(text), text)
# 10 Крестьянин

Как мы видим, в ней 10 символов. Теперь кодируем ее в байты как utf-8:

data_utf8 = text.encode('utf-8')
print(len(data_utf8), list(data_utf8))
# 20 [208, 154, 209, 128, 208, 181, 209, 129, 209, 130, 209, 140, 209, 143, 208, 189, 208, 184, 208, 189]

И размер стал в два раза больше. Выходит, что кириллица в utf-8 хранится не в одном байте, а в двух. Теперь попробуем эту байтовую строку кодированную в utf-8 декодировать в строку cp1251:

new_text = data_utf8.decode('cp1251')
print(len(new_text), new_text)
# 20 Крестьянин

Получаем наши кракозябры. Это потому что cp1251 (она же windows-1251) однобайтовая кодировка.

Берем первые 4 байта из utf-8, декодируем как cp1251 и получаем знакомые символы:

print(bytes([208, 154, 209, 128]).decode('cp1251'))
# РљСЂ

Теперь мы зная причину появления кракозябр можем получить исходную строку через обратные действия:

text = 'Крестьянин'
print(text.encode('cp1251').decode('utf-8'))
# Крестьянин

Либо повторить:

print('Крестьянин'.encode('utf-8').decode('cp1251'))
# Крестьянин

Доброго дня суток.В инете искал не нашел ответ.
В чем проблема , ну с вижуалкой игрался , вроде никак не связано с Python.
Ну вот потом поставил питон в вижуалку пробую и заметил что кириллицу не выводит.
Выдает что с UTF-8 проблема.
Зашел в другую среду Eclipse опять та же проблема(хотя до этого все работало).
Нашел строку : # -*- coding: cp1251 -*-
Если ее писать в начале то работает.Честно хз почему.
Хотелось бы узнать из-за чего могло сломаться , и как починить что бы не писать каждый раз эту строку.

• 
  Вопрос задан

  более трёх лет назад
  

• 4298 просмотров

Unknown encoding error might occur when the current encoding doesn’t support the characters in your Python script or when you go for an invalid encoding type. There can be more reasons based on the information attached to the error statement.

But you should not bother about it while having this article opened up on your screen because it will guide you in the best way. After reading this post, you’ll have a variety of solutions to fix the given error.

Why Is the Error Unknown Encoding Occurring?

The above error is occurring because the current console encoding isn’t allowing you to print your Python script’s characters. Plus, an invalid encoding type and running Python 2 example with Python 3 are some possible causes behind the occurrence of this error.

– The Current Console Encoding Doesn’t Support Your Script’s Characters

Do you know about the code page system of Windows? It is used to support multiple characters and languages in the Windows console. The Windows version <= 9 doesn’t have support for UTF-8. Therefore, if you are using Windows 9 or less, the LookupError: Unknown Encoding: UTF-8 will occur while running your PHP script with UTF-8 encoding.

– Your Script’s Encoding Type Is Invalid

If you set your script’s encoding type to a type that doesn’t exist in the list of standard encodings, you’ll have the same error posing a hurdle in your program’s execution. For example, if you set the encoding to something like “utff-8” or “ascii-32,” it’ll surely throw an error.

– The Black Hat Python Example for Python 2

Are you trying to run the Black Hat Python example for Python 2 while using Python 3? You might get the unknown encoding charmap error due to using a different Python version. However, some amendments to the code will do the work. You can read the complete solution below.

– The ML Kit Fails To Scan

The official German medication plan data matrix (BMP) expects the ISO-8859-1 encoded data. Now, if the data contains German umlaut, the ML kit will fail to scan it, throwing an unknown encoding QR code error.

How To Fix the Unknown Encoding Error?

You can fix the given error by confirming the correctness of the encoding type. Other ways that you can try to fix this error include setting the PYTHONIOENCODING to UTF-8, enabling UTF-8 support in Windows version >= 10, using the win-unicode-console package etc.

We have discussed all of the solutions in detail so, stick with us till the end.

– Choose an Encoding from the Standard List

Before you go for more solutions, check if your script’s encoding type is valid and included in the standard list of encodings. Some of the popular encoding types have been added to the following list. Go through it to quickly check the correctness of your script’s encoding type.

• 646 or us-ascii (English)
• IBM037 or IBM039 (English)
• 437 or IBM437 (English)
• utf-8 or cp65001 (All languages)
• utf-16 (All languages)
• utf-32 (All languages)
• utf-7 (All languages)

Most people also ask if they can fix this unknown encoding error online. The answer is a yes, you just have to find a suitable platform and put your encoded text there. You will get a variety of decoded text in return.

– Set PYTHONIOENCODING=UTF-8

It would be best to set the value of PYTHONIOENCODING to UTF-8 without reloading the terminal to get rid of the error. If you are using the command prompt, then execute set PYTHONIOENCODING=UTF-8. However, you should run $env:PYTHONIOENCODING = “UTF-8” while using Power Shell. Once you notice that the error has disappeared, consider going for a permanent solution: adding an environment variable.

So, create a .env file inside your project’s root directory and add PYTHONIOENCODING=UTF-8 to the same. It will ensure that you don’t get the error the next time you run your scripts. The given encoding will override the encodings set for stderr, stdin, and stdout in the script.

If you don’t want to create a .env file, here is how you can add an environment variable in Windows 10:

1. Right-click on the Windows icon displayed on your taskbar.
2. Choose System.
3. Go for the Advanced tab.
4. Hit Environment Variables.
5. Press the button that reads new to add “PYTHONIOENCODING” or hit edit to change its value if it already exists.
6. Set the value of PYTHONIOENCODING to UTF-8.
7. Press the button labelled Apply.
8. Hit OK to end the process.

Note that cp65001 is another name for UTF-8 or Unicode used by Windows. Please feel free to apply the above solution to resolve the following errors:

• Unknown encoding: cp65001
• Unknown encoding UTF 8
• LookupError: unknown encoding: cp0

– Leverage the UTF-8 Support Option in Windows 10 and Onwards

The option to enable UTF-8 support in Windows 10 and later versions can help eliminate the error. It will set the locale code page to UTF-8. Hence, once you use it, you won’t fall victim to the encoding issues. Here are the steps that’ll lead you to the stated option and help you leverage it:

1. Press the Windows and R keys at once.
2. Open intl.cpl.
3. Click the tab that says Administrative.
4. Hit the button that reads Change system locale.
5. Look for the checkbox labelled Beta: Use Unicode UTF-8 for worldwide language support and put a check on it.
6. Press OK to save the settings.
7. Restart your system.

– Let the win-unicode-console Package Serve You

The win-unicode-console package is designed to solve your encoding issues while you run Python from the Windows console. Here is the command to install the said package in your system:

pip install win_unicode_console

Now, you can call the win_unicode_console.enable() to fix the encoding issues on your side and kick away the error. Later, if you want to revert the changes made by the same package, you can call this: win_unicode_console.disable().

Note that you must install the package yourself instead of asking a third-party developer to do it for you. It is because, in the latter case, a dependency will be added.

– Replace a Few Lines in the Black Hat Python 2 Example

To run the given example in Python 3 without facing the encoding problem, you’ll have to make a few changes to the code. Please go through the below instructions to modify the code and make it work for you:

1. Remove charmap from the /Library/Frameworks/Python.framework/Versions/3.6/lib/python3.6/site-packages/OpenSSL/_util.py file.
2. In the get_file_contents() function, replace tree = branch.commit.commit.tree.recurse() with tree = branch.commit.commit.tree.to_tree().recurse().
3. In the store_module_result() function, replace repo.create_file(remote_path, “Commit message”, base64.b64encode(data)) with repo.create_file(remote_path, “Commit message”, base64.b64encode(data.encode())).
4. In the load_module() method, replace exec(self.current_module_code in module.__dict__) with exec(self.current_module_code, module.dict).
5. Replace import Queue with import queue.

– Try Using the Newest Version of the ML Kit

The failed QR code scanning issue in the ML kit can only be solved if the library accepts an encoding type except for ASCII and UTF-8. If it can’t accept any other encoding, then it should at least provide access to the scanned data as a byte array.

As the new versions of libraries come with new features, the latest version of the ML kit might have one or both of the stated features. If it has, it will help you scan the QR codes successfully without throwing any errors.

Conclusion

After reading this post, you can say that the unknown encoding Python error is not as complicated as it seems. You can have a look at the short listicle below to see the solutions from a broader side:

• Ensure that the encoding type is valid before running the command.
• Run the command: set PYTHONIOENCODING=UTF-8 in the command prompt without reloading it.
• Install the win-unicode-console package to get rid of the encoding problems.
• Use the updated version of the ML kit to scan the barcodes or QR codes without facing any errors.
• Replace a few lines of code in the Black Hat Python example to make it work with Python 3.

The variety in the solutions is based on different situations in which the encoding issue occurs. If you ask about the most popular working solution, the one setting the environment variable PYTHONIOENCODING wins over others.

Back to top

In [32]: hi_unicode = 'привет'

In [33]: hi_unicode.encode('ascii')
---------------------------------------------------------------------------
UnicodeEncodeError                        Traceback (most recent call last)
<ipython-input-33-ec69c9fd2dae> in <module>()
----> 1 hi_unicode.encode('ascii')

UnicodeEncodeError: 'ascii' codec can't encode characters in position 0-5: ordinal not in range(128)

In [34]: hi_unicode = 'привет'

In [35]: hi_bytes = hi_unicode.encode('utf-8')

In [36]: hi_bytes.decode('ascii')
---------------------------------------------------------------------------
UnicodeDecodeError                        Traceback (most recent call last)
<ipython-input-36-aa0ada5e44e9> in <module>()
----> 1 hi_bytes.decode('ascii')

UnicodeDecodeError: 'ascii' codec can't decode byte 0xd0 in position 0: ordinal not in range(128)

In [37]: de_hi_unicode = 'grüezi'

In [38]: utf_16 = de_hi_unicode.encode('utf-16')

In [39]: utf_16.decode('utf-8')
---------------------------------------------------------------------------
UnicodeDecodeError                        Traceback (most recent call last)
<ipython-input-39-4b4c731e69e4> in <module>()
----> 1 utf_16.decode('utf-8')

UnicodeDecodeError: 'utf-8' codec can't decode byte 0xff in position 0: invalid start byte

In [40]: hi_unicode = 'привет'

In [41]: hi_bytes = hi_unicode.encode('utf-8')

In [42]: hi_bytes
Out[42]: b'xd0xbfxd1x80xd0xb8xd0xb2xd0xb5xd1x82'

In [43]: hi_bytes.decode('utf-16')
Out[43]: '뿐胑룐닐뗐苑'

In [44]: de_hi_unicode = 'grüezi'

In [45]: de_hi_unicode.encode('ascii', 'replace')
Out[45]: b'gr?ezi'

In [46]: de_hi_unicode = 'grüezi'

In [47]: de_hi_unicode.encode('ascii', 'namereplace')
Out[47]: b'gr\N{LATIN SMALL LETTER U WITH DIAERESIS}ezi'

In [48]: de_hi_unicode = 'grüezi'

In [49]: de_hi_unicode.encode('ascii', 'ignore')
Out[49]: b'grezi'

In [50]: de_hi_unicode = 'grüezi'

In [51]: de_hi_utf8 = de_hi_unicode.encode('utf-8')

In [52]: de_hi_utf8
Out[52]: b'grxc3xbcezi'

In [53]: de_hi_utf8.decode('ascii', 'ignore')
Out[53]: 'grezi'

In [54]: de_hi_unicode = 'grüezi'

In [55]: de_hi_utf8 = de_hi_unicode.encode('utf-8')

In [56]: de_hi_utf8.decode('ascii', 'replace')
Out[56]: 'gr��ezi'

В процессе настройки сервера для сайта, пришлось столкнуться с некоторыми проблемами. В частности с проблемой кодировки базы данных PostgreSQL. Дело в том, что при установке PostgreSQL, шаблоны баз данных создавались с кодировкой LATIN1, а сайт работает на Django, с использованием кодировки UTF8. В результате, при попытке вставки данных выпадала следующая ошибка:

ERROR: encoding UTF8 does not match locale en_US Detail: The chosen LC_CTYPE setting requires encoding LATIN1.


  Поискав информацию, удалось найти несколько решений, среди которых было решение, которое позволяет пересоздать шаблон базы данных с кодировкой UTF8. Но пройдёмся внимательно по симптомам задачи.
 


  Проверка кодировки

 

  Для проверки кодировки, применяемой на сервере и в базе данных, необходимо выполнить следующие команды.
 

  Заходим в режим работы с PoctgreSQL:
 
sudo -u postgres psql


  psql — это утилита для работы с базами данных, а postgres — это супер пользователь PostgreSQL.
 

  И выполняем следующие команды:
 



  


                       
  




postgres=# SHOW SERVER_ENCODING;
 server_encoding 
-----------------
 LATIN1
(1 row)

postgres=# l
                             List of databases
   Name    |  Owner   | Encoding | Collate | Ctype |   Access privileges   
-----------+----------+----------+---------+-------+-----------------------
 postgres  | postgres | LATIN1   | en_US   | en_US | 
 template0 | postgres | LATIN1   | en_US   | en_US | =c/postgres          +
           |          |          |         |       | postgres=CTc/postgres
 template1 | postgres | LATIN1   | en_US   | en_US | =c/postgres          +
           |          |          |         |       | postgres=CTc/postgres
(3 rows)



  В выводе будет показана кодировка LATIN1, как для сервера, так и для баз данных.
 

  Исправление кодировки для template1

 

  А теперь исправим кодировку template1, который используется для создания баз данных.
 
postgres=# UPDATE pg_database SET datistemplate = FALSE WHERE datname = 'template1';
postgres=# DROP DATABASE Template1;
postgres=# CREATE DATABASE template1 WITH owner=postgres ENCODING = 'UTF-8' lc_collate = 'en_US.utf8' lc_ctype = 'en_US.utf8' template template0;
postgres=# UPDATE pg_database SET datistemplate = TRUE WHERE datname = 'template1';


  В данном случае сначала мы указываем, что template1 не является шаблоном для баз данных. Удаляем данный шаблон. Потом создаём новый шаблон с кодировкой UTF8 и устанавливаем данную базу данных в качестве шаблона для новых баз данных. Дальше новые базы данных будут создаваться с кодировкой UTF8.
 

  И проверим, в какой кодировке у нас находиться шаблон template1, сам сервер, кстати, будет по-прежнему в кодировке LATIN1
 
postgres=# l
                                 List of databases
   Name    |  Owner   | Encoding |  Collate   |   Ctype    |   Access privileges   
-----------+----------+----------+------------+------------+-----------------------
 postgres  | postgres | LATIN1   | en_US      | en_US      | 
 template0 | postgres | LATIN1   | en_US      | en_US      | =c/postgres          +
           |          |          |            |            | postgres=CTc/postgres
 template1 | postgres | UTF8     | en_US.utf8 | en_US.utf8 | 
(3 rows)