UPDATE to the below answer:
The time the question was asked, «UTF8» in MySQL meant utf8mb3
. In the meantime, utf8mb4
was added, but to my knowledge MySQLs «UTF8» was not switched to mean utf8mb4
.
That means, you’d need to specifically put «utf8mb4», if you mean it (and you should use utf8mb4
)
I’ll keep this here instead of just editing the answer, to make clear there is still a difference when saying «UTF8»
Original
I would not suggest Richies answer, because you are screwing up the data inside the database. You would not fix your problem but try to «hide» it and not being able to perform essential database operations with the crapped data.
If you encounter this error either the data you are sending is not UTF-8 encoded, or your connection is not UTF-8. First, verify, that the data source (a file, …) really is UTF-8.
Then, check your database connection, you should do this after connecting:
SET NAMES 'utf8mb4';
SET CHARACTER SET utf8mb4;
Next, verify that the tables where the data is stored have the utf8mb4 character set:
SELECT
`tables`.`TABLE_NAME`,
`collations`.`character_set_name`
FROM
`information_schema`.`TABLES` AS `tables`,
`information_schema`.`COLLATION_CHARACTER_SET_APPLICABILITY` AS `collations`
WHERE
`tables`.`table_schema` = DATABASE()
AND `collations`.`collation_name` = `tables`.`table_collation`
;
Last, check your database settings:
mysql> show variables like '%colla%';
mysql> show variables like '%charac%';
If source, transport and destination are utf8mb4, your problem is gone;)
When you try to insert a new record into your MySQL database table, you may encounter an error saying Incorrect string value
along with some UTF-8 hex code for the description.
For example, suppose you create a Test
table with only one column as follows:
CREATE TABLE `Test` (
`names` varchar(255)
)
Next, let’s insert the following Egyptian hieroglyph character into the table:
INSERT INTO Test VALUES('𓀀');
Your MySQL server may respond with the following error:
ERROR 1366 (HY000):
Incorrect string value: 'xF0x93x80x80' for column 'names' at row 1
The error above is because the character 𓀀
requires 4-bytes to be represented in UTF-8 encoding.
By default, MySQL databases and tables are created using a UTF-8 with 3-bytes encoding. You can see the encoding used for your table by using the SHOW CREATE TABLE
statement as follows:
SHOW CREATE TABLE Test G
Here’s the result from my computer:
*************************** 1. row ***************************
Table: Test
Create Table: CREATE TABLE `Test` (
`names` varchar(255) CHARACTER SET utf8 COLLATE utf8_general_ci DEFAULT NULL
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb3
As you can see, the table uses the DEFAULT CHARSET=utf8mb3
and the names
column uses CHARACTER SET utf8
.
The MySQL utf8
or utf8mb3
can’t store string values that contain a UTF-8 4-bytes character.
To store the values, you need to use the utf8mb4
character set.
Here’s the query to alter your database, table, or column to utf8mb4
character set:
-- Change a database
ALTER DATABASE [database_name]
CHARACTER SET = utf8mb4 COLLATE = utf8mb4_unicode_ci;
-- Change a table
ALTER TABLE [table_name]
CONVERT TO CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci;
-- Change a column
ALTER TABLE [table_name]
CHANGE [column_name] [column_name] VARCHAR(255)
CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci;
When you change the character set on the database level, then any new table you create for that database in the future will use that character set as the default encoding.
Returning to the Test
table, you can alter just the names
column to make the INSERT
statement works:
ALTER TABLE `Test`
CHANGE `names` `names` VARCHAR(255)
CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci;
Now you should be able to insert the character 𓁴
into the table:
INSERT INTO Test VALUES('𓁴');
-- Query OK, 1 row affected (0.00 sec)
By default, MySQL version 8 should use utf8mb4
encoding and collation for your databases. If you see utf8
or utf8mb3
, then you might be using MySQL version below 8 (MySQL version 5 may default to utf8mb3
).
When you encounter this error, pay attention to the characters that you want to insert into the database.
They may look like normal characters, but if you copy and paste them from some source, then they may have a strange encoding attached to them.
For example, the GOTHIC LETTER SAUIL 𐍃
looks like a normal capital S
but actually a 4-bytes
character:
INSERT INTO Test VALUES('𐍃');
ERROR 1366 (HY000):
Incorrect string value: 'xF0x90x8Dx83' for column 'names' at row 1
Alternatively, you can also pass the hex code (xF0x90x8Dx83
in the example above) into Google to look for the exact character that causes the error.
To conclude, the ERROR 1366: Incorrect string value
happens when MySQL can’t insert the value you specified into the table because of incompatible encoding.
You need to modify or remove characters that have 4-bytes
UTF-8 encoding, or you can change the encoding and collation used by MySQL.
Note that utf8
in MySQL always refers to utf8mb3
.
To use the 4-bytes
UTF-8 encoding, it needs to be specified as utf8mb4
.
With this information, you should now be able to resolve this error. Feel free to use the provided ALTER
statements above if you need it 👍
Когда я парсю вот эту страницу и пытаюсь записать ее контент в базу данных, я получаю следующую ошибку:
SQLSTATE[HY000]: General error: 1366 Incorrect string value: 'xD0 ...' for column 'content'
Collation сначала был utf8_general_ci, потом, как почитал ответы на stackoverflow, поменял на utf8mb4_general_ci, и следом на utf8mb4_unicode_ci, ни одна не помогла.
Что интересно, данная ошибка проявляется только при парсинге этого сайта. Контент сайт отдает в utf8, даже не знаю, в чем тут проблема.
-
Вопрос заданболее трёх лет назад
-
39844 просмотра
Пригласить эксперта
Подключение к БД так же нужно изменить на utf8mb4
Проблема в том, что в контенте встречаются символы, которые состоят не из 3 байтов как в UTF-8, а из 4-х (всякие смайлы, эмоджи и пр.), и для их хранения вам надо для поля content использовать SET utf8mb4, а COLLATION utf8mb4_unicode_ci.
Вот тут очень много по этому поводу написано.
UPD: и вторая опция — принудительно очищайте данные до подходящего UTF-8 текста.
Решил ошибку на django так:
Изменил кодировку:
ALTER DATABASE portfolio CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci;
Поставил кодировку в настройке подключения к БД
‘charset’: ‘utf8mb4’,
И заработало после того как прописал такой параметр:
‘init_command’: ‘SET NAMES utf8mb4’,
-
Показать ещё
Загружается…
05 июн. 2023, в 22:21
1500 руб./за проект
05 июн. 2023, в 22:02
500 руб./за проект
05 июн. 2023, в 21:36
100000 руб./за проект
Минуточку внимания
Вы не вошли. Пожалуйста, войдите или зарегистрируйтесь.
Активные темы Темы без ответов
Страницы 1
Чтобы отправить ответ, вы должны войти или зарегистрироваться
1 2008-07-03 18:20:42
- fog!
- Редкий гость
- Неактивен
- Зарегистрирован: 2008-06-28
- Сообщений: 4
Тема: Ошибка #1366
Ошибка
SQL-запрос:
INSERT INTO `cities` ( `id` , `city_name` , `latitude` , `longitude` , `population` , `country_code` )
VALUES (
», ‘Sherbrooke’, ’45 23 59.00′, ‘-71 46 11.00’, 125000, ‘ca’
)
Ответ MySQL: Документация
#1366 — Incorrect integer value: » for column ‘id’ at row 1
Здравствуйте. Как видно из запроса — MySQL недоволен пустым значением в поле id. Но разве не так должно быть при автоматическом индексировании? При создании таблицы по отношению к полю id использовалась функция auto_increment. Кстати пример из статьи Марка Делисла, приведенной на этом сайте;).
Обьясните новичку что не так.
Заранее благодарен.
2 Ответ от Hanut 2008-07-03 21:33:31
- Hanut
- Модератор
- Неактивен
- Откуда: Рига, Латвия
- Зарегистрирован: 2006-07-02
- Сообщений: 9,726
Re: Ошибка #1366
fog!
Это не совсем ошибка, скорее уведомление о несоответствии синтаксиса стандарту. Обычно подобная ошибка не выводится, но так как сервер устанавливается в целях обучения, то при настройке MySQL был задан режим жесткого соответствия SQL запросов стандарту (Strict Mode). В конфигурационном файле MySQL за данную настройку отвечает директива sql-mode, но я бы крайне не рекомендовал ее менять.
Для соответствия стандарту запрос можно заменить двумя способами.
-- В данном случае мы вовсе убираем поле id при вставке данных.
INSERT INTO `cities` ( `city_name` , `latitude` , `longitude` , `population` , `country_code` )
VALUES ( 'Sherbrooke', '45 23 59.00', '-71 46 11.00', 125000, 'ca' );
-- Либо назначаем полю id значение NULL.
INSERT INTO `cities` ( `id` , `city_name` , `latitude` , `longitude` , `population` , `country_code` )
VALUES ( NULL, 'Sherbrooke', '45 23 59.00', '-71 46 11.00', 125000, 'ca' );
3 Ответ от fog! 2008-07-04 19:43:45
- fog!
- Редкий гость
- Неактивен
- Зарегистрирован: 2008-06-28
- Сообщений: 4
Re: Ошибка #1366
спасибо) я тоже подумал про НУЛЛ)
4 Ответ от Vital 2015-07-05 11:51:57 (изменено: Vital, 2015-07-05 12:35:50)
- Vital
- Редкий гость
- Неактивен
- Зарегистрирован: 2015-04-20
- Сообщений: 2
Re: Ошибка #1366
Добрый день, уважаемый Hanut.
Нужна помощь.
Вылезает такая же ошибка, когда пытаюсь поменять тип поля.
Сейчас поле year. Его тип CHAR. Количество символов — 4.
Меняю на тип SMALLINT с количеством символов 6 и выводится ошибка 1366.
Чем, по вашему мнению, недоволен MySQL и как попробовать его удовлетворить?
Ссылки на скрины:
https://yadi.sk/i/0-AjKqU-hfzRL
https://yadi.sk/i/vUEzb824hfzfG
https://yadi.sk/i/Se5E0TDBhfzfr
Уверен, что в очередной раз сможете помочь.
Заранее спасибо большое за помощь!!!
Сообщения 4
Страницы 1
Чтобы отправить ответ, вы должны войти или зарегистрироваться
предисловие
Ошибка: Ошибка 1366: Неверное строковое значение
Анализ: настройка кодировки набора символов не соответствует содержимому, которое нужно вставить
Кодировка набора символов существует в двух местах
1. База данных
Во-вторых, код (диск для подключения к базе данных)
Большинство людей обращают внимание только на кодировку на уровне базы данных и забывают, что кодировка набора символов также требуется при подключении к базе данных с помощью кода.
Позвольте мне представить, как изменить кодировку набора символов этих двух мест
текст
1. Код (Драйвер для подключения к базе данных)
Это вопрос, который часто упускают из виду люди (я обычно тратил 2 дня на эту проблему, искал бесчисленное количество информации, но ничего не нашел и, наконец, обнаружил проблему случайно)
Используете ли вы Java, Python, Go или другие языки высокого уровня, если вы хотите управлять базой данных, вам нужен драйвер базы данных.
Затем будут некоторые конфигурации. Я представляю здесь конфигурацию драйвера языка Go для подключения к Mysql, как показано ниже:
mysql:
dbUser: "root"
dbPassword: ":123456"
dbTcp: "@tcp(localhost:3306)"
dbName: "/local_db"
dbParameters: "?charset=utf8mb4"
На самом деле, вышесказанное является полным предложением root:[email protected](localhost:3306)/local_db?charset=utf8mb4 Чтобы облегчить модификацию, я ее разобрал. Мы часто устанавливаем значение utf8 в конце и часто игнорируем это, что делает невозможным использование кода для вставки выражений эмодзи👿! Просто измените его на utf8mb4.
Во-вторых, база данных
По этому вопросу существует множество учебных пособий, в целом, существует четыре уровня кодирования базы данных.
- Сервер базы данных
- Библиотека
- стол
- поле
1. Чтобы изменить кодировку сервера базы данных, вам нужно изменить конфигурационный файл my.ini
Обычно Windows находится в каталоге C: ProgramData MySQL MySQL Server 5.7.
Linux обычно находится в /etc/my.cnf или /etc/mysql/my.cnf
Примерно в 65 строках my.ini будет предложение конфигурации, default-character-set = utf8, измените его на default-character-set = utf8mb4 и сохраните его, а затем раскомментируйте. Обратите внимание, что некоторые люди в Интернете говорят, что он должен быть под mysqld Он также настроен, фактически он не используется, по крайней мере, Mysql5.7 не используется, в противном случае, если вы настроите больше, служба базы данных может не перезапуститься.
Конечно, если ваша конфигурация по умолчанию находится под mysqld, то измените конфигурацию под mysqld. Одним словом, эта конфигурация предложения нуждается только в одном предложении.
Измененные и сохраненные результаты следующие:
После изменения конфигурации вам необходимо перезапустить сервер Mysql.
Windows может найти сервис в диспетчере задач, соответствующий Mysql57, щелкнуть правой кнопкой мыши для перезапуска.
Чтобы перезапустить Mysql в Linux, вам нужно использовать команду service mysql restart. Если эта команда не работает, вы можете попробовать перезапустить службу mysqld.
2. Библиотека
Вы можете использовать Navicat, щелкнуть правой кнопкой мыши имя библиотеки и выбрать «Редактировать базу данных».
Вы также можете использовать команду:
изменить имя библиотеки базы данных набор символов по умолчанию;
Затем установите соответствующий набор символов в utf8mb4
3. Стол
В настоящее время я не нашел набор символов визуальной операции для изменения таблицы, только с помощью команды
Синтаксис: изменить имя таблицы таблицы, преобразовать в набор символов;
4. Поле
Поля можно щелкнуть правой кнопкой мыши в таблице дизайна таблицы Navicat
Конечно, вы также можете использовать команду:
Синтаксис: изменить имя таблицы таблицы изменить имя поля атрибута набора символов набор символов;
Если ваше поле имеет тип varchar или другие типы символов, вы можете выбрать соответствующий набор символов ниже
подводить итоги
Мы склонны игнорировать некоторые незначительные детали, но иногда именно эти детали разрушают все здание!