Django에 유니코드 문자열을 저장할 때 MySQL "잘못된 문자열 값" 오류가 발생함

Django에 유니코드 문자열을 저장할 때 MySQL "잘못된 문자열 값" 오류가 발생함

First_name, last_name을 Django의 auth_user 모델에 저장하려고 했을 때 이상한 오류 메시지가 나타납니다.

실패한 예

user = User.object.create_user(username, email, password)
user.first_name = u'Rytis'
user.last_name = u'Slatkevičius'
user.save()
>>> Incorrect string value: '\xC4\x8Dius' for column 'last_name' at row 104

user.first_name = u'Валерий'
user.last_name = u'Богданов'
user.save()
>>> Incorrect string value: '\xD0\x92\xD0\xB0\xD0\xBB...' for column 'first_name' at row 104

user.first_name = u'Krzysztof'
user.last_name = u'Szukiełojć'
user.save()
>>> Incorrect string value: '\xC5\x82oj\xC4\x87' for column 'last_name' at row 104

성공 사례

user.first_name = u'Marcin'
user.last_name = u'Król'
user.save()
>>> SUCCEED

MySQL 설정

mysql> show variables like 'char%';
+--------------------------+----------------------------+
| Variable_name            | Value                      |
+--------------------------+----------------------------+
| character_set_client     | utf8                       | 
| character_set_connection | utf8                       | 
| character_set_database   | utf8                       | 
| character_set_filesystem | binary                     | 
| character_set_results    | utf8                       | 
| character_set_server     | utf8                       | 
| character_set_system     | utf8                       | 
| character_sets_dir       | /usr/share/mysql/charsets/ | 
+--------------------------+----------------------------+
8 rows in set (0.00 sec)

표 문자 집합 및 대조

auth_user 테이블에는 utf8_general_ci 대조 기능이 있는 utf-8 문자 집합이 있습니다.

UPDATE 명령어 결과

UPDATE 명령어를 사용하여 위의 값을 auth_user 테이블로 업데이트할 때 오류가 발생하지 않았습니다.

mysql> update auth_user set last_name='Slatkevičiusa' where id=1;
Query OK, 1 row affected, 1 warning (0.00 sec)
Rows matched: 1  Changed: 1  Warnings: 0

mysql> select last_name from auth_user where id=100;
+---------------+
| last_name     |
+---------------+
| Slatkevi?iusa | 
+---------------+
1 row in set (0.00 sec)

포스트그레스Ql

위의 실패한 값은 Postgre로 갱신할 수 있습니다.Django에서 데이터베이스 백엔드를 전환했을 때의 SQL 테이블.이거 이상하네.

mysql> SHOW CHARACTER SET;
+----------+-----------------------------+---------------------+--------+
| Charset  | Description                 | Default collation   | Maxlen |
+----------+-----------------------------+---------------------+--------+
...
| utf8     | UTF-8 Unicode               | utf8_general_ci     |      3 | 
...

그러나 http://www.postgresql.org/docs/8.1/interactive/multibyte.html,에서 다음을 발견했습니다.

Name Bytes/Char
UTF8 1-4

Postgre에서 Unicode char는 최대 4바이트를 가집니다.위의 오류를 일으킨 MySQL의 SQL은 3바이트입니까?

이 답들 중 어느 것도 나에게 문제를 해결해주지 못했다.근본 원인은 다음과 같습니다.

utf-8 문자 집합에서는 MySQL에 4바이트 문자를 저장할 수 없습니다.

MySQL에는 utf-8 문자의 3바이트 제한이 있습니다(네, 여기 Django 개발자에 의해 잘 요약되어 있습니다).

이 문제를 해결하려면 다음을 수행해야 합니다.

1. utf8mb4 문자 집합을 사용하도록 MySQL 데이터베이스, 테이블 및 열을 변경합니다(MySQL 5.5 이상에서만 사용 가능).
2. 다음과 같이 Django 설정 파일에서 문자 집합을 지정합니다.

설정을 지정합니다.화이

DATABASES = {
    'default': {
        'ENGINE':'django.db.backends.mysql',
        ...
        'OPTIONS': {'charset': 'utf8mb4'},
    }
}

참고: 데이터베이스를 다시 작성할 때 '지정된 키가 너무 깁니다' 문제가 발생할 수 있습니다.

가장 가능성이 높은 원인은CharFieldmax_length가 255이고 그 위에 어떤 종류의 인덱스(예: 고유)가 있습니다.utf8mb4는 utf-8보다 33% 더 많은 공간을 사용하기 때문에 이러한 필드를 33% 더 작게 만들어야 합니다.

이 경우 max_length를 255에서191로 변경합니다.

또는 MySQL 구성을 편집하여 이 제한을 제거할 수 있지만 일부 django 해커리가 없으면 이 제한을 제거할 수 없습니다.

업데이트: 이 문제가 다시 발생하여 Postgre로 전환되었습니다.SQL을 줄일 수 없었기 때문에VARCHAR최대 191자입니다.

같은 문제가 발생하여 열의 문자 집합을 변경하여 해결했습니다.데이터베이스에 기본 문자 집합이 있는 경우에도utf-8MySQL에서 데이터베이스 열의 문자 집합이 다를 수 있다고 생각합니다.사용한 SQL QUERY는 다음과 같습니다.

    ALTER TABLE database.table MODIFY COLUMN col VARCHAR(255)
    CHARACTER SET utf8 COLLATE utf8_general_ci NOT NULL;

이 문제가 있는 경우 mysql 데이터베이스의 모든 열을 자동으로 변경하는 python 스크립트가 있습니다.

#! /usr/bin/env python
import MySQLdb

host = "localhost"
passwd = "passwd"
user = "youruser"
dbname = "yourdbname"

db = MySQLdb.connect(host=host, user=user, passwd=passwd, db=dbname)
cursor = db.cursor()

cursor.execute("ALTER DATABASE `%s` CHARACTER SET 'utf8' COLLATE 'utf8_unicode_ci'" % dbname)

sql = "SELECT DISTINCT(table_name) FROM information_schema.columns WHERE table_schema = '%s'" % dbname
cursor.execute(sql)

results = cursor.fetchall()
for row in results:
  sql = "ALTER TABLE `%s` convert to character set DEFAULT COLLATE DEFAULT" % (row[0])
  cursor.execute(sql)
db.close()

새 프로젝트라면 데이터베이스를 삭제하고 적절한 문자 집합으로 새 프로젝트를 만듭니다.

CREATE DATABASE <dbname> CHARACTER SET utf8;

나는 방금 위의 오류를 피할 수 있는 한 가지 방법을 알아냈다.

데이터베이스에 저장

user.first_name = u'Rytis'.encode('unicode_escape')
user.last_name = u'Slatkevičius'.encode('unicode_escape')
user.save()
>>> SUCCEED

print user.last_name
>>> Slatkevi\u010dius
print user.last_name.decode('unicode_escape')
>>> Slatkevičius

이러한 문자열을 MySQL 테이블에 저장하고 표시할 템플릿으로 렌더링하기 전에 디코딩하는 유일한 방법입니까?

텍스트 필드의 조회를 UTF8_general_ci로 변경하면 문제가 해결됩니다.

이건 장고에서는 할 수 없는 일이야

@madprops answer - django 관리 명령어로서의 솔루션:

import MySQLdb
from django.conf import settings

from django.core.management.base import BaseCommand


class Command(BaseCommand):

    def handle(self, *args, **options):
        host = settings.DATABASES['default']['HOST']
        password = settings.DATABASES['default']['PASSWORD']
        user = settings.DATABASES['default']['USER']
        dbname = settings.DATABASES['default']['NAME']

        db = MySQLdb.connect(host=host, user=user, passwd=password, db=dbname)
        cursor = db.cursor()

        cursor.execute("ALTER DATABASE `%s` CHARACTER SET 'utf8' COLLATE 'utf8_unicode_ci'" % dbname)

        sql = "SELECT DISTINCT(table_name) FROM information_schema.columns WHERE table_schema = '%s'" % dbname
        cursor.execute(sql)

        results = cursor.fetchall()
        for row in results:
            print(f'Changing table "{row[0]}"...')
            sql = "ALTER TABLE `%s` convert to character set DEFAULT COLLATE DEFAULT" % (row[0])
            cursor.execute(sql)
        db.close()

이게 나 말고 다른 사람에게 도움이 되길 바래:)

Unicode 문자열을 저장하는 것이 아니라 UTF-8 인코딩으로 테스트링을 저장하려고 합니다.실제 유니코드 문자열 리터럴로 만듭니다.

user.last_name = u'Slatkevičius'

또는 (문자열 리터럴이 없는 경우) utf-8 인코딩을 사용하여 디코딩합니다.

user.last_name = lastname.decode('utf-8')

테이블만 바꾸면 됩니다.아무것도 필요 없습니다.데이터베이스에서 이 쿼리를 실행합니다.문자 집합 utf8로 변환된 대체 테이블

분명 효과가 있을 거야

언급URL : https://stackoverflow.com/questions/2108824/mysql-incorrect-string-value-error-when-save-unicode-string-in-django