코드 조각-Android, Java, Spring, JavaScript, C#, C, C++, PHP, HTML, CSS, Delphi

MySQL table에 데이터를 insert하다보면  

Data truncation: Data too long for column '에러가_발생한_필드' at row 1

과 같은 에러를 만나는 경우가 있다.

에러 메시지 자체만 놓고 보면 특정 필드(column)의 선언된 크기보다 insert 될 데이터의 크기가 더 크기 때문으로 보인다.

그런 경우도 있으나 MySQL의 환경 설정상의 원인으로 인한 경우도 있다.

MySQL의 mode가 STRICT인 경우에 위와 같은 에러가 빈번히 발생할수 있다.

MySQL의 설정 파일인 my.cnf에 sql_mode의 값이 STRICT_TRANS_TABLES일 경우 필드에 선언된 대로의 값이 주어지지 않으면 위와같은 에러를 발생시키고 쿼리문을 중단한다.

현재의 sql_mode가 어떤 내용인지를 확인할려면 my.cnf를 열어서 확인할수도 있고 아래와 같이 MySQL에 접속한 상태에서 

# mysql -umysql아이디 -p로 mysql에 접속한 상태에서 select @@global.sql_mode 명령어로 현재의 sql-mode를 확인할수 있다.

mysql> select @@global.sql_mode;

+----------------------------------+

| @@global.sql_mode              |

+----------------------------------+

| NO_ENGINE_SUBSTITUTION    |

+----------------------------------+

sql_mode가 STRICT일 경우는 insert 작업을 까다롭게 관리해서 데이터의 무결성을 위해서는 좋으나 사실은 번거로운 상황이다.

STRICT모드를 변경할려면 my.cnf의 sql_mode의 내용을 변경해 주면 된다.

CentOS의 경우 

# vi /etc/my.cnf 파일을 열어서

# Recommended in standard MySQL setup

sql_mode=NO_ENGINE_SUBSTITUTION, STRICT_TRANS_TABLES

sql_mode에서 STRICT_TRANS_TABLES를 제거하거나 아니면 sql_mode 자체를 주석처리해서 사용하지 않도록 하면된다.

저장 후 mysql 데몬을 재 시작해 준다.

# service mysqld restart

MySQL 테이블의 특정 필드에 한글을 insert하다보면 아래와 같은 에러가 발생하는 경우를 만날수 있다.

ERROR 1366 (HY000): Incorrect string value: ...

kkk라는 테이블이 아래와 같은 형식으로 생성되어 있다고 가정하면,

mysql> show create table kkk;

+-------+----------------------------------------------------------------------------------------------------------------------------------------------------------+

| Table | Create Table                                                                                                                                             |

+-------+----------------------------------------------------------------------------------------------------------------------------------------------------------+

| kkk   | CREATE TABLE `kkk` (

  `bdid` bigint(11) unsigned NOT NULL,

  `name` varchar(80) NOT NULL,

  PRIMARY KEY (`bdid`)

) ENGINE=InnoDB DEFAULT CHARSET=latin1 |

+-------+----------------------------------------------------------------------------------------------------------------------------------------------------------+

1 row in set (0.00 sec)

위와 같이 kkk라는 테이블이 있을 경우 DEFAULT CHARSET=latin1으로 되어 있다.

이때 한글을 name 필드에 insert하게 되면 아래와 같은 에러가 발생한다.

mysql> insert into kkk (bdid, name) values (1, '한글입력');

ERROR 1366 (HY000): Incorrect string value: '\xED\x95\x9C\xEA\xB8\x80...' for column 'name' at row 1

이 문제 해결을 위해서는 default character set을 utf8로 변경해 주면 깨끗이 해결된다.

kkk라는 테이블을 생성하는 DDL 문에서 아예 utf8로 설정해서 테이블을 생성해 주면 된다.

다음과 같이

CREATE TABLE `kkk` (

  `bdid` bigint(11) unsigned NOT NULL,

  `name` varchar(80) NOT NULL,

  PRIMARY KEY (`bdid`)

) ENGINE=InnoDB DEFAULT CHARSET=utf8;

MySQL 필드의 내용이 한글 일 경우 Java 소스코드 상 SELECT문의 비교문에서 인식이 안되는 문제가 있다.

mysql> select * from board;

+------+-----------------+

| bdid | name            |

+------+-----------------+

|    1 | 공지사항        |

|    2 | QandA           |

|    3 | 자유게시판      |

|    4 | menu            |

+------+-----------------+

board라는 테이블의 내용이 위와 같다고 할 경우

select bdid from board where name = '자유게시판';

과 같은 구문에서 bdid의 값 3이 추출되지 않는다.

만일 select bdid from board where name = 'QandA';

와 같이 한글이 아닌 영문일 경우는 정상적으로 bdid의 값 2를 추출할 수 있다.

이 문제는 MySQL의 환경설정 중 character set상에서의 문제이다.

mysql> show variables like '%chara%';

+--------------------------+----------------------------+

| Variable_name            | Value                      |

+--------------------------+----------------------------+

| character_set_client     | utf8                       |

| character_set_connection | utf8                       |

| character_set_database   | latin1                     |

| character_set_filesystem | binary                     |

| character_set_results    | utf8                       |

| character_set_server     | utf8                       |

| character_set_system     | utf8                       |

| character_sets_dir       | /usr/share/mysql/charsets/ |

+--------------------------+----------------------------+

비록 위와 같이 MySQL variagle들이 utf8로 설정되어 있다하더라도 

/etc/my.cnf라는 설정 파일을 아래와 같이 charater set을 모두 설정해 주어야 한글이 정상적으로 select문에서 작동하게 된다.

[client]

default-character-set = utf8

[mysql]

default-character-set = utf8

[mysqld]

#

# Remove leading # and set to the amount of RAM for the most important data

# cache in MySQL. Start at 70% of total RAM for dedicated server, else 10%.

# innodb_buffer_pool_size = 128M

#

# Remove leading # to turn on a very important data integrity option: logging

# changes to the binary log between backups.

# log_bin

#

# Remove leading # to set options mainly useful for reporting servers.

# The server defaults are faster for transactions and fast SELECTs.

# Adjust sizes as needed, experiment to find the optimal values.

# join_buffer_size = 128M

# sort_buffer_size = 2M

# read_rnd_buffer_size = 2M

datadir=/var/lib/mysql

socket=/var/lib/mysql/mysql.sock

character-set-server = utf8

collation-server = utf8_general_ci

init_connect=SET collation_connection = utf8_general_ci

init_connect=set NAMES utf8

character-set-client-handshake = FALSE

skip-character-set-client-handshake

wait_timeout=31536000

[mysqldump]

default-character-set = utf8

# Disabling symbolic-links is recommended to prevent assorted security risks

#symbolic-links=0

# Recommended in standard MySQL setup

#sql_mode=NO_ENGINE_SUBSTITUTION,STRICT_TRANS_TABLES

[mysqld_safe]

log-error=/var/log/mysqld.log

pid-file=/var/run/mysqld/mysqld.pid

위와 같이 설정 후 MySQL 데몬을 재가동해 준다.

# service mysqld restart

Database의 DB table이 생성되어 있을 때 이들 table 생성시 사용했던 DDL(Data Definition Language)를 보고 싶을 경우가 있다.

한마디로 이미 생성되어 있는 DB table들의 DDL을 뽑아내는 방법에 대한 것이다.

명령어 구문은(MySQL에 접속한 상태에서)

mysql> show create table 테이블명;

mysql> show create table kkk;

+-------+----------------------------------------------------------------------------------------------------------------------------------------------------------+

| Table | Create Table                                                                                                                                             |

+-------+----------------------------------------------------------------------------------------------------------------------------------------------------------+

| kkk   | CREATE TABLE `kkk` (

  `bdid` bigint(11) unsigned NOT NULL,

  `name` varchar(80) NOT NULL,

  PRIMARY KEY (`bdid`)

) ENGINE=InnoDB DEFAULT CHARSET=latin1 |

+-------+----------------------------------------------------------------------------------------------------------------------------------------------------------+

1 row in set (0.00 sec)

kkk라는 테이블을 생성한 DDL 구문이다.

여기서 ENGINE의 종류는 InnoDB이다. MySQL의 경우 2가지 엔진 타입이 있는 InnoDB와 MyISAM이 있다.

InnoDB의 경우는 빈번한 쓰기, 수정, 삭제가 발생할 경우 유리하고

MyISAM은 InnoDB에 비해 상대적으로 성능이 높은 편인데 주로 읽기 위주의 처리에 높은 성능을 발휘한다.

반면에 MyISAM은 빈번한 쓰기, 수정, 삭제가 발생하는 경우라면 오히려 InnoDB보다 성능이 못하다고 한다.

정답은 상황에 맞게...

여기서 또 한가 주목할 부분은 DEFAULT CHARSET=latin1을 되어 있다.

이럴 경우 한글을 insert할 때 에러가 발생한다.

이 문제에 대한 해법은 다음 링크 참조.

default charset과 한글 입력 문제

mysql의 table을 생성할 때 로컬의 특정 파일이 담고 있는 내용을 table의 값으로 저장해야하는 경우가 있다.

이때 로컬의 특정 파일은 dump 파일 일수도 있고, 일반적인 txt 파일 일수도 있다.

test.txt에 ,로 구분되어 다음과 같은 내용이 담겨 있다고 하면

홍길동,남,010-1234-4567,YES

장길동,여,011-0123-1111,NO

...

이 내용을 mysql의 특정 table의 내용으로 저장하는 작업을 할수도 있다.

혹은 로컬의 특정 파일의 내용이 다음과 같이 |로 필드의 값이 구분되어 있다고 할 경우

12      |       74109    |

30      |       29        |

36      |       184914  |

37      |       42        |

46      |       39        |

67      |       32033   |

76      |       155892  |

77      |       74311   |

79      |       74313   |

80      |       155892 |

90      |       34102   |

91      |       34103   |

.....

이럴 경우 mysqlimport 명령어를 이용하면 된다.

mysqlimport  -uroot  -p  --local  --fields-terminated-by="|"  yyy  merged.dmp

여기서 -uroot는 mysql 사용자 계정의 id가 root라는 뜻이고 -p옵션은 mysql 사용자 계정의 비번을 입력하겠다는 것이다. 

이 경우는 비번을 입력하지 않으면 위의 명령어를 실행할 때 비번을 묻게 된다.

--local 옵션을 주지 않으면 로컬 파일인 merged.dmp를 읽지 못하고 다음과 같은 에러를 발생 시킨다.

mysqlimport: Error: 13, Can't get stat of '/var/lib/mysql/yyy/merged.dmp' (Errcode: 2 - No such file or directory), when using table: merged

이 에러는 DB 명으로 입력한 yyy를 디렉토리 경로로 인식하는 문제다.

그 다음 옵션인 --fields-terminated-by="|"는 table저장할 데이터가 들어 있는 merged.dmp의 내용이 위에서 보는바와 같이 |를 기준으로 필드의 값이 구분되어 있다.

따라서 필드 구분자를 지정해 줘야 한다. 만일 ,로 구분되어 있다면 --fields-terminated-by=","와 같이 하면된다.

그다음 옵션인 yyy는 Database 이름이다. yyy라는 데이터베이스 안에 merged라는 table에 merged.dmp가 가지고 있는 내용을 table의 각 레코드와 필드에 값을 저장하게 된다.

이때 만일 다음과 같은 에러가 발생할 것이다.

mysqlimport: Error: 1290, The MySQL server is running with the --secure-file-priv option so it cannot execute this statement, when using table: merged

이 에러는 보안 상의 이유로 특정 디렉토리에 있는 파일에 대해서만 위의 명령어를 실행할수 있도록 설정되어 있다는 뜻이고 그 특정 디렉토리가 어느 곳인지를 알려면

mysql -u사용자id -p사용자비번

으로 들어가서 

mysql>show variables like 'secure%';

를 실행하면

+------------------+--------------------------+

| Variable_name    | Value             |

+------------------+--------------------------+

| secure_auth      | ON                  |

| secure_file_priv  | /aaa/bbb/ccc/     |

+------------------+---------------------------+

와 같은 정보가 나올 것이다. 이것은 /aaa/bbb/ccc/라는 디렉토리에서만 mysqlimport로 특정 파일의 내용을 mysql db의 table에 값을 저장할수 있다는 뜻이다.

만일 secure-file-priv 자체를 off 시키고 싶다면

우분투의 경우 /etc/mysql/mysql.cnf 파일 안의 맨 끝에 

secure-file-priv=""를 한줄 추가한 후

# service mysql restart

를 실행해서 mysql을 재실행해 주면 mysql.cnf의 설정대로 적용이 되어 secure-file-priv를 off하게 된다.

보안을 위해 이 작업 후에는 역시 mysql.cnf의 

secure-file-priv="/aaa/bbb/ccc/"로 변경후 역시 mysql을 restart시키는 것이 신상에 좋을 것이다.

혹은 mysqlimport와 동일한 기능을 다음과 같이도 가능하다.

mysql에 접속해서(mysql -u사용자id -p)

mysql> LOAD DATA INFILE '/var/lib/mysql-files/merged.dmp' INTO TABLE merged FIELDS TERMINATED BY '\t|\t' LINES TERMINATED BY '\t|\n' (old_tax_id, new_tax_id);

여기서 /var/lib/mysql-files/merged.dmp는 mysql db의 table에 저장할 데이터가 들어 있는 로컬의 (텍스트)파일,

FIELDS TERMINATED BY '\t|\t'는 /var/lib/mysql-files/merged.dmp 파일의 필드 구분자가 '\t|\t'라는 뜻이고

LINES TERMINATED BY '\t|\n'는 /var/lib/mysql-files/merged.dmp 파일의 row(레코드) 구분자가 '\t|\n'라는 뜻이고

(old_tax_id, new_tax_id)는 /var/lib/mysql-files/merged.dmp 파일의 내용을 읽어서 저장할 merged라는 table의 필드명이다.

대용량 데이터를 처리해본 결과 mysqlimport에 비해서 LOAD DATA INFILE의 방식이 훨씬 안정적으로 동작했다.

JSP에서 MySQL 사용하기

JSP에서는 보통 Oracle DB와 연동을 하는 경우가 많은데 

MySQL과 연동하는 경우도 있다. 이를 위한 설정 작업에 대해서이다.

(1) APM을 설치하는 방식

Apache, PHP, MySQL을 설치한 경우에도 JSP에서 간단히 MySQL과 연동할수 있다.

APM은 설치하기가 간단하기 때문에 이 방식이 편리할수도 있다.

 ① MySQL용 JDBC 드라이버 설치

APM을 통해서 MySQL이 설치가 되었다면 JSP에서 MySQL에 접속하기 위해서는 JDBC라는 드라이버를 설치해야 한다. 이를 설치하기 위해서는

http://www.mysql.com/ ⇒ Downloads 탭 ⇒ Community라는 하위 탭 ⇒ 우측의 MySQL Connectors 항목 클릭 ⇒ Connector/J  ⇒ Connector/J 5.1.40 하위의 ZIP 파일 다운로드 ⇒ 압축을 푼 후 mysql-connector-java-5.1.40-bin.jar를 Java가 설치된 폴더 중 jre7/lib/ext 폴더에 복사해 넣는다. 그리고 JSP 프로젝트의 WEB-INF/lib 폴더에도 복사해 넣는다.

여기까지가 되면 JSP에서 MySQL을 사용할 준비가 된것이다.

※ MySQL Connectors가 각 언어별(C++, .Net, Python...) 접속 드라이버를 제공하는데 그 중에서 Connector/J가 Java를 위한 연결(접속) 드라이버이다. 즉 JDBC 라이브러리이다.

(2) MySQL을 독립적으로 설치하기

http://www.mysql.com/ ⇒ Downloads 탭 ⇒ Community라는 하위 탭 ⇒ 우측의 MySQL Community Server 클릭 ⇒ Download MySQL Community Server로 이동 ⇒ MySQL Community Server 5.7.17에대한 다운로드들 중 ZIP 압축파일이 아닌 MSI 형태의 Installer를 다운로드 할 것 즉 Windows (x86, 32-bit), MSI Installer를 다운로드 할 것  ⇒ 설치

※ 설치 방법은 좀 복잡한데 다음 사이트 참조

http://withcoding.com/26

(3) JSP에서 사용하기

<%@page import="java.sql.ResultSet"%>

<%@page import="java.sql.Statement"%>

<%@page import="java.sql.Connection"%>

<%@page import="java.sql.DriverManager"%>

<%

Class.forName("com.mysql.jdbc.Driver");

/*

Connection java.sql.DriverManager.getConnection(String url, String user, String password) throws SQLException

Parameters:

url - a database url of the form jdbc:subprotocol:subname

user - the database user on whose behalf the connection is being made

password - the user's password

Returns:

a connection to the URL

Throws:

SQLException - if a database access error occurs

*/

//아래에서 world는 DB 이름이다.

//2번째 매개인자 aabb : world라는 DB의 계정 id

//3번째 매개인자 ccee : world라는 DB의 계정 비번

Connection conn = null;

  conn = DriverManager.getConnection("jdbc:mysql://localhost:3306/world?useUnicode=true&characterEncoding=utf8", "aabb", "ccee");

String qry = "select Name, Population, CountryCode from city";

Statement stmt = null;

ResultSet rt = null;

if (conn != null){

out.println("world DB로 연결 성공<br/>");

stmt = conn.createStatement();

rt = stmt.executeQuery(qry);

%>

<table border="1" cellspacing="0" cellpadding="5" valign="middle">

<tr>

<th>국가명</th>

<th>인 구</th>

<th>국가코드</th>

</tr>

<%

  while(rt.next())

{

%>

<tr>

<td><%= rt.getString("Name") %></td>

<td><%= rt.getString("Population") %> 명</td>

<td><%= rt.getString("CountryCode") %></td>

<tr>

<%

} //while 

%>

</table>

<%

conn.close();

out.println("DB close~<br/>");

} else {

out.println("world DB로 연결 실패<br/>");

}

%>