mysqltxt文件导入 load data infile 需要注意的地方

最新推荐文章于 2024-09-18 09:54:55 发布
最新推荐文章于 2024-09-18 09:54:55 发布
阅读量4.4k 收藏 3
点赞数
文章标签： mysql

LOAD DATA INFILE 一直被认为是MySQL很强大的一个数据导入工具，因为他速度非常的快。
不过有几个问题一定要注意
1、编码。
2、灵活导入导出。

我来举两个例子说明一下。
一、关于编码
我们的示例文本文件：
“我爱你”,”20”,”相貌平常，经常耍流氓！哈哈”
“李奎”,”21”,”相貌平常，经常耍流氓！哈哈”
“王二米”,”20”,”相貌平常，经常耍流氓！哈哈”
“老三”,”24”,”很强”
“老四”,”34”,”XXXXX”
“老五”,”52”,”*%￥￥￥￥”
“小猫”,”45”,”中间省略。。。”
“小狗”,”12”,”就会叫”
“小妹”,”21”,”PP的很”
“小坏蛋”,”52”,”表里不一”
“上帝他爷”,”96”,”非常英俊”
“MM来了”,”10”,”。。。”
“歌颂党”,”20”,”社会主义好”
“人民好”,”20”,”的确是好”
“老高”,”10”,”学习很好”
“斜三”,”60”,”眼睛斜了”
“中华之子”,”100”,”威武的不行了”
“大米”,”63”,”我爱吃”
“苹果”,”15”,”好吃”
我们的示例表结构：

+——-+———————————————————————————————————————————————————————————————————————————————————————–+
| Table | Create Table |
+——-+———————————————————————————————————————————————————————————————————————————————————————–+
| t0 | CREATE TABLE t0 (
id bigint(20) unsigned NOT NULL auto_increment,
name char(20) NOT NULL,
age tinyint(3) unsigned NOT NULL,
description text NOT NULL,
PRIMARY KEY (id),
UNIQUE KEY idx_name (name)
) ENGINE=MyISAM DEFAULT CHARSET=utf8 |
+——-+———————————————————————————————————————————————————————————————————————————————————————–+
1 row in set (0.00 sec)

我们把这个文本文件从WINDOWS 下COPY到LINUX下看看

mysql> load data infile ‘/tmp/t0.txt’ ignore into table t0 character set gbk fields terminated by ‘,’ enclosed by ‘”’ lines terminated by ‘\n’ (name,age,description);
Query OK, 19 rows affected (0.01 sec)
Records: 19 Deleted: 0 Skipped: 0 Warnings: 0

mysql> select * from t0;
+—-+———-+—–+—————————-+
| id | name | age | description |
+—-+———-+—–+—————————-+
| 1 | 我爱你 | 20 | 相貌平常，经常耍流氓！哈哈 |
| 2 | 李奎 | 21 | 相貌平常，经常耍流氓！哈哈 |
| 3 | 王二米 | 20 | 相貌平常，经常耍流氓！哈哈 |
| 4 | 老三 | 24 | 很强 |
| 5 | 老四 | 34 | XXXXX |
| 6 | 老五 | 52 | *%￥￥￥￥ |
| 7 | 小猫 | 45 | 中间省略。。。 |
| 8 | 小狗 | 12 | 就会叫 |
| 9 | 小妹 | 21 | PP的很 |
| 10 | 小坏蛋 | 52 | 表里不一 |
| 11 | 上帝他爷 | 96 | 非常英俊 |
| 12 | MM来了 | 10 | 。。。 |
| 13 | 歌颂党 | 20 | 社会主义好 |
| 14 | 人民好 | 20 | 的确是好 |
| 15 | 老高 | 10 | 学习很好 |
| 16 | 斜三 | 60 | 眼睛斜了 |
| 17 | 中华之子 | 100 | 威武的不行了 |
| 18 | 大米 | 63 | 我爱吃 |
| 19 | 苹果 | 15 | 好吃 |
+—-+———-+—–+—————————-+
19 rows in set (0.00 sec)

我来说明一下相关的参数
关于我的导入语句，我现在直说两个，其他的参考手册。
character set gbk;

这个字符集一定要写，要不然就会乱码或者只导入一部分数据。

ignore into table

因为name 列加了唯一索引，加这个是为了避免重复数据插入报错。

加入我们再次运行这个导入语句就会发现
Query OK, 0 rows affected (0.00 sec)
Records: 19 Deleted: 0 Skipped: 19 Warnings: 0
没有任何值导入，因为里面已经有了相同的值。

这里也可以用replace into table
MySQL会把相同的先干掉，再插入新的值。
mysql> load data infile ‘/tmp/t0.txt’ replace into table t0 character set gbk fields terminated by ‘,’ enclosed by ‘”’ lines terminated by ‘\n’ (name,age,description);
Query OK, 38 rows affected (0.00 sec)
Records: 19 Deleted: 19 Skipped: 0 Warnings: 0

mysql> select * from t0;
+—-+———-+—–+—————————-+
| id | name | age | description |
+—-+———-+—–+—————————-+
| 20 | 我爱你 | 20 | 相貌平常，经常耍流氓！哈哈 |
| 21 | 李奎 | 21 | 相貌平常，经常耍流氓！哈哈 |
| 22 | 王二米 | 20 | 相貌平常，经常耍流氓！哈哈 |
| 23 | 老三 | 24 | 很强 |
| 24 | 老四 | 34 | XXXXX |
| 25 | 老五 | 52 | *%￥￥￥￥ |
| 26 | 小猫 | 45 | 中间省略。。。 |
| 27 | 小狗 | 12 | 就会叫 |
| 28 | 小妹 | 21 | PP的很 |
| 29 | 小坏蛋 | 52 | 表里不一 |
| 30 | 上帝他爷 | 96 | 非常英俊 |
| 31 | MM来了 | 10 | 。。。 |
| 32 | 歌颂党 | 20 | 社会主义好 |
| 33 | 人民好 | 20 | 的确是好 |
| 34 | 老高 | 10 | 学习很好 |
| 35 | 斜三 | 60 | 眼睛斜了 |
| 36 | 中华之子 | 100 | 威武的不行了 |
| 37 | 大米 | 63 | 我爱吃 |
| 38 | 苹果 | 15 | 好吃 |
+—-+———-+—–+—————————-+
19 rows in set (0.00 sec)

(name,age,description);

这些也就是具体的表属性了，指明这个就可以导入想要的数据。
2、关于灵活性，其实也就是一个记录功能
如果想在导入的时候记录一下导入的具体时间怎么办？
我们来看看
先加一个时间属性记录导入时间。
mysql> alter table t0 add update_time timestamp not null;
Query OK, 19 rows affected (0.00 sec)
Records: 19 Duplicates: 0 Warnings: 0
干掉唯一索引
mysql> alter table t0 drop index idx_name;
Query OK, 19 rows affected (0.00 sec)
Records: 19 Duplicates: 0 Warnings: 0

mysql> load data infile ‘/tmp/t0.txt’ into table t0 character set gbk fields terminated by ‘,’ enclosed by ‘”’ lines terminated by ‘\n’ (name,age,description) set update_time=current_timestamp;
Query OK, 19 rows affected (0.00 sec)
Records: 19 Deleted: 0 Skipped: 0 Warnings: 0

mysql> select * from t0;
+—-+———-+—–+—————————-+———————+
| id | name | age | description | update_time |
+—-+———-+—–+—————————-+———————+
| 20 | 我爱你 | 20 | 相貌平常，经常耍流氓！哈哈 | 0000-00-00 00:00:00 |
…………
| 24 | 老四 | 34 | XXXXX | 0000-00-00 00:00:00 |
| 25 | 老五 | 52 | *%￥￥￥￥ | 0000-00-00 00:00:00 |
…………
| 35 | 斜三 | 60 | 眼睛斜了 | 0000-00-00 00:00:00 |
| 36 | 中华之子 | 100 | 威武的不行了 | 0000-00-00 00:00:00 |
…………
| 60 | 王二米 | 20 | 相貌平常，经常耍流氓！哈哈 | 2008-06-30 14:58:37 |
…………
| 68 | 上帝他爷 | 96 | 非常英俊 | 2008-06-30 14:58:37 |
| 69 | MM来了 | 10 | 。。。 | 2008-06-30 14:58:37 |
…………
| 75 | 大米 | 63 | 我爱吃 | 2008-06-30 14:58:37 |
| 76 | 苹果 | 15 | 好吃 | 2008-06-30 14:58:37 |
+—-+———-+—–+—————————-+———————+
38 rows in set (0.00 sec)

新导入的19条记录时间被记录了下来。
只是之前的数据库没有记录，不过现在不需要这些重复数据了。

干掉他就可以了

mysql> alter table t0 order by id desc;
Query OK, 38 rows affected (0.01 sec)
Records: 38 Duplicates: 0 Warnings: 0

mysql> alter ignore table t0 add unique index idx_name (name);
Query OK, 38 rows affected (0.00 sec)
Records: 38 Duplicates: 19 Warnings: 0

mysql> alter table t0 order by id asc;
Query OK, 19 rows affected (0.01 sec)
Records: 19 Duplicates: 0 Warnings: 0

mysql> select * from t0;
+—-+———-+—–+—————————-+———————+
| id | name | age | description | update_time |
+—-+———-+—–+—————————-+———————+
| 58 | 我爱你 | 20 | 相貌平常，经常耍流氓！哈哈 | 2008-06-30 14:58:37 |
| 59 | 李奎 | 21 | 相貌平常，经常耍流氓！哈哈 | 2008-06-30 14:58:37 |
| 60 | 王二米 | 20 | 相貌平常，经常耍流氓！哈哈 | 2008-06-30 14:58:37 |
| 61 | 老三 | 24 | 很强 | 2008-06-30 14:58:37 |
| 62 | 老四 | 34 | XXXXX | 2008-06-30 14:58:37 |
| 63 | 老五 | 52 | *%￥￥￥￥ | 2008-06-30 14:58:37 |
| 64 | 小猫 | 45 | 中间省略。。。 | 2008-06-30 14:58:37 |
| 65 | 小狗 | 12 | 就会叫 | 2008-06-30 14:58:37 |
| 66 | 小妹 | 21 | PP的很 | 2008-06-30 14:58:37 |
| 67 | 小坏蛋 | 52 | 表里不一 | 2008-06-30 14:58:37 |
| 68 | 上帝他爷 | 96 | 非常英俊 | 2008-06-30 14:58:37 |
| 69 | MM来了 | 10 | 。。。 | 2008-06-30 14:58:37 |
| 70 | 歌颂党 | 20 | 社会主义好 | 2008-06-30 14:58:37 |
| 71 | 人民好 | 20 | 的确是好 | 2008-06-30 14:58:37 |
| 72 | 老高 | 10 | 学习很好 | 2008-06-30 14:58:37 |
| 73 | 斜三 | 60 | 眼睛斜了 | 2008-06-30 14:58:37 |
| 74 | 中华之子 | 100 | 威武的不行了 | 2008-06-30 14:58:37 |
| 75 | 大米 | 63 | 我爱吃 | 2008-06-30 14:58:37 |
| 76 | 苹果 | 15 | 好吃 | 2008-06-30 14:58:37 |
+—-+———-+—–+—————————-+———————+
19 rows in set (0.00 sec)

现在是达到了目的了，为啥中途要干掉唯一索引呢？因为set 语法 再有IGNORE 的时候会忽略掉。

本文出自 “上帝，咱们不见不散！” 博客，请务必保留此出处
http://yueliangdao0608.blog.51cto.com/397025/84767

SHUIPING_YANG
关注
Mysql——》用load data命令把txt导入到Mysql
小仙~
12-08 631
Mysql——》用load data命令把txt导入到Mysql
mysql批量load事务_MySQL批量数据导入Load data infile解决方案
weixin_39789646的博客
02-04 715
有时候我们需要将大量数据批量写入数据库，直接使用程序语言和Sql写入往往很耗时间，其中有一种方案就是使用MySql Load data infile导入文件的形式导入数据，这样可大大缩短数据导入时间。假如是从MySql客户端调用，将客户端的文件导入，则需要使用 load local data infile.LOAD DATA INFILE 语句以很高的速度从一个文本文件中读取行到一个表中。文件名必...
mysql load data infile的使用
weixin_30532987的博客
04-25 260
LOAD DATA [LOW_PRIORITY | CONCURRENT] [LOCAL] INFILE 'file_name.txt' [REPLACE | IGNORE] INTO TABLE tbl_name [FIELDS [TERMINATED BY 'string'] [[OPTIONALLY] ENCLOSED BY 'char'] [...
MySQL--loaddata infile、outfile into及mysqldump高效导入导出数据_mysql load outfile
最新发布
2401_87167780的博客
09-18 2351
本文将会介绍以及测试这几种MySQL导入导出数据的方式及使用注意事项，参数可能会比较多，大家可以学习最常用的就好，这里分享出来，希望能帮助到有需要的小伙伴~进入正文~本文以Windows下操作为例，Linux也是一样的方法，区别在于路径语法不同而已~ 创建一个MySQL数据库和数据表，方便进行测试~ 一、命令source实现 2.1 导入数据 （1）准备内容如下： **存放路径：**C:/Users/Administrator/Desktop/insert.sql（2）先登录到MySQL命令行 打开cmd命
load data导txt文件进mysql中的数据
知小寒
04-16 673
load data导txt文件进mysql中的数据 1、实验内容： 利用SQL语句“load data ”将“.txt”文本文件中的数据导入到mysql中 2、实验过程： 首先我创了一个txt（也可以是其他的），设置其编码为utf-8，在windows下默认编码是ANSI。 设置方法，打开一个空txt文件...
MySQL5 LOAD DATA 深入研究
weixin_34291004的博客
08-29 202
MySQL5 LOAD DATA 深入研究   数据库中，最常见的写入数据方式是通过SQL INSERT来写入，另外就是通过备份文件恢复数据库，这种备份文件在MySQL中是SQL脚本，实际上执行的还是在批量INSERT语句。   在实际中，常常会遇到两类问题：一类是数据导入，比如从word、excel表格或者txt文档导入数据（这些数据一般来自于非技术人员通过OFFICE工具录入的文档）；...
mysql in 文本_我们如何使用带有“ ENCLOSED BY”选项的MySQL LOAD DATA INFILE语句将数据从文本文件导入MySQL表？...
weixin_34207880的博客
02-04 738
有时，输入文本文件的文本字段用双引号引起来，要从此类文件中导入数据，我们需要在LOAD DATA INFILE语句中使用“ ENCLOSED BY”选项。我们正在请看以下示例以使其理解-示例以下是A.txt文件中逗号分隔的值-100,”Ram”,”INDIA”,25000101,”Mohan”,”INDIA”,28000我们想将此数据导入到名为employee2_tbl的以下文件中-mysql&g...
Java利用MYSQL LOAD DATA LOCAL INFILE实现大批量导入数据到MySQL
08-27
Java大批量导入MySQL是一种高效的数据导入方式，使用MYSQL的LOAD DATA LOCAL INFILE语句可以快速地从一个文本文件中读取行，并装入一个表中。这种方式广泛应用于数据交换和导入，尤其是在数据量非常大的情况下。 ...
mysql导入数据load data infile注意事项
Jarvis的博客
11-25 2694
注意注意： 1.在远程客户端使用load data infile的话，需要添加FILE权限。 2.如果是导入有中文的数据，我的mysql 设置的utf8 字符集，所以你要导入的xxx.txt 文件也要保存utf-8的字符集。 3.在远程客户端（需要添加选项：--local-infile=1）导入远程客户端文本到MySQL，需指定LOCAL（默认就是ignore）,加ignore选项会放弃
load data infile 导数据到mysql注意事项
a445125901的博客
11-01 263
语法：load data infile “c:\xxx.csv” into table table_name; 1、ERROR 1290 The MySQL server is running with the --secure-file-priv option so it cannot execute this statement；      解决办法： show variables l
mysql 远程load data_mysql导入数据load data infile用法整理
weixin_32183107的博客
01-18 1735
有时候我们需要将大量数据批量写入数据库，直接使用程序语言和Sql写入往往很耗时间，其中有一种方案就是使用MySql Load data infile导入文件的形式导入数据，这样可大大缩短数据导入时间。假如是从MySql客户端调用，将客户端的文件导入，则需要使用 load local data infile.LOAD DATA INFILE 语句以很高的速度从一个文本文件中读取行到一个表中。文件名必...
load data in file to table
dao_wolf的博客
01-11 1056
Oracle   --create table   create table users(       user_id number,           --用户 ID       user_name varchar2(50),   --用户名       login_times number,       --登陆次数       last_login date        ...
MySQL 快速导入数据指令load Data 详解
小兀的博客
04-13 9580
介绍mysql快速导入数据指令load data
mysql loadinfile_MySQL LOAD DATA INFILE语法
weixin_29011239的博客
02-17 553
load data infile '/tmp/temp.txt' into table table_namefields terminated by ',' lines terminated by '\n' (col1,col2,...)将temp.txt中的数据高速导入到table_name中，并且规定插入的列(col1,col2,...)temp.txt中的文件格式为：1,datacenter...
load date infile问题
wxc20062006的专栏
10-10 604
linux: Linux exchange1 3.10.0-327.el7.x86_64 mysql: 5.6.37 场景：使用load命令批量加载文件时，发生如下错误信息，文件只导入了一半，另一半没有导入成功 mysql> LOAD DATA INFILE '/xxxx/tmpdir/psi1.csv' INTO TABLE xxxxxxxxx     -> fields termina
mysql loadinfile_(转)mysql中的load data infile用法
weixin_36450447的博客
01-19 1451
LOAD DATA [LOW_PRIORITY] [LOCAL] INFILE 'file_name.txt' [REPLACE | IGNORE]INTO TABLE tbl_name[FIELDS[TERMINATED BY '\t'][OPTIONALLY] ENCLOSED BY ''][ESCAPED BY '\\' ]][LINES TERMINATED BY '\n'][IGNORE...
Mysql导入数据load data infile
三少GG
07-28 3520
mysql有一个高效导入方法，那就是load data infile 下面来看案例说明   基本语法： load data  [low_priority] [local] infile 'file_name txt' [replace | ignore] into table tbl_name [fields [terminated by't'] [OPTIONALLY] enc
mysql Load Data InFile 的用法
09-11
`LOAD DATA INFILE` 是 MySQL 数据库中一种高效的数据导入工具，它允许用户从外部文本文件快速批量导入数据到数据库的表中。相比于使用 `INSERT INTO` 语句逐条插入，`LOAD DATA INFILE` 在处理大量数据时速度显著更...
MYSQL8.0中关于load data infile命令
weixin_62870602的博客
08-11 3745
MYSQL8.0中关于load data infile命令，和load data local infile命令出现报错。
MySQL 使用 Load Data Infile 命令 导入数据的方法
Georgetwo的博客
03-08 4304
MySQL 使用 Load Data Infile 命令 导入数据的方法 前言 网上大多数观点提到，为了数据安全，MySQL的导入数据功能默认是关闭的。要使用该命令首先要开启使用权限。 导入句子：load data [low_priority] [local] infile ‘file_name txt’ [replace | ignore] into table tbl_name [fields [terminated by’t’] [OPTIONALLY] enclosed by ‘’] [escap
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值