mysql快速生成千万条测试数据的方法

1. 创建一个临时内存表, 做数据插入的时候会比较快些

   -- 创建一个临时内存表
   DROP TABLE IF EXISTS `vote_record_memory`;
   CREATE TABLE `vote_record_memory` (
       `id` int(10) unsigned NOT NULL AUTO_INCREMENT,
       `user_id` varchar(20) NOT NULL DEFAULT '',
       `vote_num` int(10) unsigned NOT NULL DEFAULT '0',
       `group_id` int(10) unsigned NOT NULL DEFAULT '0',
       `status` tinyint(2) unsigned NOT NULL DEFAULT '1',
       `create_time` datetime NOT NULL DEFAULT CURRENT_TIMESTAMP,
       PRIMARY KEY (`id`),
       KEY `index_user_id` (`user_id`) USING HASH
   ) ENGINE=InnoDB AUTO_INCREMENT=1 DEFAULT CHARSET=utf8;

2. – 创建一个普通表，用作模拟大数据的测试用例

   DROP TABLE IF EXISTS `vote_record`;
   CREATE TABLE `vote_record` (
       `id` int(10) unsigned NOT NULL AUTO_INCREMENT,
       `user_id` varchar(20) NOT NULL DEFAULT '' COMMENT '用户Id',
       `vote_num` int(10) unsigned NOT NULL DEFAULT '0' COMMENT '投票数',
       `group_id` int(10) unsigned NOT NULL DEFAULT '0' COMMENT '用户组id 0-未激活用户 1-普通用户 2-vip用户 3-管理员用户',
       `status` tinyint(2) unsigned NOT NULL DEFAULT '1' COMMENT '状态 1-正常 2-已删除',
       `create_time` datetime NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '创建时间',
       PRIMARY KEY (`id`),
       KEY `index_user_id` (`user_id`) USING HASH COMMENT '用户ID哈希索引'
   ) ENGINE=InnoDB DEFAULT CHARSET=utf8 COMMENT='投票记录表';

3. 为了数据的随机性和真实性，我们需要创建一个可生成长度为n的随机字符串的函

4. -- 创建生成长度为n的随机字符串的函数
   DELIMITER // -- 修改MySQL delimiter：'//'
   DROP FUNCTION IF EXISTS `rand_string` //
   SET NAMES utf8 //
   CREATE FUNCTION `rand_string` (n INT) RETURNS VARCHAR(255) CHARSET 'utf8'
   BEGIN 
       DECLARE char_str varchar(100) DEFAULT 'abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ0123456789';
       DECLARE return_str varchar(255) DEFAULT '';
       DECLARE i INT DEFAULT 0;
       WHILE i < n DO
           SET return_str = concat(return_str, substring(char_str, FLOOR(1 + RAND()*62), 1));
           SET i = i+1;
       END WHILE;
       RETURN return_str;
   END //

1. 为了操作方便，我们再创建一个插入数据的存储过程

2. -- 创建插入数据的存储过程
   DROP PROCEDURE IF EXISTS `add_vote_record_memory` 
   
   DELIMITER //
   CREATE PROCEDURE `add_vote_record_memory`(IN n INT)
   BEGIN
       DECLARE i INT DEFAULT 1;
       DECLARE vote_num INT DEFAULT 0;
       DECLARE group_id INT DEFAULT 0;
       DECLARE status TINYINT DEFAULT 1;
       DECLARE id INT DEFAULT 1;
       WHILE i < n DO
           SET vote_num = FLOOR(1 + RAND() * 10000);
           SET group_id = FLOOR(0 + RAND()*3);
           SET status = FLOOR(1 + RAND()*2);
           SET id = i;
           INSERT INTO `vote_record_memory` VALUES (id, rand_string(20), vote_num, group_id, status, NOW());
           SET i = i + 1;
       END WHILE;
   END //
   DELIMITER ;  -- 改回默认的 MySQL delimiter：';'

   3.开始执行存储过程，等待生成数据

-- 调用存储过程 生成1000W条数据 用时一小时左右

CALL add_vote_record_memory(10000000); 

4.把数据从内存表插入到普通表中

INSERT INTO vote_record SELECT * FROM `vote_record_memory`;

5.

1. 查询普通表已的生成记录

2. SELECT count(*) FROM `vote_record`;
   -- count(*)
   -- 9999999