Mysql批处理模式、常见查询示例和在Apache中使用MySQL

1. 批处理模式下使用mysql

    我们可以交互式的使用mysql,也可以在批处理模式下使用mysql。在批处理模式下,将要运行的语句放在文件中,然后告诉mysql从文件中读取其输入:

shell> mysql < batch-file

    如果需要在命令行上指定连接参数,该命令可能如下所示:

shell> mysql -h host -u user -p < batch-file
Enter password: ********

    当通过这种方式使用mysql时,需要创建脚本文件,然后执行。
    当脚本执行过程中需要忽略遇到的错误时,在命令行中使用 --force 选项。
    为什么需要使用脚本?这里有几个原因:

  • 如果你需要重复执行查询任务(每天或者每周),则将其设置为脚本可以避免每次执行时都重新键入。
  • 可以通过复制和编辑脚本文件来生成类似于现有查询的新查询。
  • 在开发查询语句时,批处理模式也很有用,特别是对于多行语句或多语句序列。如果出了错误,不必重新输入所有的内容。只需编辑脚本来更正错误,然后再次执行。
  • 如果有一个产生大量输出的查询,您可以通过pager查看输出,而不是看着它从屏幕顶部滚动:
shell> mysql < batch-file | more
  • 可以捕获文件中的输出以进行进一步的处理:
shell> mysql < batch-file > mysql.out
  • 你可以将脚本分享给其他人,他们也可以执行其中的语句。
  • 某些情况下无法使用交互式。例如,当使用计划任务cron执行查询,在这种情况下,只能使用批处理模式。

    当以批处理模式运行mysql时,默认输出格式与以交互方式使用mysql时不同(批处理模式更简洁一些)。例如,执行语句

SELECT DISTINCT species FROM pet

    交互式模式下输出为:

+---------+
| species |
+---------+
| bird    |
| cat     |
| dog     |
| hamster |
| snake   |
+---------+

    批处理模式下,输出为:

species
bird
cat
dog
hamster
snake

    如果你想在批处理模式下得到交互式输出的结果,使用 mysql -t 。如果想回显执行的语句,使用 mysql -v 。
    你也可以在mysql提示符下通过source或 . 命令来引用脚本:

mysql> source filename;
mysql> \. filename

2. 常见的查询示例

    一些例子使用表shop为某些贸易商(dealer)保存每件商品(article)的价格。假设每个交易者每件物品都有一个固定价格,那么(article,dealer)是记录的主键。
    启动mysql命令行工具并选择一个数据库:

shell> mysql your-database-name

    要创建和填充示例表,请使用以下语句:

CREATE TABLE shop (
    article INT UNSIGNED  DEFAULT '0000' NOT NULL,
    dealer  CHAR(20)      DEFAULT ''     NOT NULL,
    price   DECIMAL(16,2) DEFAULT '0.00' NOT NULL,
    PRIMARY KEY(article, dealer));
INSERT INTO shop VALUES
    (1,'A',3.45),(1,'B',3.99),(2,'A',10.99),(3,'B',1.45),
    (3,'C',1.69),(3,'D',1.25),(4,'D',19.95);

    示例表应包含以下内容:

SELECT * FROM shop ORDER BY article;

+---------+--------+-------+
| article | dealer | price |
+---------+--------+-------+
|       1 | A      |  3.45 |
|       1 | B      |  3.99 |
|       2 | A      | 10.99 |
|       3 | B      |  1.45 |
|       3 | C      |  1.69 |
|       3 | D      |  1.25 |
|       4 | D      | 19.95 |
+---------+--------+-------+

    下面是一些使用MySQL解决一些常见问题的示例。

2.1 求某列最大值

    求项目编号的最大值

MySQL [test]> SELECT MAX(article) AS article FROM shop;
+---------+
| article |
+---------+
|       4 |
+---------+
2.2 包含某列最大值的一行

    任务:找出最贵商品的号码、经销商和价格。
    使用子查询可以轻松完成:

MySQL [test]> SELECT article, dealer, price
    -> FROM   shop
    -> WHERE  price=(SELECT MAX(price) FROM shop);
+---------+--------+-------+
| article | dealer | price |
+---------+--------+-------+
|       4 | D      | 19.95 |
+---------+--------+-------+

    其他解决方案是使用 LEFT JOIN 或按价格降序排列所有行,并使用MySQL特定的 LIMIT 子句仅获取第一行:

SELECT s1.article, s1.dealer, s1.price
FROM shop s1
LEFT JOIN shop s2 ON s1.price < s2.price
WHERE s2.article IS NULL;

SELECT article, dealer, price
FROM shop
ORDER BY price DESC
LIMIT 1;
2.3 每组中列的最大值

    任务:找出每件商品的最高价格。

MySQL [test]> SELECT article, MAX(price) AS price
    -> FROM   shop
    -> GROUP BY article
    -> ORDER BY article;
+---------+-------+
| article | price |
+---------+-------+
|       1 |  3.99 |
|       2 | 10.99 |
|       3 |  1.69 |
|       4 | 19.95 |
+---------+-------+
2.4 保持某列分组最大值的行

    任务:对于每件商品,找到价格最贵的一个或多个经销商。
    这个问题可以用子查询来解决:

MySQL [test]> SELECT article, dealer, price
    -> FROM   shop s1
    -> WHERE  price=(SELECT MAX(s2.price)
    ->               FROM shop s2
    ->               WHERE s1.article = s2.article)
    -> ORDER BY article;
+---------+--------+-------+
| article | dealer | price |
+---------+--------+-------+
|       1 | B      |  3.99 |
|       2 | A      | 10.99 |
|       3 | C      |  1.69 |
|       4 | D      | 19.95 |
+---------+--------+-------+

    前面的示例使用了一个相关子查询,这是低效的。解决该问题的其他可能方法是在FROM子句中使用不相关的子查询或 LEFT JOIN 。
    不相关子查询:

SELECT s1.article, dealer, s1.price
FROM shop s1
JOIN (
  SELECT article, MAX(price) AS price
  FROM shop
  GROUP BY article) AS s2
  ON s1.article = s2.article AND s1.price = s2.price
ORDER BY article;

    LEFT JOIN:

SELECT s1.article, s1.dealer, s1.price
FROM shop s1
LEFT JOIN shop s2 ON s1.article = s2.article AND s1.price < s2.price
WHERE s2.article IS NULL
ORDER BY s1.article;

    LEFT JOIN 的工作原理是:当 s1.price 处于最大值时,s2.price 没有更大的值,因此相应的 s2.article 值为 NULL 。

2.5 使用用户定义的变量

    您可以使用MySQL用户变量来记住结果,而不必将结果存储在客户端的临时变量中。
    例如,要查找价格最高和最低的商品,可以执行以下操作:

MySQL [test]> SELECT @min_price:=MIN(price),@max_price:=MAX(price) FROM shop;
+------------------------+------------------------+
| @min_price:=MIN(price) | @max_price:=MAX(price) |
+------------------------+------------------------+
|                   1.25 |                  19.95 |
+------------------------+------------------------+

MySQL [test]> SELECT * FROM shop WHERE price=@min_price OR price=@max_price;
+---------+--------+-------+
| article | dealer | price |
+---------+--------+-------+
|       3 | D      |  1.25 |
|       4 | D      | 19.95 |
+---------+--------+-------+

    也可以将数据库对象(如表或列)的名称存储在用户变量中,然后在SQL语句中使用此变量;但是,这需要使用准备好的语句。

2.6 使用外键

    在MySQL中,InnoDB表支持检查外键约束。
    外键约束不仅仅需要连接两个表。对于InnoDB以外的存储引擎,在定义列时可以使用 REFERENCES tbl_name(col_name) 子句,该子句没有实际效果,并且仅作为您当前定义的列打算引用另一个表中的列的备注或注释。当使用这种语法时,要认识到:

  • MySQL不执行任何类型的检查,以确保 tbl_name 中确实存在 col_name (或者甚至 tbl_name 自身存在)。
  • MySQL不会对 tbl_name 执行任何类型的操作,例如删除行,以响应对您定义的表中的行执行的操作。换句话说,此语法不会导致任何关于删除或更新的行为(尽管您可以编写 on DELETE 或 on UPDATE 子句作为REFERENCES子句的一部分,但它也会被忽略)。
  • 此语法创建列,它不创建任何类型的索引或键。

    您可以使用这样创建的列作为联接列,如下所示:

CREATE TABLE person (
    id SMALLINT UNSIGNED NOT NULL AUTO_INCREMENT,
    name CHAR(60) NOT NULL,
    PRIMARY KEY (id)
);

CREATE TABLE shirt (
    id SMALLINT UNSIGNED NOT NULL AUTO_INCREMENT,
    style ENUM('t-shirt', 'polo', 'dress') NOT NULL,
    color ENUM('red', 'blue', 'orange', 'white', 'black') NOT NULL,
    owner SMALLINT UNSIGNED NOT NULL REFERENCES person(id),
    PRIMARY KEY (id)
);

INSERT INTO person VALUES (NULL, 'Antonio Paz');

SELECT @last := LAST_INSERT_ID();

INSERT INTO shirt VALUES
(NULL, 'polo', 'blue', @last),
(NULL, 'dress', 'white', @last),
(NULL, 't-shirt', 'blue', @last);

INSERT INTO person VALUES (NULL, 'Lilliana Angelovska');

SELECT @last := LAST_INSERT_ID();

INSERT INTO shirt VALUES
(NULL, 'dress', 'orange', @last),
(NULL, 'polo', 'red', @last),
(NULL, 'dress', 'blue', @last),
(NULL, 't-shirt', 'white', @last);

SELECT * FROM person;
+----+---------------------+
| id | name                |
+----+---------------------+
|  1 | Antonio Paz         |
|  2 | Lilliana Angelovska |
+----+---------------------+

SELECT * FROM shirt;
+----+---------+--------+-------+
| id | style   | color  | owner |
+----+---------+--------+-------+
|  1 | polo    | blue   |     1 |
|  2 | dress   | white  |     1 |
|  3 | t-shirt | blue   |     1 |
|  4 | dress   | orange |     2 |
|  5 | polo    | red    |     2 |
|  6 | dress   | blue   |     2 |
|  7 | t-shirt | white  |     2 |
+----+---------+--------+-------+

SELECT s.* FROM person p INNER JOIN shirt s
   ON s.owner = p.id
 WHERE p.name LIKE 'Lilliana%'
   AND s.color <> 'white';

+----+-------+--------+-------+
| id | style | color  | owner |
+----+-------+--------+-------+
|  4 | dress | orange |     2 |
|  5 | polo  | red    |     2 |
|  6 | dress | blue   |     2 |
+----+-------+--------+-------+

    以这种方式使用时,REFERENCES子句不会显示在 SHOW CREATE TABLE 或 DESCRIBE 的输出中:

SHOW CREATE TABLE shirt\G
*************************** 1. row ***************************
Table: shirt
Create Table: CREATE TABLE `shirt` (
`id` smallint(5) unsigned NOT NULL auto_increment,
`style` enum('t-shirt','polo','dress') NOT NULL,
`color` enum('red','blue','orange','white','black') NOT NULL,
`owner` smallint(5) unsigned NOT NULL,
PRIMARY KEY  (`id`)
) ENGINE=MyISAM DEFAULT CHARSET=latin1

    以这种方式将REFERENCES作为列定义中的注释或“提醒”适用于MyISAM表。

2.7 在两个键上搜索

    一个 or 使用一个键是很好的优化,就像处理 and 一样。
    一个棘手的情况是,在两个不同的键上搜索,并结合 or :

SELECT field1_index, field2_index FROM test_table
WHERE field1_index = '1' OR  field2_index = '1'

    您可以通过使用一个 UNION 来有效地解决问题,该联合将两个单独的SELECT语句的输出组合在一起。
    每个SELECT只搜索一个键,可以进行优化:

SELECT field1_index, field2_index
    FROM test_table WHERE field1_index = '1'
UNION
SELECT field1_index, field2_index
FROM test_table WHERE field2_index = '1';
2.8 计算每天的访问量

    下面的示例演示如何使用位组函数计算用户每月访问网页的天数。

CREATE TABLE t1 (year YEAR, month INT UNSIGNED,
             day INT UNSIGNED);
INSERT INTO t1 VALUES(2000,1,1),(2000,1,20),(2000,1,30),(2000,2,2),
            (2000,2,23),(2000,2,23);

    示例表包含表示用户访问该页的年月日值。要确定每月这些访问发生的不同天数,请使用此查询:

SELECT year,month,BIT_COUNT(BIT_OR(1<<day)) AS days FROM t1
       GROUP BY year,month;

    将会返回:

+------+-------+------+
| year | month | days |
+------+-------+------+
| 2000 |     1 |    3 |
| 2000 |     2 |    2 |
+------+-------+------+

    该查询计算表中每个年/月组合出现的不同天数,并自动删除重复条目。

2.9 使用自增
2.9.1 自增属性

    自增(AUTO_INCREMENT)属性可用于为新行生成唯一标识:

CREATE TABLE animals (
     id MEDIUMINT NOT NULL AUTO_INCREMENT,
     name CHAR(30) NOT NULL,
     PRIMARY KEY (id)
);

INSERT INTO animals (name) VALUES
    ('dog'),('cat'),('penguin'),
    ('lax'),('whale'),('ostrich');

SELECT * FROM animals;

    将会返回:

+----+---------+
| id | name    |
+----+---------+
|  1 | dog     |
|  2 | cat     |
|  3 | penguin |
|  4 | lax     |
|  5 | whale   |
|  6 | ostrich |
+----+---------+

    没有为AUTO_INCREMENT列指定值,因此MySQL会自动分配序列号。也可以显式地将0分配给列以生成序列号,除非启用了NO_AUTO_VALUE_ON_ZERO SQL模式。例如:

INSERT INTO animals (id,name) VALUES(0,'groundhog');

    如果列被声明为不为空,也可以将空值赋给列以生成序列号。例如:

INSERT INTO animals (id,name) VALUES(NULL,'squirrel');

    在 AUTO_INCREMENT 列中插入任何其他值时,该列将设置为该值并重置序列,以便下一个自动生成的值从最大的列值开始按顺序排列。例如:

INSERT INTO animals (id,name) VALUES(100,'rabbit');
INSERT INTO animals (id,name) VALUES(NULL,'mouse');
SELECT * FROM animals;
+-----+-----------+
| id  | name      |
+-----+-----------+
|   1 | dog       |
|   2 | cat       |
|   3 | penguin   |
|   4 | lax       |
|   5 | whale     |
|   6 | ostrich   |
|   7 | groundhog |
|   8 | squirrel  |
| 100 | rabbit    |
| 101 | mouse     |
+-----+-----------+

    在 InnoDB表中更新现有的 AUTO_INCREMENT列不会像MyISAM 和 NDB表那样重置 AUTO_INCREMENT序列。
    可以使用 LAST_INSERT_ID() SQL函数或mysql_insert_id() C API 函数检索最近自动生成的AUTO_INCREMENT值。这些函数是特定于连接的,因此它们的返回值不受另一个也在执行插入的连接的影响。
    使用AUTO_INCREMENT列的最小整数数据类型,该列足够大,以容纳您需要的最大序列值。当列达到数据类型的上限时,下次生成序列号的尝试将失败。如果可能,请使用UNSIGNED属性以允许更大的范围。例如,如果使用TINYINT,允许的最大序列号是127。对于 UNSIGNED TINYINT,最大值为255。
    注意:对于多行插入,LAST_insert_ID()和mysql_insert_ID()实际上从插入的第一行返回AUTO_INCREMENT键。这样可以在主从复制中的其他服务器上正确复制多行插入。
    若要从1以外的AUTO_INCREMENT值开始,请使用CREATE TABLE或ALTER TABLE设置该值,如下所示:

mysql> ALTER TABLE tbl AUTO_INCREMENT = 100;
2.9.2 MyISAM 笔记
  • 对于MyISAM表,可以在多列索引中的辅助列上指定AUTO_INCREMENT。在这种情况下,AUTO_INCREMENT列的生成值计算为 MAX(auto_increment列) + 1,其中 prefix为给定前缀。当您希望将数据放入有序组时,这非常有用。
CREATE TABLE animals (
    grp ENUM('fish','mammal','bird') NOT NULL,
    id MEDIUMINT NOT NULL AUTO_INCREMENT,
    name CHAR(30) NOT NULL,
    PRIMARY KEY (grp,id)
) ENGINE=MyISAM;

INSERT INTO animals (grp,name) VALUES
    ('mammal','dog'),('mammal','cat'),
    ('bird','penguin'),('fish','lax'),('mammal','whale'),
    ('bird','ostrich');

SELECT * FROM animals ORDER BY grp,id;

    将会返回:

+--------+----+---------+
| grp    | id | name    |
+--------+----+---------+
| fish   |  1 | lax     |
| mammal |  1 | dog     |
| mammal |  2 | cat     |
| mammal |  3 | whale   |
| bird   |  1 | penguin |
| bird   |  2 | ostrich |
+--------+----+---------+

    在这个示例(AUTO_INCREMENT列是多列索引的一部分)中,如果删除任何组中自动增量值最大的行,则将重用自动增量值。

  • 如果AUTO_INCREMENT列是多个索引的一部分,MySQL将使用AUTO_INCREMENT列开始的索引(如果有)生成序列值。例如,如果 animals表包含索引PRIMARY KEY(grp, id)和INDEX (id),MySQL将忽略生成序列值的PRIMARY KEY。因此,该表将包含单个序列,而不是每个grp值都包含一个序列。

3.在Apache中使用MySQL

    有一些程序可以让您从MySQL数据库对用户进行身份验证,还可以让您将日志文件写入MySQL表。
    通过将以下内容放入Apache配置文件中,可以将Apache日志格式更改为MySQL易于读取的格式:

LogFormat \
        "\"%h\",%{%Y%m%d%H%M%S}t,%>s,\"%b\",\"%{Content-Type}o\",  \
        \"%U\",\"%{Referer}i\",\"%{User-Agent}i\""

    要将这种格式的日志文件加载到MySQL中,可以使用如下语句:

LOAD DATA INFILE '/local/access_log' INTO TABLE tbl_name
FIELDS TERMINATED BY ',' OPTIONALLY ENCLOSED BY '"' ESCAPED BY '\\'

    应创建tbl_name表,使其列与LogFormat行写入日志文件的列相对应。
    示例:
    (1)安装httpd服务,yum install -y httpd-devel;
    (2)修改httpd.conf
    原语句如下:

LogFormat "%h %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-Agent}i\"" combined

    将其修改为:

    LogFormat \
        "\"%h\",%{%Y%m%d%H%M%S}t,%>s,\"%b\",\"%{Content-Type}o\",  \
        \"%U\",\"%{Referer}i\",\"%{User-Agent}i\"" combined

    以便与logs/access_log相配合。

   CustomLog "logs/access_log" combined

    (3)对测试页面进行访问,查看日志如下:

# cat access_log 

"192.168.149.1",20200110115615,304,"-","text/html",          "/index.html","-","Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36"
"192.168.149.1",20200110115616,304,"-","text/html",          "/index.html","-","Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36"
"192.168.149.1",20200110115617,304,"-","text/html",          "/index.html","-","Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36"

    (4)进入数据库命令行,创建记录日志的tbl_name表:

create table tbl_name (
    SourceIP varchar(20),
	AccessTime varchar(20),
	StatusCode INT,
	ByteNum varchar(20),
	ContentType varchar(20),
	URLPath varchar(20),
	Referer varchar(20),
	UserAgent varchar(150)
)

    (5)加载日志可能会遇到一些告警,进行相关处理:
    告警 1:

MySQL [test]> LOAD DATA INFILE '/etc/httpd/logs/access_log' INTO TABLE tbl_name
    -> FIELDS TERMINATED BY ',' OPTIONALLY ENCLOSED BY '"' ESCAPED BY '\\' ;
ERROR 1290 (HY000): The MySQL server is running with the --secure-file-priv option so it cannot execute this statement

    处理方法:在/etc/my.cnf相关区域添加并重启mysql:

secure_file_priv=

告警 2:

MySQL [test]> LOAD DATA INFILE '/etc/httpd/logs/access_log' INTO TABLE tbl_name FIELDS TERMINATED BY ',' OPTIONALLY ENCLOSED BY '"' ESCAPED BY '\\';
ERROR 13 (HY000): Can't get stat of '/etc/httpd/logs/access_log' (Errcode: 13 - Permission denied)

    处理方法:因为/etc/httpd/logs链接到/var/log/httpd,修改/var/log/httpd目录权限即可。
    告警 3:

MySQL [test]> LOAD DATA INFILE '/etc/httpd/logs/access_log' INTO TABLE tbl_name FIELDS TERMINATED BY ',' OPTIONALLY ENCLOSED BY '"' ESCAPED BY '\\';
ERROR 1261 (01000): Row 1 doesn't contain data for all columns

    处理方法:临时做如下设置

MySQL [test]> set sql_mode='';

    最后,日志顺利导入数据库:

MySQL [test]> LOAD DATA INFILE '/etc/httpd/logs/access_log' INTO TABLE tbl_name FIELDS TERMINATED BY ',' OPTIONALLY ENCLOSED BY '"' ESCAPED BY '\\';
Query OK, 4 rows affected, 10 warnings (0.03 sec)
Records: 4  Deleted: 0  Skipped: 0  Warnings: 10

    (6)查询数据库,进行验证:

MySQL [test]> select * from tbl_name \G
*************************** 1. row ***************************
   SourceIP: 
 AccessTime: NULL
 StatusCode: NULL
    ByteNum: NULL
ContentType: NULL
    URLPath: NULL
    Referer: NULL
  UserAgent: NULL
*************************** 2. row ***************************
   SourceIP: 192.168.149.1
 AccessTime: 20200110115615
 StatusCode: 304
    ByteNum: -
ContentType: text/html
    URLPath:           "/index.ht
    Referer: -
  UserAgent: Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36
*************************** 3. row ***************************
   SourceIP: 192.168.149.1
 AccessTime: 20200110115616
 StatusCode: 304
    ByteNum: -
ContentType: text/html
    URLPath:           "/index.ht
    Referer: -
  UserAgent: Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36
*************************** 4. row ***************************
   SourceIP: 192.168.149.1
 AccessTime: 20200110115617
 StatusCode: 304
    ByteNum: -
ContentType: text/html
    URLPath:           "/index.ht
    Referer: -
  UserAgent: Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36
4 rows in set (0.00 sec)

    个人感觉这个功能有点鸡肋啊。每次都需要手动导入数据库,无法自动导入,还需要自己编写定时计划来执行脚本;而且每次都会将以前的数据重复导入,如果想用在实践中,大概只能每天先切割完日志再导入了。

在这里插入图片描述

参考文档

https://dev.mysql.com/doc/refman/5.7/en/tutorial.html

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值