15.分布式爬虫 mysql

默认redis和mysql是不支持远程连接的

mysql

1. 制作一个镜像文件
2. docker run --tid --name center 3a54 (默认的ubutun)
3. docker ps -a
4. 配置中心节点
5. docker attach 2eaf
6. cat /etc/hosts
7. mysql -h 127.0.0.1 -u root -p
8. password
9. /etc/init.d/mysql restart
10. mysql -h 127.0.0.1 -u root -p
11. 如果进入sql模式，exit退出
12. mysql -h 172.17.0.8 -u root -p
13. 连接不上
14. vim /etc/mysql/my.cnf
15. 注释掉 : bind-address = 127.0.0.1 #注释掉，保存退出
16. 重启服务器： /etc/init.d/mysql restart
17. root 只支持本地步支持远程
18. mysql -h 127.0.0.1 -u root -p
19. create user “hello”@"%" identified by “123456” #%表示任意主机连接
20. grant create,select,update,delete,insert on . to hello #*.*表示所有表
21. 以上是创建一个用户，并赋予权限
22. exit
23. mysql -h 172.17.0.08 -u root -p
24. 查看是否能连接成功

redis

1. /etc/init.d/redis-server restart
2. redis-cli -h 127.0.0.1 -p 6879
3. cat /etc/hosts
4. redis-cli -h 172.17.0.8
5. 如果拒绝，修改配置文件
6. vim /etc/redis/redis.conf
7. 注释掉 bind 127.0.0.1 #注释掉，保存并退出
8. etc/init.d/redis-server restart
9. 可能需要重启容器
10. docker ps -a
11. docker stop 2eaf
12. docker start 2eaf
13. /etc/init.d/redis-server restart
14. /etc/init.d/mysql restart
15. ctrl+p+q 不结束任务，退出

创建子节点

1. docker images
2. docker run --tid --name c1 --link center 3a54
3. 测试mysql是否能远程连接 : mysql -h 172.17.0.8 -u hello -p
4. show databases;
5. 测试redis： redis-cli -h 172.17.0.8 能进入就连接上了
6. 这样就配置成功了
7. 之后在子节点中 写爬虫文件
8. 测试完成之后，
9. 把该子节点做成一个镜像
10. docker commit afab hello:ok
11. 最后根据这个镜像创建 容器
12. docker run -tid --name c2 --link center ec48 (连接哪个服务器，更具哪个镜像）
13. docker run -tid --name c3 --link center ec48
14. …
15. 最后 进入创建的 容器中，运行爬虫
16. docker attach c2
17. python myscrapy.py
18. ctrl+p+q
19. 依次进入容器，运行爬虫
20. …
21. 最后进入 中心节点 查看结果
22. docker attach center
23. redis-cli
24. hgetall rst