利用selenium工具,可支持多种浏览器。网上资料比较多。经过比较,我选择了Splinter模块,因为利用Splinter开发浏览器自动化操作,编写代码比较简单。
一、Splinter的安装
Splinter的使用必修依靠Cython、lxml、selenium这三个软件。所以,安装前请提前安装
Cython、lxml、selenium。以下给出链接地址:
1)http://download.csdn.net/detail/feisan/4301293
2)http://code.google.com/p/pythonxy/wiki/AdditionalPlugins#Installation_no
3)http://pypi.python.org/pypi/selenium/2.25.0#downloads
4)http://splinter.cobrateam.info/
注:selenium安装后注意下载相应的浏览器的驱动文件,下到后最好和浏览器所在位置放一起,然后将其路径设置为windows的环境变量
from selenium import webdriver
browser = webdriver.Chrome() # Get local session of Chrome
#如可启动浏览器,设置成功
二、Splinter的使用
接着使用fill()方法,填写密码。至于模拟点击按钮,也是要先找到按钮控件的id,然后使用click()方法。
由于代码较简单,我就只在代码中给出注解说明工作原理。
(测试环境win7+python2.7.3+Chrome)
1)代码
----------------------------------------
#coding=utf-8
import time
from splinter import Browser
def splinter(url):
if __name__ == '__main__':
Python果然是够强大,参考网上一个智普啥的python视频培训,自己又完善了下。要让python打开浏览器,并访问指定网址,很简单只需下面两句话:
import webbrowser as web
web.open_new_tab('www.baidu.com')
如果你想访问一定次数或者一直访问,那就加个while True。下面给出完整程序,然后再解释:
- #coding=utf-8
- import webbrowser as web
- import time
- import os
- import random
- M = random.randint(10,15)
- print '随机数 = ', M
- N = 10
- j = 0
- while j < M:
- i = 0
- while i < N:
- web.open_new_tab('http://blog.sina.com.cn/s/blog_723395a70101josb.html')
- i = i + 1
- time.sleep(1.5)
- else:
- os.system('taskkill /F /IM baidubrowser.exe')
- j = j + 1
- else:
- print '本次python总共打开了', M * N, '次'
- o='c:\\windows\\system32\\shutdown -s '
- os.system(o)
#coding=utf-8
import webbrowser as web
import time
import os
import random
M = random.randint(10,15)
print '随机数 = ', M
N = 10
j = 0
while j < M:
i = 0
while i < N:
web.open_new_tab('http://blog.sina.com.cn/s/blog_723395a70101josb.html')
i = i + 1
time.sleep(1.5)
else:
os.system('taskkill /F /IM baidubrowser.exe')
j = j + 1
else:
print '本次python总共打开了', M * N, '次'
o='c:\\windows\\system32\\shutdown -s '
os.system(o)
1、开头是设置编码,支持python打印中文;
2、random.randint(10,15)是生成一个10到15之间的随机数,在这里可以控制访问次数。然后里面又嵌套了一个while,所以最终的访问次数是M*N次;
3、每N次,这里N=10,打开10个浏览器页面后,就要通过taskkill /F /IM baidubrowser.exe命令,杀死浏览器进程。如果是其他浏览器,可以再任务管理器里查看浏览器的进程。通过os.system让windows来执行。如果在linux下要换成kill命令。为啥要每10次就关下浏览器呢?因为如果打开太多,占用资源太多,电脑会挂掉。所以每隔10次关下浏览器。每次打开后,让它休眠一定时间,如果中间不留时间,浏览器还没请求到数据就关了。
4、最后如果刷完了,想要自动关机的话通过shutdown -s命令来实现,方便python半夜执行完任务后自动将浏览器关闭。
xml文件名citylist.xml,数据内容如下:
- <?xml version="1.0" encoding="UTF-8"?>
- <response>
- <list>
- <city>
- <name>天津</name>
- <code>tianjin</code>
- </city>
- <city>
- <name>上海</name>
- <code>shanghai</code>
- </city>
- </list>
- </response>
<?xml version="1.0" encoding="UTF-8"?>
<response>
<list>
<city>
<name>天津</name>
<code>tianjin</code>
</city>
<city>
<name>上海</name>
<code>shanghai</code>
</city>
</list>
</response>
- #-*-coding:utf-8-*-
- import MySQLdb
- from xml.dom import minidom
- doc = minidom.parse("citylist.xml")
- root = doc.documentElement
- citys = root.getElementsByTagName("city")
- conn = MySQLdb.connect(host="local",user="local",passwd="local",db="bw_local", charset='utf8')
- cursor = conn.cursor()
- for city in citys:
- #print city.toxml()
- nameNode = city.getElementsByTagName("name")[0]
- #print (nameNode.nodeName + ":" + nameNode.childNodes[0].nodeValue)
- codeNode = city.getElementsByTagName("code")[0]
- #print (codeNode.nodeName + ":" + codeNode.childNodes[0].nodeValue)
- cursor.execute('insert into original(city,code) values(%s,%s);',(nameNode.childNodes[0].nodeValue,codeNode.childNodes[0].nodeValue))
- conn.commit()
- cursor.close()
- conn.close()
- print "success"
#-*-coding:utf-8-*-
import MySQLdb
from xml.dom import minidom
doc = minidom.parse("citylist.xml")
root = doc.documentElement
citys = root.getElementsByTagName("city")
conn = MySQLdb.connect(host="local",user="local",passwd="local",db="bw_local", charset='utf8')
cursor = conn.cursor()
for city in citys:
#print city.toxml()
nameNode = city.getElementsByTagName("name")[0]
#print (nameNode.nodeName + ":" + nameNode.childNodes[0].nodeValue)
codeNode = city.getElementsByTagName("code")[0]
#print (codeNode.nodeName + ":" + codeNode.childNodes[0].nodeValue)
cursor.execute('insert into original(city,code) values(%s,%s);',(nameNode.childNodes[0].nodeValue,codeNode.childNodes[0].nodeValue))
conn.commit()
cursor.close()
conn.close()
print "success"
doc = minidom.parse("citylist.xml")表示将xml文件中的数据全部加载到变量doc中。
root = doc.documentElement表示获取xml的根结点
citys = root.getElementsByTagName("city")获取要结点下面所有tag为city的数据,这里的根结点是<response></response>,也就是说获取整个文件的city
可以通过for city in citys: print city.toxml()查看一下city的数据结构。
- <city>
- <name>天津</name>
- <code>tianjin</code>
- </city>
<city>
<name>天津</name>
<code>tianjin</code>
</city>
city.getElementsByTagName("name")是获取city下面所有tag为name的数据,是一个数组,因为每一个城市只有一个name,所以可以使用nameNode = city.getElementsByTagName("name")[0]获取到<name>天津</name>这样的结点数据。nameNode.nodeName是获取<name></name>中的name,nameNode.childNodes[0].nodeValue是获取到<name>天津</name>中的“天津”。
结果:
nameNode.nodeName:nameNode.childNodes[0].nodeValue
name:上海
code:shanghai
name:北京
code:beijing
name:保定
code:baoding