因为要爬取图片及对应链接,所以本任务采取的方法是先使用正则把自己所需部分匹配出来,也就是每张图片及对应链接部分
e1list = re.findall('<div class="il_img"><a href=(.*?)</p>',text,re.S)
re.S。它表示“.”的作用扩展到整个字符串,包括“\n”。如果不使用re.S参数,则只在每一行内进行匹配,如果一行没有,就换下一行重新开始,不会跨行。而使用re.S参数以后,正则表达式会将这个字符串作为一个整体,将“\n”当做一个普通的字符加入到这个字符串中,在整体中进行匹配。
初次涉及新建一个文件然后写入爬取内容:
file = open('text.txt','w')
file.write(text2.encode('utf8'))
file.close()
其中还涉及了一个解码问题。一般来说,pycharm中使用的是Unicode编码,然后通过encode解码为utf-8编码。
encode()语法:
str.encode(encoding='UTF-8',errors='strict')
encoding -- 要使用的编码,如"UTF-8"。
errors -- 设置不同错误的处理方案。默认为 'strict',意为编码错误引起一个UnicodeError。 其他可能得值有 'ignore', 'replace', 'xmlcharrefreplace', 'backslashreplace' 以及通过 codecs.register_error() 注册的任何值。
还使用到了os模块,创建一个本地的目录。
saveDir = 'D:\picture\\'
# os.mkdirs(saveDir)
完整代码如下:
# coding:utf8
import re
import urllib
url = 'http://www.ivsky.com/bizhi/index_'+str(1)+'.html'
html = urllib.urlopen(url)
text = html.read()
e1list = re.findall('<div class="il_img"><a href=(.*?)</p>',text,re.S)
namelist = []
urlList = []
for e1 in e1list:
name = re.findall('''target="_blank"(.*?)</a>''',e1,re.S)[1]
namelist.append(name)
url = 'http://www.ivsky.com'+re.findall('''<a href="(.*?)"''',e1,re.S)[0]
urlList.append(url)
file = open('text.txt','w')
for i in range(len(urlList)):
name = namelist[i]
url = urlList[i]
text2 = name+u':'+url+u'\n'
file.write(text2.encode('utf-8'))
file.close()