zy的博客

1.术语说明str.format()方法通过字符串中的花括号{}来识别替换字段replacement field，从而完成字符串的格式化。 替换字段由字段名field name和转换字段conversion field以及格式说明符format specifier组成，即一般形式为{字段名!转换字段:格式说明符}。 字段名分为简单字段名simple field name...

1.提取属性值response.xpath("//a/@href").get()#get()方法等同于extract()[0],getall()方法等同于extract()2.提取标签值response.xpath("//a/text()").get()3.提取段落所有文字#获取a标签下的所有标签组response.xpath("//a").get()#去除标签，...

1.正则表达式函数python中调用re模块可使用正则表达式匹配字符串1.1re.match()函数re.match 尝试从字符串的起始位置匹配一个模式，如果不是起始位置匹配成功的话，match()就返回none。函数语法：re.match(pattern, string, flags=0)匹配成功re.match方法返回一个匹配的对象，否则返回None。我们可以使...

os.path.join()功能：连接两个或更多的路径名组件 如果各组件名首字母不包含’\’，则函数会自动加上 如果有一个组件是一个绝对路径，则在它之前的所有组件均会被舍弃 如果最后一个组件为空，则生成的路径以一个’\’分隔符结尾 注意：添加的是'\'不是'/'！！！！很多文章这里写的都是'/'不知为啥？？Demo1import ospath1='home'path2='d...

三个函数os.path.exists() #判断目录是否存在 os.mkdir() #创建目录 os.makedirs() #多层创建目录使用前都需要调用os库DEMOdef mkdir(path): # 引入模块 import os # 去除首位空格 path=path.strip() # 去除尾部 \ ...

使用scrapy框架爬虫时，用到xpath提取网页标签时，时常用到extract()，有时加上[0]，或是extract_first()，那么它们的意义分别是什么呢？举个栗子这是一个简单的html结构~<ul class="list"> <li>123</li> <li>abc</li></ul>#...

meta是response方法中的参数作用：在不同的函数之间传递数据，需要爬取二级界面时，在spider中使用很方便~meta参数的数据类型是字典，即meta={'key'：value} meta参数在不同函数中都要用response对象调用 value可以是任意类型的数据，以response.meta['key']形式调用爬取王者荣耀英雄技能信息的爬虫实例# -*- codi...

Response构造器 response对象作为形参出现在爬虫文件的parse方法中response构造器的参数列表Request(url [, callback=None, method='GET', headers=None, body=None,cookies=None, meta=None, encoding='utf-8', priority=0,dont_filter=...

使用pip安装软件包时，出现ReadTimeoutError，查找资料发现是因为pip下载默认使用国外的源，换成国内的源下载会大大提高下载速度。错误如下：pip._vendor.urllib3.exceptions.ReadTimeoutError: HTTPSConnectionPool(host='files.pythonhosted.org', port=443): Read timed...