python
zhiguoliu11
个人作品:http://www.topscience.top
展开
-
Eclipse_PyDev_Scrapy 安装笔记
window7操作系统,64位。============安装Python============ 下载安装包至此Python安装成功,pip也安装成功,scrapy还未安装。============安装Scrapy============ 安装手册 下载Visual C++ Build Tools 下载Microsoft .NET Framework 4.5.2Microsoft .原创 2017-10-17 17:44:48 · 352 阅读 · 0 评论 -
Python 基础语法笔记1
win7, 64位, Python3.6.3.代码注释注释以#开头,代码块以冒号:开始。Python程序是大小写敏感的。数据类型和变量整数运算永远是精确的,包括除法,而浮点数运算则可能会有四舍五入的误差; 字符串是以单引号'或双引号"括起来的任意文本,如果'本身也是一个字符,那就可以用""括起来,如果单双引号也是字符,需要使用转义符\; 布尔值只有True、False两种值; 逻辑运算:and、or原创 2017-10-18 11:28:53 · 256 阅读 · 0 评论 -
Linux_Python2_Python3 并存安装笔记
环境:Vmware Workstation 10,CentOS-7-x86_64-DVD-1511.iso,Xshell 4.0,ip:192.168.216.140. [root@localhost ~]# wget https://www.python.org/ftp/python/3.6.3/Python-3.6.3.tgz [root@localhost ~]# tar ...原创 2017-12-04 16:45:51 · 478 阅读 · 0 评论 -
Python2和Python3并存,Python3_Scrapy抓取网页
安装python3 [root@localhost ~]# wget https://www.python.org/ftp/python/3.6.3/Python-3.6.3.tgz [root@localhost ~]# tar -zxvf Python-3.6.3.tgz -C /usr/local/ [root@localhost ~]# mv /usr/loca...原创 2018-02-05 16:49:09 · 284 阅读 · 0 评论 -
Scrapy_Proxy 代理
抓取免费代理IP在settings.py文件添加USER_AGENTUSER_AGENT = 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.75 Safari/537.36'编写XiciSpider.py爬取程序# -*- coding: utf-8 -*- i原创 2018-03-14 16:23:51 · 2887 阅读 · 0 评论 -
spiderkeeper+scrapyd 监控scrapy爬虫
scrapyd官方文档,scrapyd-client官方文档,spiderkeeper官方文档 Scrapyd是一个服务,用来运行scrapy爬虫;scrapyd-client提供scrapyd-deploy工具,方便部署scrapy项目到scrapyd中。spiderkeeper可视化管理工具。 C:\Windows\system32>pip install scprayd scra...原创 2019-09-18 15:52:34 · 376 阅读 · 0 评论