Python
文章平均质量分 71
zhaoya_huangqing
梦想+坚持
展开
-
python 字符串组成MySql 命令时,字符串含有单引号或者双引号导致出错解决办法
python 字符串组成MySql 命令时,字符串含有单引号或者双引号导致出错解决办法原创 2015-08-27 22:22:37 · 10971 阅读 · 1 评论 -
配合scrapy,用请求方式抓取一些网站内容。例如抓取360手机应用APP信息。
并不是一想到抓取网页就开始写scrapy爬虫,其实根据需求选择适当的方式来抓取反而效率更高。 例如抓取360手机应用各种分类的前5页的信息。我们不写scrapy,而直接去分析请求消息的样式,模拟发送这个消息,然后分析返回的内容,同样可以获取想要的信息。更重要的是,在对于一些JS动态加载内容(例如抓取Googleplay上的应用)抓取时,这种方式去获取重要信息后再配合scrapy抓取,就能获得更好原创 2015-08-28 22:33:38 · 1477 阅读 · 0 评论