阿华华华华的博客

在实现内容的爬取后，我想实现用户头像的下载。其实只需要在前一部分的代码中再加上关于图片url的链接即可。 第一个实例图片url获取def get_data(html ): final = [] **pictures = []**#存放图片url bs = BeautifulSoup(html, "html.parser") body = bs.body

写在开头刚刚入门Python，一切都是摸索阶段。把自己的问题记录下来避免之后再犯相同的错误。运气好或许还能帮助有缘人( ⊙o⊙ )Python入门Python的简单入门主要需要看两个文档：requests和bs4。链接如下： requests bs4爬虫实例学习在真正开始写自己的第一个爬虫的实例前，在网上看了其他许多大神的教程。这里是我第一个复制练习的例子： 大神教程 这是一个一周天气的信息

在实现第一页内容和头像的获取后，想实现代码自动翻页获取后面内容。其原理就是找到下一页的链接，并且访问即可。主要是在第二个实例中加入部分代码 第二个实例获取html内容def get_info( url, data = None): header = { 'Accept': 'text/html,application/xhtml+xml,application/xml;

这里是参考了博主登录知乎这篇文章。但是登录时遇到了一个问题，就是需要我输入验证码。可能博主写的时候不需要输入验证码，因此没有考虑到这个问题。最后参考了知乎大神验证码部分的代码，实现了登录功能。这里也使用了cookies来实现免登录。整个代码如下。import requestsimport randomtry: import cookielibexcept: import htt

这次这玩意折腾我了半天，终于成功了/(ㄒoㄒ)/~~。急需把中间遇到的问题详细记录下来宣泄一下在前面代码的基础上，想尝试将知乎上关注某话题的用户头像爬取下来。在参考了知乎大神们的回答之后，修改完善了自己的代码，终于可以运行成功了。相比较前面的内容，其实只多了一个offset概念（就是知乎用来加载后续用户头像的插件？每次加载20个，通过post传递）。其他就是requests,bs4的内容。但不得不说

随着爬取到的数据增多，原来使用的excel文件变得不那么方便。把获取到的数据存入数据库中则更加有利于后面的数据分析和数据查询。这次我将豆瓣对某部电视剧的用户评分数据爬取下来，并存入了mysql数据库中。而这过程中，mysql的配置需要进行一定的修改，这个之后写到再说！d===(￣▽￣*)b需要引入的包# coding : UFT-8import requestsimport randomimp

2017年新年快乐Ｏ(≧口≦)Ｏ！希望自己这一年能比去年更加优秀！赶完论文又出去浪了一圈，直到现在才收心放学习上。就先把之前scrapy第一个小程序整理一下，明天开始新的内容练习(^__^) 这一次还是拿wuli凯凯王的电视剧练手，抓取符合要求的评论生成json文件并将数据存入mysql数据库中。这里是scrapy入门教程，看完之后加以修改，基本可以实现本次任务要求（这个貌似还支持NoSQL，文档中

win10下python3.5 scrapy安装