![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
python学习
文章平均质量分 84
西瓜无籽
这个作者很懒,什么都没留下…
展开
-
数据爬虫(三):python中requests库使用方法详解
一、什么是RequestsRequests 是⽤Python语⾔编写,基于urllib,采⽤Apache2 Licensed开源协议的 HTTP库。它⽐ urllib 更加⽅便,可以节约我们⼤量的⼯作,完全满⾜HTTP测试需求。⼀句话——Python实现的简单易⽤的HTTP库二、安装Requests库进入命令行win+R执行命令:pip install requests项目导入:import re...转载 2018-04-02 20:27:29 · 542 阅读 · 0 评论 -
数据爬虫(一):爬虫的基本原理介绍
一、什么是爬虫爬虫:请求网站并提取数据的自动化程序百科:网络爬虫(又被称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为网页追逐者),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。 二、爬虫基本流程发起请求:通过HTTP库向目标站点发起请求,即发送一个Request,请求可以包含额外的headers等信息,等待服务器响...转载 2018-04-02 20:30:10 · 1378 阅读 · 0 评论 -
数据爬虫(二):爬虫urllib库基本使用方法
一、urllib.request 请求模块:urllib.request 模块提供了最基本的构造 HTTP (或其他协议如 FTP)请求的方法,利用它可以模拟浏览器的一个请求发起过程。利用不同的协议去获取 URL 信息。它的某些接口能够处理基础认证 ( Basic Authenticaton) 、redirections (HTTP 重定向)、 Cookies (浏览器 Cookies)等情况。而...转载 2018-04-02 20:31:03 · 493 阅读 · 0 评论 -
网络爬虫(四):一个简单的百度贴吧的小爬虫
# -*- coding: utf-8 -*- #--------------------------------------- # 程序:百度贴吧爬虫 # 版本:0.1 # 作者:why # 日期:2013-05-14 # 语言:Python 2.7 # 操作:输入带分页的地址,去掉最后面的数字,设置一下起始页数和终点页数。 # 功能:下载对应页码内的...转载 2018-04-02 22:07:56 · 256 阅读 · 0 评论 -
Python网络爬虫
一、网络爬虫的定义网络爬虫,即Web Spider,是一个很形象的名字。把互联网比喻成一个蜘蛛网,那么Spider就是在网上爬来爬去的蜘蛛。 网络蜘蛛是通过网页的链接地址来寻找网页的。从网站某一个页面(通常是首页)开始,读取网页的内容,找到在网页中的其它链接地址,然后通过这些链接地址寻找下一个网页,这样一直循环下去,直到把这个网站所有的网页都抓取完为止。如果把整个互联网当成一个网站,那么网络蜘蛛就...转载 2018-04-02 22:09:02 · 276 阅读 · 0 评论 -
python爬虫 - Urllib库及cookie的使用
版权声明:本文为博主皮皮http://blog.csdn.net/pipisorry原创文章,未经博主允许不得转载。 https://blog.csdn.net/pipisorry/article/details/47905781 http://blog.csdn.net/pipisorry/article/detail...转载 2018-04-02 22:12:48 · 297 阅读 · 0 评论