10个python爬虫入门实例(小结)

这篇文章主要介绍了10个python爬虫入门实例(小结)，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧

昨天带伙伴萌学习python爬虫，准备了几个简单的入门实例

涉及主要知识点:

1. web是如何交互的
2. requests库的get、post函数的应用
3. response对象的相关函数，属性
4. python文件的打开，保存

代码中给出了注释，并且可以直接运行哦

如何安装requests库(安装好python的朋友可以直接参考，没有的，建议先装一哈python环境)

windows用户，Linux用户几乎一样:

打开cmd输入以下命令即可，如果python的环境在C盘的目录，会提示权限不够，只需以管理员方式运行cmd窗口

|

1

|

pip install -``i https:``/``/``pypi.tuna.tsinghua.edu.cn``/``simple requests

|

Linux用户类似(ubantu为例): 权限不够的话在命令前加入sudo即可

|

1

|

sudo pip install -i https:``//pypi``.tuna.tsinghua.edu.cn``/simple requests

|

1.爬取强大的BD页面，打印页面信息

# 第一个爬虫示例,爬取百度页面

import requests #导入爬虫的库，不然调用不了爬虫的函数

response = requests.get(``"[http://www.baidu.com](http://www.baidu.com/)"``) #生成一个response对象

response.encoding = response.apparent_encoding #设置编码格式

print``(``"状态码:"``+ str``( response.status_code ) ) #打印状态码

print``(response.text)``#输出爬取的信息

|

2.常用方法之get方法实例，下面还有传参实例

# 第二个get方法实例

import requests #先导入爬虫的库，不然调用不了爬虫的函数

<