python爬虫开发引言

1、什么是爬虫

向网站发起请求,获取资源后分析并提取有用数据的程序; 从技术层面来说就是 通过程序模拟浏览器请求站点的行为,把站点返回的HTML代码/JSON数据/二进制数据(图片、视频) 爬到本地,进而提取自己需要的数据,存放起来使用（源自百度解释）

2、爬虫可以用来做什么？常见的应用:搜索引擎，数据分析，抢票软件，网页数据获取

3、为什么选用Python语言：

语法优美、代码简洁、开发效率高、支持的模块多。相关的HTTP请求模块和HTML解析模块非常丰富。还有Scrapy和Scrapy-redis框架让我们开发爬虫变得异常简单。

4、开发准备工作

4.1、安装python

下载地址：Welcome to Python.org 或者使用Anaconda：Anaconda | The World's Most Popular Data Science Platform 哪个软件无所谓，只要是Python3.6以上的版本就可以了。

4.2、安装Pycharm

Pycharm Commnity（社区版）：对于不需要做web开发，不需要使用Professional（专业版），使用Community版就足够了，并且这个软件功能很强大，而且免费！ 下载地址：Download PyCharm: Python IDE for Professional Developers by JetBrains

4.3、安装google chrome

下载地址：https://www.google.com/chrome/ 如果是下载不了，说明被墙了，需要翻墙。