手把手教你用Python爬取百度搜索结果并保存

回复“书籍”即可获赠Python从入门到进阶共10本电子书

今

日

鸡

汤

朝辞白帝彩云间，千里江陵一日还。

一、前言

大家好，我是崔艳飞。众所周知，百度上直接搜索关键字会出来一大堆东西，时常还会伴随有广告出现，不小心就点进去了，还得花时间退出来，有些费劲。

最近群里有个小伙伴提出一个需求，需要获取百度上关于粮食的相关讲话文章标题和链接。正好小编最近在学习爬虫，就想着拿这个需求来练练手。我们都知道，对Python来说，有大量可用的库，实现起来并不难，动手吧。最后，如果你的时间不是很紧张，并且又想快速的提高，最重要的是不怕吃苦，建议你可以联系维：762459510 ，那个真的很不错，很多人进步都很快，需要你不怕吃苦哦！大家可以去添加上看一下~

二、项目目标

爬取百度上关键字为“粮食”的搜索结果，并保存，提交给客户，用于进一步分析我国粮食政策。

三、项目准备

软件：PyCharm

需要的库：json， requests，etree

四、项目分析

1）如何进行关键词搜索？

利用response库，直接Get网址获得搜索结果。网址如下：

2）如何获取标题和链接？

利用etree对原代码进行规范梳理后，通过Xpath定位到文章标题和href，获取标题和文章链接。

3）如何保存搜索结果？