selenium+python爬取简书文章

转载 2018年04月15日 14:21:54

页面加载逻辑

当你兴致勃勃地从网上学习了基本的爬虫知识后就像找个目标实践下,拥有大量文章的简书包含了大量的有价值信息,所以自然成为了你的选择目标,如果你尝试之后会发现并没有想象的那么简单,因为里面包含了很多js相关的数据传输。 让我先使用传统的爬虫演示一下吧: >

打开简书首页,似乎没有什么特别的

jianshu首页

打开chrome的开发者模式,发现文章的标题,href都在a标签里,似乎也没有什么不一样的

a.png

接下来就是寻找页面上所有的a标签,但是且慢如果你仔细观察就会发现滑轮滚到一半的时候页面就会加载更多,这样的步骤会重复三次知道底部出现阅读更多的按钮

滑轮

不仅如此底部的阅读更多的href并没有告诉我们加载剩下的页面信息,唯一的办法是不断点击阅读更多这个按钮

load_more.png

什么,将滑轮重复三次滑倒页面的中央并且不断点击按钮这种操作http请求可做不到,这更像是js操作?没错,简书的文章并不是常规的http请求,我们不能根据不同url不断重定向,而是页面的一些动作来加载页面信息。

selenium介绍

selenium是一个web自动化测试工具,支持很多种语言,我们在这里可以使用python的selenium做爬虫使用,爬取简书的过程中,它的工作原理是不断注入js代码,让页面源源不断的加载,最后再提取所有的a标签。首先你得在python中下载selenium包

>>> pip3 install selenium

chromedriver

selenium必须搭载浏览器使用,这里我使用的是chromedriver,Chrome的开源测试版,它可以使用headless模式不需要显示前段来访问网页,算是最大特性了。

python中操作

在写代码之前一定要把chromedriver同一文件夹内,因为我们需要引用PATH,这样方便点。首先我们的第一个任务是刷出加载更多的按钮,需要做3次将滑轮重复三次滑倒页面的中央,这里方便起见我滑到了底部

from selenium import webdriverimport time
browser = webdriver.Chrome("./chromedriver")
browser.get("https://www.jianshu.com/")for i in range(3):
    browser.execute_script("window.scrollTo(0, document.body.scrollHeight);") // execute_script是插入js代码的
    time.sleep(2) //加载需要时间,2秒比较合理

看看效果

刷出了按钮

接下来就是不断点击按钮加载页面,继续加入刚才的py文件之中

for j in range(10):  //这里我模拟10次点击    
    try: 
        button = browser.execute_script("var a = document.getElementsByClassName('load-more'); a[0].click();")
        time.sleep(2)    except:        pass'''
 上面的js代码说明一下
 var a = document.getElementsByClassName('load-more');选择load-more这个元素
 a[0].click(); 因为a是一个集合,索引0然后执行click()函数
'''

这个我就不贴图了,成功之后就是不断地加载页面 ,知道循环完了为止,接下来的工作就简单很多了,就是寻找a标签,get其中的texthref属性,这里我直接把它们写在了txt文件之中.

titles = browser.find_elements_by_class_name("title")with open("article_jianshu.txt", "w", encoding="utf-8") as f:    for t in titles:        try:
            f.write(t.text + " " + t.get_attribute("href"))
            f.write("\n")        except TypeError:            pass

最终结果

简书文章

headless模式

不断加载页面肯定也很烦人,所以我们测试成功之后并不想把浏览器显示出来,这需要加上headless模式

options = webdriver.ChromeOptions()
options.add_argument('headless')
browser = webdriver.Chrome("./chromedriver", chrome_options=options) //把上面的browser加入chrome_options参数

总结

当我们没办法使用正常的http请求爬取时,可以使用selenium操纵浏览器来抓取我们想要的内容,这样有利有弊,比如

  • 优点

  1. 可以暴力爬虫

  2. 简书并不需要cookie才能查看文章,不需要费劲心思找代理,或者说我们可以无限抓取并且不会被ban

  3. 首页应该为ajax传输,不需要额外的http请求

缺点

  1. 爬取速度太满,想象我们的程序,点击一次需要等待2秒那么点击600次需要1200秒, 20分钟...

附加

这是所有完整的代码

from selenium import webdriverimport time

options = webdriver.ChromeOptions()
options.add_argument('headless')
browser = webdriver.Chrome("./chromedriver", chrome_options=options)

browser.get("https://www.jianshu.com/")for i in range(3):
    browser.execute_script("window.scrollTo(0, document.body.scrollHeight);")
    time.sleep(2)# print(browser)for j in range(10):    try:
        button = browser.execute_script("var a = document.getElementsByClassName('load-more'); a[0].click();")
        time.sleep(2)    except:        pass#titles = browser.find_elements_by_class_name("title")with open("article_jianshu.txt", "w", encoding="utf-8") as f:    for t in titles:        try:
            f.write(t.text + " " + t.get_attribute("href"))
            f.write("\n")        except TypeError:            pass

如果你喜欢本篇文章的话, 快点击关注,喜欢,打赏我吧  

【Python】第七周 Python网络爬虫基础(上)

本周课程主要讲解Python网络爬虫的基础内容。具体有:Python中的正则表达式,网络爬虫基础介绍,爬虫的工作原理,urllib、urllib3和requests库的使用,GET和POST请求抓取数据实战,网络爬虫中常见错误的处理。
  • 2018年04月23日 14:53

机器学习-交叉验证 : python数据集划分

模型选择的两种方法:正则化(典型方法)、交叉验证。这里介绍交叉验证及其python代码实现。交叉验证如果给定样本数据充足,进行模型选择的一种简单方法是随机地将数据集切分为3部分,分为训练集、验证集和测...
  • u010707315
  • u010707315
  • 2018-04-16 10:45:22
  • 51

python的函数

python对passwd进行排序的代码 #! /usr/bin/env python # -*- coding: utf-8 -*- """ ----------...
  • wushan1992
  • wushan1992
  • 2018-04-15 16:33:17
  • 12

python 函数

一,函数的定义def a(args):    pass函数代码块以def关键字开头,+ 函数名+ (参数):然后第一行内容应该缩进,然后写我们自己的代码逻辑return 关键字     代表函数执行完...
  • weixin_39318540
  • weixin_39318540
  • 2018-04-15 16:05:12
  • 11

Python_反射

''' 反射 hasattr(obj, name):判断一个对象obj里是否包含名为name的属性或方法(hasattr是通过调用getattr(object, str)是否抛出异常来实现...
  • UserPython
  • UserPython
  • 2018-04-15 21:39:24
  • 27

python递归函数

递归Recursion函数直接或者简洁调用自身就是递归递归一定要有边界条件当边界条件满足时return递归一定要有退出条件,否则是无限调用递归调用的深度不宜过深sys.getrecursionlimi...
  • tc2019
  • tc2019
  • 2018-04-16 09:12:00
  • 8

python glob

https://blog.csdn.net/u010472607/article/details/76857493http://www.cnblogs.com/lovemo1314/archive/2...
  • MiniCnCoder
  • MiniCnCoder
  • 2018-04-15 17:08:31
  • 7

Python 环境安装

1.安装 JDK2.安装 Eclipse3.安装 Python  下载Python:https://www.python.org/downloads/4.在Eclipse中安装pydev插件  启动E...
  • jason_117
  • jason_117
  • 2018-04-15 14:37:56
  • 6

pydev开发环境搭建(python)

一、安装Eclipse1、安装jdk以及配置环境变量2、下载Eclipse IDE for Java EE Developers(根据实际情况选择32位还是64位)地址 :http://www.ecl...
  • abc7845129630
  • abc7845129630
  • 2018-04-15 20:09:37
  • 32

6. Python 函数

1. 函数的写法,函数的调用【函数的一般形式】定义一个函数要有以下规则:(1)函数代码块以 def 关键词开头,后接函数标识符名称和小括号();(2)任何传入参数和自变量必须放在小括号内,小括号内可以...
  • pyo_oyp
  • pyo_oyp
  • 2018-04-15 17:27:05
  • 9
收藏助手
不良信息举报
您举报文章:selenium+python爬取简书文章
举报原因:
原因补充:

(最多只允许输入30个字)