编程语言,python,爬虫
文章平均质量分 86
zhuxunyuoyi
个人博客:http://www.bestblog.top
展开
-
python爬虫爬取网页表格数据
用python爬取网页表格数据from bs4 import BeautifulSoupimport requestsimport csvimport bs4#检查url地址def check_link(url): try: r = requests.get(url) r.raise_for_status()原创 2017-07-16 20:49:00 · 50325 阅读 · 10 评论 -
Scrapy第一战—爬取智联招聘
Scrapy是专业级T_T爬虫框架,在研究爬虫领域颇负盛名,是当今世界最流行的爬虫框架,没有之一。不过如此强大的爬虫框架,学习成本却比较高,作为一个新手,我对此感同身受,希望我的学习心得,避免大家入坑。 ## 安装Scrapy 打开命令行,输入 : `pip install scrapy `就是这么简单,安装完成。项目### 创建项目 通过命令行进入你要放置项目的文件,输入:原创 2017-08-29 22:30:27 · 881 阅读 · 0 评论 -
携程网旅游信息爬取
最近手又有点闲,闲着无聊就爬取了携程的信息,这个爬虫是我随手写的,各位可以看看。# -*- encoding=utf-8 -*-#爬取携程旅游信息#2017/8/14from bs4 import BeautifulSoupfrom selenium import webdriverfrom selenium.common.exceptions import NoSuchElemen原创 2017-08-14 22:40:47 · 4722 阅读 · 3 评论 -
selenium+python+BeautifulSoup爬取知乎文章信息
本文通过selenium+python+BeautifulSoup来爬取知乎文章信息。#知乎推荐文章爬取#2017/8/6# -*- encoding = utf-8 -*-from selenium import webdriverfrom selenium.webdriver.common.by import Byfrom selenium.webdriver.support.ui原创 2017-08-06 18:18:29 · 1036 阅读 · 0 评论 -
爬取猫眼电影专业版实时数据排行榜
这是一个爬取猫眼电影专业版实时排行榜的代码。#猫眼电影实时爬取#2017/8/1import osimport requestsimport jsonimport time import csv#链接urldef get_to_link(): try: r = requests.get("https://box.maoyan.com/promovi原创 2017-08-02 20:37:34 · 6053 阅读 · 0 评论 -
京东商品信息爬虫
本文实现一个京东商品信息爬虫,通过python实现,可以交互式的输入要查询的商品,查询信息保存到csv文件中。#京东商品信息爬虫#爬取京东商品信息并保存到csv格式文件中#2017-7-23import osimport requestsimport csvfrom bs4 import BeautifulSoup#获取url请求def gethtml(kind,page):原创 2017-07-24 11:32:05 · 1259 阅读 · 0 评论 -
爬取大众点评南京美食
爬取大众点评南京美食的数据,保存在‘D:\\数据\大众点评南京美食.csv'中import requestsfrom bs4 import BeautifulSoupimport csvimport os# 链接urldef gethtml(num): try: number = num + 1 print('{:<2d}{:<}{:<}'原创 2017-07-21 22:01:29 · 1093 阅读 · 0 评论 -
爬取京东商品详情页信息
之前写过爬取京东商品导航信息,现在献上爬取京东商品详情页信息。#爬取京东商品详情页信息#2017/7/30import requestsfrom bs4 import BeautifulSoupimport osimport csvimport reimport jsonimport time#爬取页面链接def make_a_link(keyword,page):原创 2017-07-30 19:55:15 · 10625 阅读 · 6 评论 -
python之函数式编程
介于编辑器的局限,可能有些markdown语法正确起作用,读者可以查看我的博客网站:[www.bestyblog.top](http://www.bestblog.top) 函数是Python内建支持的一种封装,我们通过把大段代码拆成函数,通过一层一层的函数调用,就可以把复杂任务分解成简单的任务,这种分解可以称之为面向过程的程序设计。函数就是面向过程的程序设原创 2018-01-28 22:35:47 · 417 阅读 · 0 评论