Python2.7 + beautifulSoup 4.4.1 安装配置

最新推荐文章于 2023-02-09 18:13:27 发布
最新推荐文章于 2023-02-09 18:13:27 发布
阅读量2.7k 收藏
点赞数
分类专栏： python 文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhyh1435589631/article/details/51351128
版权

1. 前言

最近研究python 的爬虫功能， 正好看到beautifulsoup, 于是打算配置一下。

2. 下载beautifulsoup

beautifulsoup4.4.1

3. 安装

python setup.py build
sudo python setup.py install

4. 错误处理

但是报错了， 提示：

python错误：ImportError: No module named setuptools
查询资料发现， windows 上python 默认没有安装这个模块， 安装即可

找到setuptools地址
setuptools-19.6b1.zip
下载解压后， 编译安装

编译setuptools
shell# python setup.py build
开始执行setuptools安装
shell# python setup.py install

重新执行第三步， 即可

枯萎的海风
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Python2.7实现模拟登陆-BeautifulSoup
xxs120的博客
04-13 1130
我使用的是python2.7版本，windows下操作。所以在写代码之前肯定是要完成python的环境搭建。环境搭建网上也有很多资料，在此我不做多介绍。 接下来开始我的爬虫开发，写的时候自己也不懂，所以在网上查了很多资料。主要有两个步骤： 1.python实现模拟登陆 loginurl = “http://192.168.1.195/index.php“ 1.首先查看loginurl如何实...
Python2.7网页爬虫实战，BeautifulSoup抓取网页图片和页面重要信息
不安分的猿人的专栏
11-05 569
自己用python+BeautifulSoup做的一个小工具，获取网站的图片存入指定文件夹，获取页面重要信息存入txt文件。代码如下： __author__ = 'wangzg' # -*- coding:utf-8 -*- import urllib import urllib2 import re import cookielib import bs4 import sys import ...
python爬虫--beautifulsoup模块简介
Abtxr的博客
02-09 1364
python爬虫--超级详细的BeautifulSoup使用方法
Python2.7 beautifulsoup学习
weixin_34248849的博客
12-14 103
为什么80%的码农都做不了架构师？>>> ...
python2.7怎么下载安装_Windows平台下python2.7如何安装Beautiful Soup
weixin_39525243的博客
12-03 110
Beautiful Soup是一个Python的一个库，主要为一些短周期项目比如屏幕抓取而设计。有三个特性使得它非常强大：1.Beautiful Soup提供了一些简单的方法和Python术语，用于检索和修改语法树：一个用于解析文档并提取相关信息的工具包。这样你写一个应用不需要写很多代码。2.Beautiful Soup自动将输入文档转换为Unicode编码，并将输出文档转化为UTF-8编码。你不...
一个简单的python爬虫，原生python+BeautifulSoup
最新发布
06-06
一个简单的python爬虫，原生python+BeautifulSoup 原生python+BeautifulSoup4 python3.4版本 所有脚本要和spider.py放到同一目录下 自行下载BeautifulSoup4 的类库 window下 pip install bs4即可 爬取知乎的爬虫 ...
sql注入程序(python2.7+pyqt4.8.5)
03-10
标签中提到的"python"表明整个项目的核心是Python编程，这可能包括网络请求库（如`requests`）、数据解析库（如`BeautifulSoup`）以及可能的数据库交互模块（如`sqlite3`或`pymysql`）。 项目中包含的两个jsp测试...
Python使用Selenium+BeautifulSoup爬取淘宝搜索页
09-20
主要为大家详细介绍了Python使用Selenium+BeautifulSoup爬取淘宝搜索页，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
python+PyDocX+BeautifulSoup+PyQt5实现word转html的可视化插件
07-11
总的来说，通过Python+PyDocX+BeautifulSoup+PyQt5的组合，我们可以构建出一个功能完善的Word转HTML可视化工具，这充分展示了Python在文档处理和GUI开发上的强大能力。在实际应用中，这样的工具不仅可以提高工作效率...
python2.7+win7+32位+第三方安装包
01-23
Python 2.7是Python编程语言的一个早期版本，它在许多旧系统中仍然广泛使用...使用这些库时，开发者需要确保Python环境已经正确配置，并且可以通过setuptools来安装和管理这些第三方包，以确保它们能顺利集成到项目中。
Python2.7 安装 beautifulsoup4-4.2.1
我的成长之路
07-15 416
  一个BeautifulSoup的模块，下载的是beautifulsoup4-4.2.1， 安装的时候就是 python setup.py build python setup.py install 就这么简单的两个命令，因为安装之前也看了下别人的就是这样，可是自己import的时候，总出错，弄了半天才搞好，原来是版本升级到4， 引入包要用 import bs4 from b...
window中python2.7安装beautifulsoup4
muli
04-22 2823
window中python2.7安装beautifulsoup4
Windows 安装 Python 2.7 BeautifulSoup 4.5.3 手记
pythonniu的博客
03-29 3664
模块官网下载: https://www.crummy.com/software/BeautifulSoup/bs4/download/4.5/ 将模块解压至python27. python setup.py bulid python setup.py install 进入python 导入包查看是否安装成功. 最新版导入包的语句不一样,这里是要注意的' import b
python 2.7.x/3.x 安装BeautifulSoup
自天祐之，吉，无不利。
06-25 850
下载地址：https://www.crummy.com/software/BeautifulSoup/bs4/download/ python setup.py build python setup.py install 引入包要用 import bs4 from bs4 import BeautifulSoup
python2.7 beautifulsoup学习使用
贪玩小神的专栏
08-29 3352
学习使用python的beautiful soup库，大大方便了网络爬虫对于HTML文件的解析，beautiful soup将HTML拆解成对象处理，将HTML转换成字典和数组，相比利用正则表达式解析的爬虫，省略了学习正则表达式的高成本 说人话就是正则表达式太难了，博主学不会！ 本篇只介绍Beautiful Soup的使用，不涉及安装、配置。 Beautiful So
Python2.7 安装 bs4( beautifulsoup)
热门推荐
韩世雷 程序员专栏
02-28 1万+
apt-get install python-bs4 python-bs4-doc
python beautiful soup库的用法
weixin_34127717的博客
03-09 2934
参考：http://cuiqingcai.com/1319.html Beautiful Soup 4.2.0 文档 1. Beautiful Soup 简介 简单来说，Beautiful Soup是python的一个库，最主要的功能是从网页抓取数据。官方解释如下： Beautiful Soup提供一些简单的、python式的函数用来处理导航、搜索...
python2.7爬图（BeautifulSoup）
stay hungry stay foolish
01-02 340
背景上一节说到，要求自学使用python爬图，但是上次的代码不具有通用性，所以使用了BeautifulSoup。 安装 pip install beautifulsoup4 搜索BeautifulSoup用法 https://cuiqingcai.com/1319.html 改编上节代码 解释 if((head!=’//tb2’)& (head!=’//tb1’)): 因为 “http://
Python自学|Windows 下安装beautiful soup 4-4.4.1
12-15 724
1. 下载 在官网下载4-4 ,我这次选的是4-4.4.1 (https://www.crummy.com/software/BeautifulSoup/bs4/download/4.4/) 2. 解压 解压安装包到python工作文件夹，如c:\python 3.设置python环境变量 现在我的python安装在C:\python目录下，设置环境变量方法如下：  
python爬虫requests +beautifulsoup+pandas下载信息
06-28
### 回答1： Python爬虫是一种自动化程序，可以通过requests和beautifulsoup等库来获取网页信息，并使用pandas等工具对数据进行处理和分析。使用Python爬虫可以快速获取大量数据，帮助我们进行数据挖掘和分析。 ### 回答2： Python是一种强大的编程语言，在网络爬虫方面也有着广泛应用。requests、BeautifulSoup和Pandas就是其中的三个非常重要的工具，它们各自的功能和作用如下： Requests（请求）：是一个Python中的HTTP库，可以轻松的发送HTTP请求，并且可以很容易地获取返回的内容。如果你想获取一个网页的HTML代码，你可以使用Requests库。你需要向requests.get()方法传递一个URL，然后它会返回一个response对象，可以通过response.text来获取文本内容。 BeautifulSoup（漂亮的汤）：是Python一个解析HTML和XML文件的库，它可以从这些文件中提取有用的信息。所以，你可以使用BeautifulSoup来提取网页中的信息。通过BeautifulSoup库可以把一个已经读入python中的response响应文件对象进行分析，也就是通过一些HTML标签（soup.a/b/p/div），来获取我们想要的内容。 Pandas（熊猫）：是一个强大的数据分析工具，其核心是用于数据处理和矩阵计算的高效核心数据结构Dataframe。使用Pandas库可以很容易地从文本文件中导入数据，然后进行数据清洗、规整、合并、并统计数据等等各类操作。下面我们详细介绍一下这些库的用法。 在进行数据抓取之前，我们首先需要对需要抓取的数据进行需求分析，即确定需要抓取的网站、需要抓取的数据点和格式，以及需要进行的数据处理方式和数据储存方式等。当我们完成了需求分析之后，就可以开始进行数据抓取了。 首先我们需要安装requests、BeautifulSoup和Pandas库： ```python pip install requests pip install BeautifulSoup4 pip install pandas ``` 然后我们可以使用以下代码，来展示如何进行数据抓取： ```python import requests from bs4 import BeautifulSoup import pandas as pd # 请求URL并将结果解析为HTML url = 'https://movie.douban.com/top250' resp = requests.get(url) html_data = resp.text soup = BeautifulSoup(html_data, 'html.parser') # 获取电影名称和评分信息 movie_list = soup.find_all('div', class_='hd') title_list = [movie.a.span.text for movie in movie_list] rating_list = [movie.find_next_siblings('div')[0].span.text for movie in movie_list] # 构建DataFrame并将结果保存为CSV文件 movie_df = pd.DataFrame({'title': title_list, 'rating': rating_list}) movie_df.to_csv('top250_movies.csv', index=False) ``` 通过以上代码，我们可以获取到豆瓣电影Top250的电影名称和评分信息，并将结果储存为CSV文件。 总之，requests、BeautifulSoup和Pandas是Python网络爬虫中非常常用的工具。使用这些库，我们可以轻松地进行数据抓取、数据提取、数据处理和数据储存等操作。同时，我们在进行爬虫之前，一定要注意合法性和尊重原网站的规则。 ### 回答3： Python是目前最流行的编程语言之一，其生态系统非常丰富，可以应用于各种领域。其中，爬虫是Python应用广泛的领域之一。在Python爬虫中，requests、beautifulsoup和pandas都是非常常用的库。 requests是一个用于HTTP请求的Python库，可以方便地发送网络请求，并且可以处理响应数据。在Python爬虫中，我们通常使用requests库下载网页内容。例如，我们可以使用requests库的get方法获取网页内容，如下所示： ``` import requests response = requests.get('http://www.baidu.com') print(response.text) ``` beautifulsoup是一个解析HTML和XML文档的Python库，可以方便地从网页中提取所需的数据。使用beautifulsoup库，我们可以方便地解析从网页中提取的数据，并进行数据清洗和处理。例如，我们可以使用beautifulsoup库的find_all方法查找特定标签中的文本内容，如下所示： ``` from bs4 import BeautifulSoup import requests response = requests.get('http://www.baidu.com') soup = BeautifulSoup(response.text, 'html.parser') print(soup.find_all('a')) ``` pandas是一个用于数据分析和处理的Python库，提供了许多有用的功能，例如读取、处理和分析数据。在Python爬虫中，我们通常使用pandas库来处理从网页中提取的数据，并将其保存到CSV文件或数据库中以供进一步分析。例如，我们可以使用pandas库的read_html方法读取HTML表格数据，并将其保存为CSV文件，如下所示： ``` import pandas as pd url = 'http://www.example.com' tables = pd.read_html(url) df = tables[0] df.to_csv('example.csv', index=False) ``` 综上所述，Python爬虫中的requests、beautifulsoup和pandas库是非常重要的工具，能够帮助我们方便地下载网页内容、提取数据和进行数据处理和分析。如果您有兴趣学习Python爬虫，那么这些库将是您必须掌握的重要工具之一。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值