windows 8 配置Scrapy环境

最新推荐文章于 2023-04-20 21:07:24 发布
最新推荐文章于 2023-04-20 21:07:24 发布
阅读量939 收藏
点赞数
分类专栏： Python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhanghaipeng1989/article/details/41846365
版权

1.下载安装python2.7.8到C:\python27（略）

2.配置环境变量: C:\python27;C:\python27\Scripts

3.下载安装ez_setup.py: 保存ez_setup.py文件到C:\python27，执行python ez_setup.py

4.下载安装pip: 进入到C:\python27\Scripts下，执行ez_setup.exe pip 通过pip -V可以查看是否安装成功

5.下载安装pywin32、zope.interface、pyOpenSSL、Twisted、lxml: 其中 zope.interface、pyOpenSSL为Twisted的依赖包，要在其前面安装

6.使用pip安装一些依赖库: YAML for Python库、requests库、progressbar库

pip install xxx

7.验证依赖的库文件是否安装成功:使用import xxx来验证，如果不报错，即安装成功

8.安装Scrapy: 到官网上下载Scrapy，解压到C:\Python27目录中。在命令提示符中进入Scrapy所在的目录，执行以下命令进行安装：python setup.py install





zhanghaipeng1989
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Windows下Scrapy的环境搭建
01-21
以上是我的环境配置，仅供参考。 2.安装Anaconda 我下载的是 Anaconda3-2020.02-Windows-x86_64，安装时注意勾选添加环境变量（下图第一项）。 3.安装Scrapy 先安装Scrapy库，这里我使用PyCharm安装。 进入Python ...
scrapy windows环境搭建+demo
05-02
windows下搭建scrapy文档，抓取项目demo，包含多级url下钻，代理ip设置，user-agent动态选择，保存抓取数据到json文件
Windows安装配置Python Scrapy环境
a15850679928的博客
07-25 86
下载并安装Microsoft Visual C++ Compiler for Python 2.7（lxml的依赖环境，lxml是scrapy的依赖环境） 安装lxml：可直接使用pip安装 下载安装pywin32（scrapy的依赖环境），下载地址：https://sourceforge.net/projects/pywin32/files...
【爬虫框架】Windows下Scrapy配置环境变量 & ‘scrapy‘不是内部或外部命令-＞问题解决
风口IT猪的成长录
08-25 3640
Windows下配置Scrapy环境变量前言原因分析解决办法推荐 前言 Scrapy框架的安装比较简单： pip install scrapy 默认会安装Twisted、lxml以及Pywin32、Scrapy等模块。 若安装出现报错：可以考虑修改镜像源或者多尝试几次或者再了解原因。 由于Scrapy无法通过Pycharm直接创建，因此利用cmd命令行创建时（scrapy startproject spiderProjectname）弹出提示：scrapy’ 不是内部或外部命令. 原因分析 原因：未配置环
windows安装配置Scrapy环境
Win_Man的专栏
11-13 819
转载文章这篇文章中描述的很详细，步骤全，很容易操作。但是有一些注意点就是下载的一些文件可能是.whl文件。在windows环境下安装.whl需要通过pip来操作。具体操作： 1.在cmd中运行pip操作，如果提示不是系统命令，就想python安装目录下的Scripits文件的路径添加到path环境变量中去。 2.切换到.whl文件所在的目录下，在命令行中输入 pip install x
scrapy框架的环境配置
booze_的博客
11-08 505
scrapy框架的环境配置 文章目录scrapy框架的环境配置一、scrapy框架需要哪些环境 本文主要讲述的是使用scrapy框架的环境搭建 一、scrapy框架需要哪些环境 mac or linux下直接执行命令: pip install scrapy windows下配置在python解析器中执行以下命令: 1.pip install wheel 2.下载twisted : pip install …whl 3.pip install pywin32 4.pip install scrapy 测
windows下配置python scrapy 开发环境
syh_486_007的专栏
03-12 310
安装Pycharm开发环境参考安装scrapywindows下安装利用pip或者easy_install ,参考如下安装过程中可能会出现的问题1 丢失lxml 支持包问题2 丢失win32api支持问题3 python版本问题4 scrapy运行相关问题
Scrapy配置使用
最新发布
Neo_21的博客
04-20 551
注意：是不是powershell,两者还是有区别的。因为是本地的虚拟环境，用cmd激活环境并且安装相关的scrapy包，如果用powershell，在pycharm中显示不了安装的包。
python windows 安装scrapy_windows系统安装Scrapy（实操）
weixin_39949473的博客
12-08 107
我的电脑环境：windows7,64位。已有python3。安装Scrapy步骤：安装python2.7-->安装pywin32-->安装pip-->安装lxml-->安装pyOpenSSL-->安装Scrapy一、安装python2.7我下载的是python2.7.9，双击安装即可。记得设置环境变量：c:\Python27\python.exe C:\Python2...
Windows下Scrapy-redis环境配置
hrainning的博客
03-02 739
1.软件安装 链接：https://pan.baidu.com/s/1hosBgY1273qIl77RIMa3Ug 提取码：jlfc MongoDB、redis、redisdesktopmanager、anaconda 安装redis以及anaconda时注意将添加到path一栏勾起 2.函数库的安装 键盘输入win+R 输入cmd进入命令行 输入如下命令 conda insta...
scrapy 环境搭建完整包.zip
06-29
Windows下搭建爬虫框架scrapy，全资源、jar包，带每一步详细步骤
Windows 8.1 64bit下搭建 Scrapy 0.22 环境
12-23
我的Windows 8.1 环境 1.下载安装Python 2.7.6 在Python官方网站中下载Python2.7.6的Windows安装包，根据默认配置安装到C:\Python27目录。 安装完成后在系统环境变量PATH中配置Python的环境变量。 测试Python是否...
windows7 32、64位下python爬虫框架scrapy环境的搭建方法
12-25
我配置环境的时候是直接pip install scrapy安装的，但是在过程中出现一些错误，发现是由于以下软件安装失败导致的。所以请先安装这4个相关软件再安装scrapy。 一定要注意看看，你的python是不是64位的，位数一样才...
解决 'utf-8' codec can't decode byte 0x8b in position 1: invalid start byte
热门推荐
成大事不在于力量多少，而在能坚持多久。
11-14 4万+
如果自己的脚本里编码没有问题的话，要看一下设置的header
Python group()小结
成大事不在于力量多少，而在能坚持多久。
11-18 7014
今天看到group()方法，有点疑惑，自己动手了解了一下，
python正则表达式去除html标签
成大事不在于力量多少，而在能坚持多久。
12-01 5825
使用python的re模块，正则表达式去除html标签，代码如下： import re html = '\ 目的是通过第一次soup.find按class粗略筛选并通过soup.find_all筛选出列表中的a标签并读入href和title属性\ 但是由于目标链接可能有图片链接,而这是我不想要的.请问如何去除?' reg = re.compile(']*>') print(reg.sub(
Python安装模块出错（ImportError: No module named setuptools）解决方法
成大事不在于力量多少，而在能坚持多久。
12-05 907
Python第三方模块中一般会自带setup.py文件，切换到模块目录下，运行python setup.py install 出现错误，提示没有 setuptools。      说一下Linux下setuptools的安装过程。在http://pypi.python.org/pypi/setuptools上找到相关的下载脚本:      wget https://bootstrap.pypa
如何配置scrapy环境变量
03-14
您可以通过以下步骤配置Scrapy环境变量： 1. 打开命令行窗口并输入以下命令：pip install scrapy 2. 安装完成后，找到Scrapy安装目录的路径。 3. 在Windows操作系统中，右键单击“我的电脑”，然后选择“属性”。...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值