![](https://img-blog.csdnimg.cn/2019092715111047.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
python爬虫
文章平均质量分 92
python爬虫
涛歌依旧fly
计算机研究生,专注于Java后端技术学习。
——勇敢地奔跑
展开
-
python爬取下载网易云歌单歌曲
import requests, os, time, sys, refrom urllib import requestfrom scrapy.selector import Selectorclass wangyiyun(): def __init__(self): self.headers = { 'User-Agent': 'Mozi...原创 2020-01-23 13:58:17 · 359 阅读 · 0 评论 -
爬虫开发环境总结
文章目录python请求库requestsSelenium 的安装ChromeDriverPhantomJSaiohttp解析库lxmlBeautiful Souppyquerytesserocr数据库MySQLMongoDBRedis存储库PyMySQLPyMongoredis-pyRedisDumpweb库FlaskTornadoApp爬取相关库CharlesmitproxyAppium爬虫框......原创 2020-01-07 23:11:13 · 1389 阅读 · 0 评论 -
ERROR: No matching distribution found for pymongo==3.9.0 (from gerapy)
本来想下载gerapy的,结果出现如下问题:ERROR: Could not find a version that satisfies the requirement pymongo==3.9.0 (from gerapy) (from versions: none)ERROR: No matching distribution found for pymongo==3.9.0 (from ...原创 2020-01-07 22:29:15 · 2421 阅读 · 0 评论 -
Scrapyrt 的安装中出现的错误
使用pip install scrapy,然后输入scrapyrt命令后:(learn2) C:\Users\HP>scrapyrtTraceback (most recent call last): File "d:\anaconda3\envs\learn2\lib\runpy.py", line 193, in _run_module_as_main "__main__...原创 2020-01-07 22:01:43 · 1077 阅读 · 1 评论 -
Docker容器启动时端口映射失败
通过 Docker 安装 Splash 来提供渲染服务执行如下命令:docker run -p 8050:8050 scrapinghub/splash出现问题:Bind for 0.0.0.0:8050 failed: port is already allocated重启Docker试试成功了,如下图:...原创 2020-01-07 19:01:55 · 1120 阅读 · 1 评论 -
win10下使用docker所遇到的问题汇总
在安装scrap-splash之前,需要安装Docker,由于自己的电脑是Win 家庭版,又碰到一些问题:Win10家庭版装Docker安装好Docker后,又出现如下问题:这个是由于没有登录导致的,需要输入docker login登录,请注意,username是要输入自己的dockerhub用户名,而不是邮箱名,输入密码的时候界面是不显示的,直接输入后回车就好。没账号要注册一个,而且要邮箱...原创 2020-01-07 18:43:15 · 1430 阅读 · 0 评论 -
Win10家庭版装Docker
将下列命令放入一个 test.cmd 文件中 以管理员身份运行pushd "%~dp0"dir /b %SystemRoot%\servicing\Packages\*Hyper-V*.mum >hyper-v.txtfor /f %%i in ('findstr /i . hyper-v.txt 2^>nul') do dism /online /norestart /add-...原创 2020-01-07 15:25:48 · 385 阅读 · 0 评论 -
conda安装scrapy及一些报错解决方法
conda虚拟环境创建&进入虚拟环境参考前面写的一篇博客:https://blog.csdn.net/zimojiang/article/details/103869843安装Scrapy框架conda install scrapy错误重现输入scrapy之后出现如下错误:Fatal error in launcher: Unable to create process ...原创 2020-01-07 11:06:20 · 1975 阅读 · 0 评论 -
Anaconda安装pyspider失败中遇到的一些坑。
在Anaconda中安装pyspider无法成功,所以要在基于python目录中安装pyspider。先在Anaconda prompt中 创建一个环境conda create -n learn2 python=3.6在Anaconda prompt中执行activate learn2由于anaconda 创建环境时没有将pip3安装,所以需要在执行下面的命令来安装pip3 pyt...原创 2020-01-07 10:31:36 · 1517 阅读 · 0 评论 -
小米手机安装 charles 证书,提示“没有可安装的证书”
错误环境Win10下的charles小米 Redmi 5 Plus Android 8.1.0错误提示安装 charles 证书时,提示“没有可安装的证书”解决方法下载安装 微软的 edge 安卓版浏览器: http://app.mi.com/details?id=com.microsoft.emmx&ref=search连接代理 访问 chls.pro/ssl 会提...原创 2020-01-06 19:28:58 · 1328 阅读 · 1 评论