- 博客(8)
- 资源 (4)
- 收藏
- 关注
原创 Vue错误记录:ajax get后数组与对象的转换
api接口:[{"comment_nums":2242816,"rank_year":2016,"rank":2,"url":"http://product.dangdang.com/23464478.html","book_name":"东野圭吾:解忧杂货店","author":"东野圭吾","publisher":"南海出版公司","price":39.5,"publish_time":"2...
2020-04-13 15:04:31 700
原创 问题解决:'djongo' isn't an available database backend.
在django中使用django连接mongodb时,修改settings.py为如下:DATABASES = { 'default': { 'ENGINE': 'djongo', 'NAME': 'xxx', }}修改后报错:/Applications/PyCharm.app/Contents/helpers/pycharm/django...
2020-04-11 15:37:59 3200
原创 关于Scrapy ItemLoader、MapCompose、Compose、input_processor与output_processor的一些理解
本文以一个当当网图书出版社信息举例,说明Scrapy中,ItemLoader、MapCompose、Compose、input_processor与output_processor的一些使用事项。先给出spider与item的代码实例:spider:def parse_item(self, response): for r in response.css(".bang_list ...
2020-04-09 20:48:05 1244
原创 Docker使用心得与爬坑记录
为了搭建Scrapy-Redis服务而反复地被Docker折麽了数天,终于对于Docker的使用有了一些理解,本文记录初用Docker的一些注意事项。1.为什么要使用Docker下面是两个我遇到需要使用Docker的典型情景:情景1:安装配置数据库非Docker:我们需要一个Mysql、Redis或Mongodb数据库,配过数据库环境的同学都知道,该过程往往需要下载安装包、解压、...
2020-04-07 14:39:20 383
原创 pymongo使用笔记
pymongo使用笔记1. 连接这里只记录无auth连接方式。import pymongoip = 'xxxxxx'client = pymongo.MongoClient(ip, 27017)2. 创建数据库创建数据库douban_booksdb = client.douban_books3. 添加文档这里对douban_books数据库的book集合进行操作。book集...
2020-04-05 00:20:45 619
原创 Mongodb笔记
学习自: MongoDB基础入门到高级进阶_哔哩哔哩 (゜-゜)つロ 干杯~-bilibili、【小马技术】MongoDB 从入门到学会_哔哩哔哩 (゜-゜)つロ 干杯~-bilibilimongodb安装:docker pull mongodbmongodb 连接语句形式:mongodb://[username:password@]host1[:port1][,...hos...
2020-04-04 22:38:07 418
原创 问题解决:Scrapy Unknown command: crawl
今天用pycharm调试新建的scrapy-redis项目报错:Connected to pydev debugger (build 183.4588.64)Scrapy 1.8.0 - no active projectUnknown command: crawlUse "scrapy" to see available commands我没有用scrapy crawl xxx的...
2020-04-02 20:02:55 2435
原创 Scrapy设置User-Agent随机代理
User Agent中文名为用户代理,简称 UA,它是一个特殊字符串头,使得服务器能够识别客户使用的操作系统及版本、CPU 类型、浏览器及版本、浏览器渲染引擎、浏览器语言、浏览器插件等。一些网站常常通过判断 UA 来给不同的操作系统、不同的浏览器发送不同的页面,因此可能造成某些爬虫被网站禁止,但通过伪装 UA 可以绕过检测。常见的User-Agent形式如:Mozilla/5.0 (Maci...
2020-04-01 12:16:17 965
2019蓝桥杯.zip
2019-11-12
调用sklearn库的K-Means聚类分析实例
2018-01-26
python爬取淘宝商品信息
2018-01-26
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人