自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(8)
  • 资源 (4)
  • 收藏
  • 关注

原创 Vue错误记录:ajax get后数组与对象的转换

api接口:[{"comment_nums":2242816,"rank_year":2016,"rank":2,"url":"http://product.dangdang.com/23464478.html","book_name":"东野圭吾:解忧杂货店","author":"东野圭吾","publisher":"南海出版公司","price":39.5,"publish_time":"2...

2020-04-13 15:04:31 700

原创 问题解决:'djongo' isn't an available database backend.

在django中使用django连接mongodb时,修改settings.py为如下:DATABASES = { 'default': { 'ENGINE': 'djongo', 'NAME': 'xxx', }}修改后报错:/Applications/PyCharm.app/Contents/helpers/pycharm/django...

2020-04-11 15:37:59 3200

原创 关于Scrapy ItemLoader、MapCompose、Compose、input_processor与output_processor的一些理解

本文以一个当当网图书出版社信息举例,说明Scrapy中,ItemLoader、MapCompose、Compose、input_processor与output_processor的一些使用事项。先给出spider与item的代码实例:spider:def parse_item(self, response): for r in response.css(".bang_list ...

2020-04-09 20:48:05 1244

原创 Docker使用心得与爬坑记录

为了搭建Scrapy-Redis服务而反复地被Docker折麽了数天,终于对于Docker的使用有了一些理解,本文记录初用Docker的一些注意事项。1.为什么要使用Docker下面是两个我遇到需要使用Docker的典型情景:情景1:安装配置数据库非Docker:我们需要一个Mysql、Redis或Mongodb数据库,配过数据库环境的同学都知道,该过程往往需要下载安装包、解压、...

2020-04-07 14:39:20 383

原创 pymongo使用笔记

pymongo使用笔记1. 连接这里只记录无auth连接方式。import pymongoip = 'xxxxxx'client = pymongo.MongoClient(ip, 27017)2. 创建数据库创建数据库douban_booksdb = client.douban_books3. 添加文档这里对douban_books数据库的book集合进行操作。book集...

2020-04-05 00:20:45 619

原创 Mongodb笔记

学习自: MongoDB基础入门到高级进阶_哔哩哔哩 (゜-゜)つロ 干杯~-bilibili、【小马技术】MongoDB 从入门到学会_哔哩哔哩 (゜-゜)つロ 干杯~-bilibilimongodb安装:docker pull mongodbmongodb 连接语句形式:mongodb://[username:password@]host1[:port1][,...hos...

2020-04-04 22:38:07 418

原创 问题解决:Scrapy Unknown command: crawl

今天用pycharm调试新建的scrapy-redis项目报错:Connected to pydev debugger (build 183.4588.64)Scrapy 1.8.0 - no active projectUnknown command: crawlUse "scrapy" to see available commands我没有用scrapy crawl xxx的...

2020-04-02 20:02:55 2435

原创 Scrapy设置User-Agent随机代理

User Agent中文名为用户代理,简称 UA,它是一个特殊字符串头,使得服务器能够识别客户使用的操作系统及版本、CPU 类型、浏览器及版本、浏览器渲染引擎、浏览器语言、浏览器插件等。一些网站常常通过判断 UA 来给不同的操作系统、不同的浏览器发送不同的页面,因此可能造成某些爬虫被网站禁止,但通过伪装 UA 可以绕过检测。常见的User-Agent形式如:Mozilla/5.0 (Maci...

2020-04-01 12:16:17 965

2019蓝桥杯.zip

2019年蓝桥杯B组省赛C/C++试题,包括PDF文件、A-J题全部试题的图片、数据等。试题解析可以参考:https://blog.csdn.net/zhaohaibo_/article/details/88783978

2019-11-12

ACM校赛题解.pptx

ACM校赛

2019-10-26

调用sklearn库的K-Means聚类分析实例

#class sklearn.cluster.KMeans(n_clusters=8, init=’k-means++’, n_init=10, max_iter=300, tol=0.0001, precompute_distances=’auto’, verbose=0, random_state=None, copy_x=True, n_jobs=1, algorithm=’auto’) #参数: #(1)对于K均值聚类,我们需要给定类别的个数n_cluster,默认值为8; #(2)max_iter为迭代的次数,这里设置最大迭代次数为300; #(3)n_init设为10意味着进行10次随机初始化,选择效果最好的一种来作为模型; #(4)init=’k-means++’ 会由程序自动寻找合适的n_clusters; #(5)tol:float形,默认值= 1e-4,与inertia结合来确定收敛条件; #(6)n_jobs:指定计算所用的进程数; #(7)verbose 参数设定打印求解过程的程度,值越大,细节打印越多; #(8)copy_x:布尔型,默认值=True。当我们precomputing distances时,将数据中心化会得到更准确的结果。如果把此参数值设为True,则原始数据不会被改变。如果是False,则会直接在原始数据上做修改并在函数返回值时将其还原。但是在计算过程中由于有对数据均值的加减运算,所以数据返回后,原始数据和计算前可能会有细小差别。 #属性: #(1)cluster_centers_:向量,[n_clusters, n_features] # Coordinates of cluster centers (每个簇中心的坐标??); #(2)Labels_:每个点的分类; #(3)inertia_:float,每个点到其簇的质心的距离之和。

2018-01-26

python爬取淘宝商品信息

import requests from bs4 import BeautifulSoup import bs4 def getHTMLText(url): try: r = requests.get(url, timeout=30) r.raise_for_status() r.encoding = r.apparent_encoding return r.text except: return "" def fillUnivList(ulist, html): soup = BeautifulSoup(html, "html.parser") for a in soup.find('tbody').children: if isinstance(a, bs4.element.Tag): tds = a('td') ulist.append([tds[0].string, tds[1].string, tds[2].string, tds[3].string]) def printUnivList(ulist, num): print("{:^10}\t{:^6}\t{:^6}\t{:^16}".format("排名","学校名称","地区","总分")) for i in range(num): u=ulist[i] print("{:^10}\t{:^6}\t{:^6}\t{:^16}".format(u[0],u[1],u[2],u[3]))

2018-01-26

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除