- 博客(31)
- 资源 (72)
- 收藏
- 关注
原创 UnicodeDecodeError: 'utf-8' codec can't decode byte 0x80 in position 0: invalid start byte
Python 打开.pkl文件的时候报错如下:UnicodeDecodeError: 'utf-8' codec can't decode byte 0x80 in position 0: invalid start byte解决方法:open文件时使用‘rb’方式import picklef = open('zBookInfo.pkl', 'rb')data = pickle...
2019-12-30 13:30:12 3597
原创 Permission denied (publickey,password,keyboard-interactive).
最近一段时间没有在本机上使用hadoop环境,启动hadoop的时候出现错误Permission denied (publickey,password,keyboard-interactive).具体的如下:问题原因:发现之前配置的在主机上免密登录主机自身,有问题,即执行还需要输入密码ssh localhost还需要输入密码才可以解决办法:重新配置一下免密登...
2019-12-28 20:56:27 46326 4
原创 记录一下Hadoop等项目启动指令
记录一下项目启动指令之前配置的环境一直没用使用,有一些生疏了配置的环境放在了 .base_profile中一、启动hadoopalias start-hadoop='$HADOOP_HOME/sbin/start-all.sh'start-hadoop启动成功的标识二、启动sparkalias start-spark=' $SPARK_HOME/sbin/s...
2019-12-28 20:18:05 246
原创 K-means聚类算法 Flink版本
Flink K-means算法的实现关于K-means聚类算法的介绍:https://zhangvalue.blog.csdn.net/article/details/102511274代码的github地址:https://github.com/zhangvalue/LearnFlink/tree/master/src/main/java/flink/kmeans/** * @...
2019-12-27 11:44:56 1120 1
原创 英文文献阅读顺序
美国公立常青藤明尼苏达大学Peter W. Carr教授传授的英文文献阅读顺序第一阶段:判断这篇论文值不值得读按【读标题和关键词→读摘要→读结论】的顺序掌握论文的大概内容第二阶段:读论文1)读图表和数据→读引言2)深挖细节:读结果和讨论→读实验部分第三阶段:做笔记好笔记的标准:下次看笔记内容即可,无须重读这篇论文。具体步骤如下:第一阶段:Surveying th...
2019-12-27 10:35:54 2908
原创 Python's 9 Tips
Python是一门技巧性很强的语言,在使用的时候往往会因为人为的原因而减缓运行的效率Python的9个小技巧1.列表推导式有一个list:bag = [1, 2, 3, 4, 5]现在想让所有元素翻倍,让它看起来是这个样子:[2, 4, 6, 8, 10]大多初学者,根据之前语言的经验会大概这样来做bag = [1, 2, 3, 4, 5]for i in ra...
2019-12-27 10:17:41 120
原创 ImportError: cannot import name 'cross_validation' from 'sklearn'
使用sklearn(scikit-learn) import cross_validation的时候报错如下:ImportError: cannot import name 'cross_validation' from 'sklearn'原来的代码为:from sklearn import cross_validation as cv原因:sklearn.cross_...
2019-12-14 15:37:10 7320 1
原创 基于内容的推荐算法
基于内容的推荐算法(基础CB推荐算法)基于TF-IDF的CB推荐算法 :基于KNN的CB推荐算法 :基于Rocchio的CB推荐算法 :基于决策树的CB推荐算法 :基于线性分类的CB推荐算法 :基于朴素贝叶斯的CB推荐算法 :...
2019-12-12 20:04:07 1098
原创 Mac-使用vnstat统计流量
Mac-使用vnstat查看流量统计(vnstat就是一个很好用的流量统计命令)Linux服务器上也可以使用:vps或者服务器都是限流量的,但是又很多服务商并没有提供详细的流量表,比如每天的流量表,所以肯定有人很想知道自己服务器到底跑了多少流量。使用Mac来试一下vnstat命令第一步:使用brew安装 vnstatbrew install vnstat第二步:安装完成需...
2019-12-12 19:02:43 3431
原创 基于SVD图片压缩
基于SVD图片压缩原理:图片其实就是数字矩阵,通过SVD将该矩阵降维,只使用其中的重要特征来表示该图片从而达到了压缩的目的。数据集降维:dim = data.T * U[:,:count] * dig.I # 降维这里的dig为对角矩阵(需要利用原来svd返回的sigma向量构建矩阵,构建需要使用count这个值)。U为svd返回的左奇异矩阵,count为我们指定的多少个奇异...
2019-12-10 21:36:10 2068
原创 奇异值分解(SVD)
奇异值分解SVD在数据降维中有较多的应用一、特征值分解EVD二、奇异值分解SVD定义奇异值求解三、实际计算奇异值四、特征值分解和奇异值分解的区别:特征值只能作用在一个mm的正方矩阵上,而奇异值分解则可以作用在一个mn的长方矩阵上。其次,奇异值分解同时包含了旋转、缩放和投影三种作用,奇异值分解公式中U和V都起到了对A旋转的作用,而Σ起到了对A缩放的作用...
2019-12-10 17:48:02 446
原创 Flink常见算子
DataSet APIDataStream API和DataSet API的区别为DataStream输入为一个无限的流DataStream独有的API
2019-12-08 22:00:29 1197 1
原创 Flink分布式运行环境
Flink的基本架构Flink是基于Master-Slave风格的架构Flink集群启动时,会启动一个JobManager进程,至少一个TaskManager进程Flink架构示意图JobManagerFlink系统的协调者,负责接收FlinkJob,调度组成Job的多个Task的执行收集Job的状态信息,并管理Flink集群中从结点TaskManagerTaskM...
2019-12-08 21:41:46 257
原创 Flink基础概念&编程模型
Flink基础概念&编程模型Flink程序的基础构建模块是流(Streams)与转换(transformations)每一个数据流起始于一个或者多个source,并终止于一个或者多个sink下面是一个由Flink程序映射为Streaming Dataflow的示意图并行数据流示意图时间窗口:流上的聚合需要由窗口来划定范围,比如,计算过去的5分钟,或者最后10...
2019-12-08 21:30:13 406
原创 Flink对比Spark和Storm的优势
Flink本身带有的优势①、Flink支持高吞吐、低延迟、高性能的流处理②、Flink支持高度灵活的窗口(window)操作③、Flink支持有状态计算的exactly-once语义④、Flink提供DataStreamAPI和DataSetAPIFlink对比Spark、Storm在架构、容错...
2019-12-08 19:32:10 2566
原创 Flink组件栈
flink的组件栈包括deployment层、runtime层、API层、libraries层Flink组件栈中的Deployment层:主要涉及flink部署模式:本地、集群(Standlone/YARN)、云(GCE/EC2)Runtime层:runtime层提供支持flink计算的全部核心实现,比如:支持分布式stream处理、JobGraph到ExecutionGr...
2019-12-08 19:17:02 1448
原创 kaggle案例-学生在考试数据集
kaggle案例-学生在考试数据集数据集包括8个变量gender 性别 race/ethnicity 种族 parental level of education 父母教育水平 lunch 午餐 test preparation course math score 数学 reading score 阅读 writting score 写作第一步:简单查看数据# *=...
2019-12-06 21:44:49 6932
原创 Python3-学生成绩预测基本求法
Python3-学生成绩预测基本求法提供的数据集中的数据是 学期,学号,排名每一个学号提供了两个学期的成绩最终根据第一学期的成绩比重0.35,第二学期的比重为0.65# -*- coding: utf-8 -*-def Weight_score(): file_score = open("../data/Score Predict.csv", encoding="un...
2019-12-06 21:27:48 2931 1
原创 Python3-zip()函数和sorted()函数
Python3-zip()函数和sorted()函数# zip()函数:将两个序列合并,返回zip对象,可强制转换为列表或字典# sorted()函数:对序列进行排序,返回一个排序后的新列表,原数据不改变# 合并两个列表,以列表类型输出list_str = ['a', 'b', 'c', 'd']list_num = [1, 2, 3, 4]list_new = zip(lis...
2019-12-06 21:22:11 704
原创 UnicodeDecodeError: 'utf-8' codec can't decode byte 0xc6 in position 2: invalid continuation byte
Python3中打开文件出现如下错误:UnicodeDecodeError: 'utf-8' codec can't decode byte 0xc6 in position 2: invalid continuation byte解决方法:unicode-escape编码集,他是将unicode内存编码值直接存储原来的代码file_score = open("../d...
2019-12-06 20:30:33 2827
原创 深度置信网络(Deep Belief Networks)DBN
深度置信网络(Deep Belief Networks)DBN一、DBN算法的功能深度置信网络(Deep Belief Networks)DBN算法是机器学习之神经网络的一种,既可以用于非监督学习,也可以用于监督学习。DBN是一个概率生成模型,与传统的判别模型的神经网络相对,生成模型是建立一个观察数据和标签之间的联合分布。通过训练其神经元间的权重,可以让整个神经网络按照最大概率来生成训练数...
2019-12-06 16:40:45 6319
原创 Initializing libiomp5.dylib, but found libiomp5.dylib already initialized.
Python3-报错:Initializing libiomp5.dylib, but found libiomp5.dylib already initialized.在具体的py文件添加如下,重新运行。import osos.environ["KMP_DUPLICATE_LIB_OK"]="TRUE"...
2019-12-06 16:01:07 2815 4
原创 Your CPU supports instructions that this TensorFlow binary was not compiled to use: SSE4.1 SSE4.2 AV
在Mac中使用Python3的时候跑程序安装TensorFlow(CPU版本)报错:Your CPU supports instructions that this TensorFlow binary was not compiled to use: AVX2 FMA原因:CPU支持AVX扩展,但是安装的TensorFlow版本无法编译使用解决方法:安装的是CPU版本(pip inst...
2019-12-06 15:59:17 418
原创 Python3-AttributeError: module 'tensorflow' has no attribute 'Variable'
在运行Python3程序的时候,程序一直在跑,突然之间报错:AttributeError: module 'tensorflow' has no attribute 'Variable'问题原因:该py文件命名为了tensorflow.py根据python的调用机制,它会优先import 项目中的tensorflow,从而没有各种方法。解决办法:将命名修改了,重新运行就ok。...
2019-12-05 20:09:46 3209
原创 协同过滤算法分类-UserCF和ItemCF比较
协同过滤算法分类-UserCF和ItemCF比较①、实时性:针对UserCF 是根据用户相似度矩阵来完成推荐,用户user本身的用户行为并不会造成推荐的结果发生改变ItemCF是根据相似度物品矩阵来完成推荐的,用户user一旦有了新的行为,推荐结果会立即发生改变,用户点击了物品会立马推荐相似的物品。②、新用户、新物品的推荐:对于userCF新用户的到来不能立即推荐,需要用户有了...
2019-12-05 11:02:21 1201
原创 协同过滤算法分类-UserCF
UserCf 基于用户的协同过滤算法给用户推荐相似兴趣用户感兴趣的物品举例如下:用户ABCD物品a、b、c、d上述的信息汇总userA点击了item a、b、d类似往后userD 点击了item a、d分析右边中由于userA中点击的item userD中都有点击,且userA点击了itemb userD没有所以不能基于userD给A推荐,但是可以基于userA给D推荐...
2019-12-04 21:27:25 1009
原创 协同过滤算法分类-ItemCF
在推荐算法中使用协同过滤算法的原因:①、信息过载,用户需求不明确②、强依赖于用户的行为Item cf 基于物品的协同过滤算法给用户推荐他之前喜欢的物品相似的物品举例:用户的点击行为,如下图中有四个用户ABCD,分别对item有点击行为右边为item对应的user的倒排,比如iterm a 对应的user的倒排为AD,item d对应的倒排为ADC用基于item的协同...
2019-12-04 19:22:35 1122
原创 Python3-ValueError:not enough values to unpack (expected 2, got 0)
报错:Python3-ValueError:not enough values to unpack (expected 2, got 0)具体的错误如下:Traceback (most recent call last): File "/Users/zhangsf/code/python/my-project/Subsidy.py", line 83, in <module&g...
2019-12-03 09:58:23 24926
原创 Mac-matplotlib图例中文乱码(已解决)
在Mac中使用Python import mayplotlib做可视化图表时出现如图例中中文乱码问题解决之后是下图这种情况:步骤一、下载字体SimHei并完成安装https://fontzone.net/download/simhei步骤二、复制字体到matplotlib字体目录下的ttf文件里找到本机的ttf文件夹为/Users/zhangsf/anacon...
2019-12-01 11:23:16 980 2
Charles4.2.6.dmg
2018-12-12
mysql-connector-java-8.0.13.jar
2018-11-20
wget-1.18.tar.gz
2018-04-27
android6.0及以上获取wifi MAC地址
2017-10-12
Fiddlersetup.exe
2017-07-18
JSONObject所必须的6个包
2017-07-06
commons-collections-3.2
2016-03-18
json-lib-2.2.2-jdk15
2016-03-18
commons-httpclient.jar
2016-03-18
commons-beanutils.jar
2016-03-18
学习宝典apk
2016-01-08
BigDataTools_for_intellij-213.5449.243
2022-01-29
Spark3.1.2 Docker镜像资源
2022-01-29
WinPcap_4_1_3.exe
2020-09-22
合并PDF软件.rar
2020-06-06
设计ATM使用封装、继承和多态.zip
2020-05-21
tampermonkey.crx.zip
2020-03-29
StudentsPerformance.csv
2020-03-26
tools-1.8.0_181.jar.zip
2020-03-04
Java开发工程师笔试题(带答案).pdf
2020-02-22
万兴数据恢复MAC版本.zip
2020-02-07
复旦大学中文文本分类训练集和测试集.zip
2020-01-11
weibodatabase.sql.zip
2020-01-11
用于逻辑回归教学分析的数据.rar
2020-01-02
PDF文档转换工具(含安装使用教程).rar
2019-05-13
mongodb命令学习手册.pdf
2019-04-14
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人