- 博客(40)
- 收藏
- 关注
原创 启动Kettle时报错找不到文件javaw.exe
文章目录问题描述问题分析解决方法测试以下问题描述kettle运行spoon.bat时找不到javaw.exe文件问题分析说的是javaw.exe 文件,但是jdk安装好的版本也对应的,怎么回事呢?殊不知kettle需要和jdk 有一个桥梁连接,就是我们所谓的路径我们可以编辑spoon.bat文件里面看解决方法这里也需要交互和jdk ,在这里做了一个判断。故而:创建用户变量名,方面kettle系统找路径,变量值是自己的实际路径变量噢测试以下打开spoon.bat它来了它来了!
2022-11-05 22:45:58
2621
1
原创 hive初始化报错
HIVE-ERROR 1045 (28000): Access denied for user 'root'@'%' (using password: YES)_peterchan88的博客-CSDN博客在安装Hive的时候报错:org.apache.hadoop.hive.metastore.HiveMetaException: Failed to get schema version.Underlying cause: java.sql.SQLException : Access denied for
2022-07-11 00:23:52
574
原创 初始化报该错CDH 初始化数据库 报错ERROR Exception when creating/dropping database with user ‘root’ and jdbc url ‘jd
[2018-09-12 16:22:51,787]ERROR 0[main] - com.cloudera.enterprise.dbutil.DbProvisioner.executeSql(DbProvisioner.java) - Exception when creating/dropping database with user 'root' and jdbc url 'jdbc:mysql://10.100.200.40/?useUnicode=true&characterEn.
2022-05-28 11:52:46
933
原创 对于Python程序在命令行中运行,采用命令中传参数进行运行使用
#创建一个命令行中可以传参数的程序,import numpy as npimport argparse #导入参数解析功能模块import jsondef argumentparse(): parse=argparse.ArgumentParser(description="a list") parse.add_argument('list_1',help='get a list') parse.add_argument('list_2',help='get a li.
2022-02-09 17:31:03
683
原创 opencv图像形状按照需要变换
import cv2file=r'C:\Users\lenovo\Desktop\img_mv.jpg'def img_show(img): cv2.imshow('zzb',img) cv2.waitKey(0) cv2.destroyAllWindows()#读取图像img=cv2.imread(file)img_1=cv2.resize(img,(400,400))print(img_1.shape)img_show(img_1)img_show(img).
2022-01-26 17:09:50
3336
原创 python 实现灰度预测模型
1、关键词:python ,灰度预测模型2、算法名称:灰度预测模型3、算法概述介绍灰色预测是用灰色模型GM(1,1)来进行定量分析的,通常分为以下几类: (1) 灰色时间序列预测。用等时距观测到的反映预测对象特征的一系列数量(如产量、销量、人口数量、存款数量、利率等)构造灰色预测模型,预测未来某一时刻的特征量,或者达到某特征量的时间。 (2) 畸变预测(灾变预测)。通过模型预测异常值出现的时刻,预测异常值什么时候出现在特定时区内。 (3) 波形预测,或称为拓扑预测,它是.
2022-01-15 14:36:17
1726
原创 各类算法总结
常见的聚类算法:K-Means算法: 首先,需要知道该数据应该分成几类,假如为K类,那么,在数据中随机初始化k个点,维度和数据点的维度保持一致,然后计算机数据集中所有点与这k 个点之间的距离,将每个数据点分到离它最近的中心点的类别中,然后将各个分到中心点的数据点求均值获得新的中心点,多次重复以上操作,直到所有数据点分到中心点的类别不在发生变化,将达到聚类的目的。优点:速度快,...
2022-01-15 14:35:39
269
原创 kettle
Kettle构建Hadoop ETL实践(一):ETL与Kettle - 云+社区 - 腾讯云我在2017年写了一本名为《Hadoop构建数据仓库实践》的书。在这本书中,较为详细地讲解了如何利用Hadoop(Cloudera's Distribution...https://cloud.tencent.com/developer/article/1680595?from=article.detail.1860923...
2022-01-15 14:33:24
796
原创 spark研究
1、spark基本介绍1.1、spark基本概念spark是用于大规模数据处理的统一的分析引擎。其中RDD是一种分布式内存抽象,是的程序员能够在大规模集群中做内存运算,并且有一定的容错方式,这也是整个spark的核心数据结构,spark整个平台也是围绕RDD进行的。统一的分析引擎?其特点是对于任意类型的数据进行自定义计算,包括结构化、半结构化、非结构化等各种类型的数据结构进行处理,同时支持使用python、java、Scala、R、SQL语言去开发应用数...
2022-01-15 14:32:47
422
原创 matplotlib学习教程
一、Python编程基础1、编程语言编程语言适用于和机器进行沟通,常见的语言有C、C++、Java、Python等。编程语言按类型分成两类: ...
2022-01-15 14:30:04
464
原创 anaconda同时安装多个第三方包
按照以下步骤操作:第一步创建txt文件,加入命名为requirements.txt第二步将需要安装的包写入txt文件中,写入的方式如下可以根据需要注明版本,解决对于版本的要求。第三步cmd或者从anaconda 的命令行中中进入txt文件所在路径下,运行下面的命令行即可:1)不采用镜像的方式,命令行如下:pip install -r requirements.txt2)采用镜像的方式,命令行如下:pip install -ihttps://pypi.tun..
2021-12-17 16:09:30
4481
1
原创 服务器上安装anaconda 报异常处理
Anaconda3-5.1.0-Linux-x86_64.sh:行350: bunzip2: 未找到命令 tar: 它似乎不像是一个 tar 归档文件 tar: 由于前次错误,将以上次的错误状态退出解决办法:安装bzip2即可解决yum install -y bzip2Anaconda3安装过程中遇到“Anaconda3-5.1.0-Linux-x86_64.sh:行350: bunzip2: 未找到命令 tar: 它似乎不像是一个 tar 归档文件 tar: 由于前次错误,将以上次的..
2021-12-17 09:15:50
1179
原创 目标检测算法研究
1、目标检测基本介绍1.1、项目结构 1.2、目标检测的算法分类1.2.1两步走的目标检测:先进行区域推荐、而后进行目标分类代表算法 :R-CNN、 SPP-net、Fast-R-CNN、Faster R-CNN1.2.2、端到端的目标检测:采用一种网络一步到位 代表:YOLO、SSD1.3目标检测的本质分类问题和目标检测问题的对比:分类问题:N个类别 输入:图片 输出:类别 评估...
2021-12-15 17:44:44
4027
原创 机器学习之分类算法
1、KNN算法参考文献:理论来源:机器学习之KNN(k近邻)算法详解_平原的博客-CSDN博客_knn1-1 机器学习算法分类一、基本分类:①监督学习(Supervised learning)数据集中的每个样本有相应的“正确答案”, 根据这些样本做出 预测, 分有两类: 回归问题和分类问题。 步骤1: 数据集的创建和分类 步骤2: 训练 步骤3: 验证 步骤4: 使用 ( 1) 回归问题举例 例如: 预测房价, 根据样本集拟合出一条连续曲线。 ( 2) ...https://blog.csdn.
2021-12-02 17:30:32
733
原创 计算机学习网站
C语言中文网:C语言程序设计门户网站(入门教程、编程软件)http://c.biancheng.net/Python3 os.path() 模块 | 菜鸟教程Python3 os.path() 模块 Python3 OS 文件/目录方法 os.path 模块主要用于获取文件的属性。 以下是 os.path 模块的几种常用方法: 方法说明 os.path.abspath(path) 返回绝对路径 os.path.basename(path) 返回文件名 os.path.commonprefix(list) 返
2021-12-02 09:21:17
237
原创 时间序列算法模型
1、时间序列算法1.1、差分自回归移动平均模型(Arima)1.1.1、概述ARIMA是典型的时间序列模型,其由三部分组成:AR模型(自回归模型)和MA模型(滑动平均模型),以及差分的阶数I,因此ARIMA称为差分自回归滑动平均模型。参考文献:理论来源[python] 时间序列分析之ARIMA_CV前沿-CSDN博客_python 时间序列时间序列建模基本步骤1. 获取被观测系统时间序列数据;2. 对数据绘图,观测是否为平稳时间序列;对于非平稳时间序列要先进行**...
2021-12-01 11:11:51
1474
原创 mysql
第一章:了解SQL(通常数据库称为数据库管理系统 DBMS)数据库:以某种有组织的方式存储数据。 数据库:存储数据的容器; 表:数据库中信息的载体; 列和数据类型:列是指具体字段,类型是数据的类型(文档、数值型等); 行:一条数据记录; 主键:为每条数据记录赋予唯一地址,区分不同行;第二章:MySql介绍 1、...
2021-11-19 09:36:08
283
原创 1、Python中类的学习
class student: #定义类 student_count=0 #定义类变量 def __init__(self, name, age): #类的初始化 self.name = name self.age = age student.student_count += 1 def dis_student(self): #定义类的实例 print("student name is "+sel...
2021-11-19 09:35:15
515
原创 1、numpy、pytorch学习
# -*- coding:utf-8 -*-"""@author:@file: test.py@time: 2021/8/8 13:52@desc:"""'''#break、continue、pass功能的测试'''#测试pass功能点,结果:继续循环,不会做任何操作number = 10for i in range(10): if i == 5: pass if i < number: print("The number is .
2021-11-19 09:34:42
154
原创 一、服务器搭建
对于客户机和服务器之间通信必然存在有个统一的通信端口,客户机通过该通信端口进行与服务器进行通信,传递执行命令,服务器进行处理后将执行的结果反馈给客户端,比喻成一家公司的话,客户就是客户端,通信端口就是前台人员,服务器就是公司,客户通过前台人员将请求发送给公司,公司对于请求进行处理后将结果通过前台人员反馈给客户机,客户机获取处理后的信息。 套接字符合通信接口的计算机通信数据结构,可以用于客户端和服务端的通信。 套...
2021-11-19 09:34:06
1700
原创 opencv_图像处理
# -*- coding:utf-8 -*-"""@author: @file: opencv_learning.py@time: 2021/8/15 19:15@desc: """#导入第三方包import cv2import matplotlib.pyplot as pltimport numpy as npimfile=r'C:\Users\Admin\Desktop\code_learning\data\image_opt'intfile=r'C:\Users\Admi...
2021-11-19 09:33:15
234
原创 numpy的学习
#Python的学习:numpy学习import numpy as npimport matplotlib as mplfrom mpl_toolkits.mplot3d import Axes3Dfrom matplotlib import cmimport timefrom scipy.optimize import leastsqfrom scipy import statsimport scipy.optimize as optimport matplotli..
2021-11-19 09:32:02
355
原创 sumo研究
1、python从SUMO中获取车辆平均行驶时间python从SUMO中获取车辆平均行驶时间 - 云+社区 - 腾讯云2、Sumo入门和Traci接口教程Sumo入门和Traci接口教程 - 知乎3、sumo快速运行简单仿真实例详细教程sumo快速运行简单仿真实例详细教程 - 张起灵先生 - 博客园4、基于python的turtle图形引擎渲染地图基于python的turtle图形引擎渲染地图 - 知乎5、Python处理OpenStreetMap(OSM)数据Pytho
2021-11-18 21:56:31
435
原创 机器学习算法模型
1、聚类算法常见的六大聚类算法_从未完美过的博客-CSDN博客_聚类算法2、过拟合、欠拟合欠拟合、过拟合及其解决方法_willduan的博客-CSDN博客_欠拟合3、正则化与交叉验证
2021-11-18 21:55:50
493
原创 linux教程
1、Linux概述Linux是一种开源的unix的操作系统,英文解释为Linux is not unix,1991 由林纳斯·托瓦兹在赫尔辛基大学上学时创立的,主要受到 Minix 和 Unix 思想的启发。2、Linux不同发行版 3、Linux的启动过程Linux的启动过程大致分成5步:1)内核的引导;2)运行init;3)系统初始化;4)建立终端;5)用户登录;...
2021-11-18 21:48:57
700
原创 sumo交通流仿真软件的使用说明
1、安装流程:1).mis文件安装:官网下载下来一键安装;2).tar利用压缩安装:官网下载安装包,解压后,在系统变量变量中定义sumo的路径和bin文件的安装路径;2、本人安装的是压缩包的方式1)文件说明bin 文件:一些可执行文件,包括sumoGUI、路网文件、地图转换文件等; data:sumo软件下的一些配置,比如字体、logo等; docs:包括一些案例、手册、指导教程等,即学习资料 tool :sumo的一些工具等,包括红绿灯的控制等;3、路网文件生成方式:1)外
2021-11-18 17:58:12
3472
2
原创 pytorch学习
#导入所需的模块import torcha=torch.rand(2,3)print(a)b=torch.randn(3,4) #产生均值为0 方差为1的矩阵c=torch.range(1,10,1)print(c)#矩阵相加d=torch.randn(3,4)e=torch.randn(3,4)f=torch.add(d,e)g=torch.div(d,e)print(f)print(g)#搭建神经网络(依靠一定计算更新梯度)# import torch## ba.
2021-11-17 11:12:45
485
原创 建模过程中的疑问记录
1、连接数据库,接入数据并且转化成dataframe 形式,采用以下语句dataset=pd.DataFrame(list(cursor.fetchall()),columns=['tjsj','gmyszzyzs','gyydl'])说明:运行SQL语句后,必须转化后才能list,最好附带列名columns,生成期望的dataframe进行及进一步的处理加工。2、数据中空缺值填充data=dataset.fillna(method='bfill')说明:1)method参数的取值.
2021-11-17 11:11:52
247
原创 数据预处理过程中处理方法
1、初次清洗,DataFrame中存在数值型字段和非数字型字段技巧1)将训练集和测试集数据进行合并,统一处理dataset=pd.concat([train_data,test_data],axis=0)2)识别数值型字段和非数值型字段number_feats = dataset.dtypes[dataset.dtypes != "object"].indexobject_feats = dataset.dtypes[adataset.dtypes == "object"].index
2021-11-17 11:11:34
493
原创 keras研究
1、mnist数据的分类,该实验进行了完整的模型训练测试以及预测,将新的样本送入进行预测,直观表征模型的有效性。keras送入模型训练的是ndarray数据,不要转化成tensor。# -*— coding:utf-8 -*-# @time :2021/10/27 11:49# @Author :zhangzhoubin'''Keras的研究,基于tensorflow theano框架的二次封装''''''功能:实现minist分类'''#导入第三方模块import cv2.
2021-11-17 11:11:09
186
原创 DataFrame基本操作
其实代码就是按照人的思维编写的底层,所有的函数都是按照人类的认知定义的。1、读取表,设置类索引和行索引datas=pd.DataFrame(数据表,index=list(''),columns=list(''))eg:df1 = pd.DataFrame(np.random.randn(3, 3), index=list('abc'), columns=list('ABC'))2、格式化函数 .format()格式化字符串函数str.format()将对应的字段转化成个性化的
2021-11-17 11:10:40
6142
原创 机器学习算法探索
2、算法图示3、算法的要点:3.1算法计算步骤4、算法的不足一、K近邻(KNN)1、K近邻算法概述K近邻算法属于分类算法,属于比较简单的算法,核心思想是“近朱者赤,近墨者黑”,根据临近样本计算自身的标签。2、算法图示从最近的K个样本的标签,依据少数服从多数的原则确定自身的标签; 三要素:训练数据集、距离度量(欧氏距离)、K值选择。算法运行流程描述:上图显示的是不同样本的展示,绿点是新样本,新样...
2021-11-17 11:10:13
263
原创 爬虫技术初探
# -*— coding:utf-8 -*-# @time :2021/11/5 17:01# @Author :zhangzhoubin'''1、爬虫:又称网页蜘蛛,是将网页数据按照需要进行抽取,存储到本地数据库中,用于我们构建模型进行数据分析,获取数据中所需的价值。2、web与http协议的工作流程:客户端浏览器---url---远程服务器 (超文本传输协议http,客户端通过超文本传输协议对于远程服务器进行请求,服务器端对于请求进行响应)3、爬虫的流程(1)确定需求;(2)寻求.
2021-11-17 11:08:35
568
原创 python数据挖掘与分析
1、数据挖掘的基本任务数据挖掘就是借助机器学习、深度学习、大数据等技术,从数据中分析出所需的价值,主要涉及的任务有分类、预测、回归、关联分析、时间序列、聚类分析等。2、数据挖掘建模的流程目标定义:任务理解、指标确定 数据采集:建模抽样、质量把控、实时采集数据整理:数据探索、数据清洗、数据变化表 构建模型:算法选择、模型搭建、模型验证模型评价:模型评价指标选择、模型优化 模型发布:模型部署、模型运行监测3、数据挖掘采用工具语言:Python、anaconda工具:pandas、
2021-11-17 11:06:06
3793
原创 1、神经网络的训练过程以及优化
1、更新权重和偏置:对于权重和偏置的优化本质就是使得模型的损失最小,也就是对于损失函数求取最小值,此时的权重和偏置就是模型最终的权重和偏置:2、权重和偏置的更新公式: 其中Wnew为下一时刻的更新权重,也就是目标值,Wold是当前时刻的权重,loss为损失函数(变量为权重和偏置),为学习率,采用梯度下降算法进行优化权重和偏置。...
2021-08-06 11:34:39
899
原创 1、神经网络优化
1、梯度理解梯度 - 知乎2、激活函数 对于上面两张图进行解释:第一张是人工神经元,其是模拟人类神经信息的传递过程,第二种就神经网络,可以看出神经网络是由大量神经元构成的,其中神经的计算过程是 ...
2021-08-06 10:48:02
94
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人