- 博客(29)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 TypeError: 'dict_keys' object does not support indexing
运行python报错：firstFeature = list(decisionTree.keys()[0])TypeError: 'dict_keys' object does not support indexing原因是因为.keys()不支持indexing，只有转变成list才行，这是Python3的缘故before：firstFeature = decisionT...
2019-08-29 11:06:12
527
原创 Population must be a sequence or set. For dicts, use list(d)
运行Python时出错：features = random.sample(dataSet.columns.values[:-1], int(math.sqrt(m - 1))) File "F:\software\AN\lib\random.py", line 317, in sample raise TypeError("Population must be a sequen...
2019-08-29 10:56:24
14875
2
原创 read_excel() missing 1 required positional argument: 'io'
使用read_excel()在导入数据的过程中出现： File "F:\software\AN\lib\site-packages\pandas\util\_decorators.py", line 178, in wrapper return func(*args, **kwargs)TypeError: read_excel() missing 1 required po...
2019-08-28 11:35:30
9713
2
原创 ValueError: continuous format is not supported
在训练xgboost的时候，出现了这个错误： File "E:\ana\lib\site-packages\sklearn\metrics\base.py", line 73, in _average_binary_score raise ValueError("{0} format is not supported".format(y_type))ValueError: c...
2019-08-24 14:43:11
23521
1
原创 Plugin 'Scala' is incompatible with this installation
在idea中使用下载好的插件，进行本地安装时，报错了：问题的原因在于版本不匹配，什么意思呢，我们来看看这是下载的本地插件：因为自己以为最新的就是最好，结果，其实自己的idea里面需要的不是2.20的那个版本，其实是需要的1.9的版本于是去官网重新下载对应的版本然后安装即可安装好后是没法用的，还需要设置lib去网上下载Scala 的sdk进行解压，在这里进行进...
2019-08-21 11:09:38
928
原创 sparkling-water的介绍与实践（command line）
sparkling-water是将spark和h2o集成与一体的工具，主要思想是利用h2o进行数据挖掘，而利用进行数据处理和一部分计算，具体架构如下： 我们可以从图中看到，spark对源数据做了处理，然后交给h2o进行建模，在预测阶段也作为了计算引擎， sparkling-water的牛逼之处在于使用了和spark的一样的数据结构，这样在数据处理的时候可以十分灵活。 ...
2019-08-20 17:45:32
6847
1
原创 h2o flow cluster启动
假如我有两台机器，拟进行集群启动，启动方式很简单，我是在linux上进行启动的。（1）首先需要新建一个文件，随便你怎么命名，我是命名为flatfile.txt，在文件添加iproot@node11 h2o-3.26.0.2]# cat flatfile.txt node11:54321node12:54321（2）将文件拷贝到第二台机器上scp flatfile.txt ...
2019-08-20 11:37:27
801
原创 h2o flow初探
h2o包括很多产品，h2o flow是其中一款便利的机器学习，深度学习的工具，在web UI上操作即可，不用编写代码就能轻松实现数据的挖掘（当然这也是它的弊端，不写代码肯定功能会受到一定的限制啦）。 对于flow的意思就是流的意思，其实h2o flow 的核心思想就是分成若干个cell，然后cell按照先后顺序进行flow。 这若干个cell就统称为cells，每个c...
2019-08-19 18:05:15
3271
原创 xshell拖拽上传文件出错
这是自己给自己挖的坑，报错如下：然后换成filezilla上传还是报错：最后发现是自己太手贱了，这个文件是被另外程序打开的，因此这次不被允许传送，想办法关掉程序即可...
2019-08-17 12:40:09
1833
1
原创 mysql 安装出现：error: Failed dependencies:
在安装mysql出现：[root@node11 mysql]# rpm -ivh MySQL-server-5.5.60-1.el6.i686.rpm warning: MySQL-server-5.5.60-1.el6.i686.rpm: Header V3 DSA/SHA1 Signature, key ID 5072e1f5: NOKEYerror: Failed dependen...
2019-08-16 14:48:50
1601
原创 clickhouse集群安装
clickhouse集群的安装方式很多，这里采取的是简单方便的yum安装的方式进行的。一、工具的准备1、clustershell首先需要安装集群管理的工具，便于的安装的时候一次性就安装好，而不用每台机器都去安装一遍，这个工具就是clustershellyum install -y clustershell待安装成功编辑配置文件vi /etc/clustershel...
2019-08-15 14:12:19
2759
原创 利用waterdrop将hdfs里的数据快速迁移到clickhouse中（单机版）
启动waterdrop：./bin/start-waterdrop.sh --master local[4] --deploy-mode client --config ./config/streaming.conf注：这里面的local[4]中的是代表本机线程个数，这个是自己确定，这里为4个线程；后面的配置文件也是自己进行选择，上面是为了做流式计算，故而streaming.conf...
2019-08-15 13:55:31
3323
原创 oozie的webUI页面打不开
在cdh上面配置好的oozie默认是打不开oozie web UI的点击后出现这样的：因为缺依赖，所以打不开找到cdh的依赖的路径：/opt/cloudera/parcels/CDH/lib/oozie/libext我们还可以看到libext其实真正的路径在/var/lib/oozie也就是虽然找其中一个路径将依赖拷贝进去，然后解压即可依赖的下载如下：...
2019-08-15 10:33:18
1518
原创 DB::Exception: Bad get: has UInt64, requested String
呵呵，真的太坑了，使用clickhouse在建分布式表的时候报错了：node03 :) CREATE TABLE ontime_all AS ontime_local_2 ENGINE = Distributed(cluster-1, h2, ontime_local_2, '100');CREATE TABLE ontime_all AS ontime_local_2ENGINE =...
2019-08-14 17:42:15
2746
原创 linux执行所有命令都出现-bash: XXX: command not found
当我们错误的设置环境变量，然后进行source的时候，这个时候一旦出错，所有的命令均失效，应该是linux内部保护机制导致的连reboot都用不了[root@zk zookeeper-3.4.9]# reboot-bash: reboot: command not found[root@zk ~]# cat /etc/profile-bash: cat: command no...
2019-08-13 14:54:12
3510
3
原创 sudo: sorry, you must have a tty to run sudo
linux默认只能在命令中使用sudo解决方法：visudo -f /etc/sudoers注意：只能使用这个，不然打开是只读的，没法保存的将这个进行注释掉，问题即可解决##Defaults requiretty#...
2019-08-12 17:29:11
501
原创 Host key verification failed
在集群进行yum安装时报错：node01: Host key verification failed.这个问题，我是因为忘记对本机进行ssh-copy-id因为当时只弄了出本机的其他机器，忘了本机，所以才会出现这样的问题当然解决方法就是在本机上执行：ssh-copy-id -i ~/.ssh/id_rsa.pub root@node01...
2019-08-12 17:17:16
1375
原创 clustershell的使用
clustershell是Python写来专门操作集群的，以group为类，分别操作，后面使用就会感受到一、安装yum install -y clustershell二、配置groupvi /etc/clustershell/groups.d/local.cfg进行编辑该文件：# ClusterShell groups config local.cfg## Rep...
2019-08-12 17:01:17
1185
原创 waterdrop启动报错
我使用的是spark单机版和waterdrop的单机版，但是在启动的时候报错了：[root@localhost waterdrop-1.3.8]# ./bin/start-waterdrop.sh --master local[4] --deploy-mode client --config ./config/streaming.conf[INFO] spark conf: --conf...
2019-08-09 10:55:52
3251
原创 clickhouse的jdbc的使用（单机版）
首先需要启动clickhouse服务，这里面有一个坑，如果使用默认的启动，会出现外网根本访问不了服务的情况。就像这样：我擦，默认是只监听了本地的服务，你使用本地是可以访问：但是使用外网那是绝对访问不了的（因为我保证自己是关了防火墙和开放了端口的，还是没有屁用），官方给我们留的坑，这里需要改配置文件：vi /etc/clickhouse-server/config.x...
2019-08-08 16:22:13
10218
1
原创 clickhouse安装（centos6.5）
官方提供的clickhouse是鸟版图和Debian版的Linux，但是我们真实生产基本上都是用的centos，看了很多所谓网上的安装centos攻略都是失败的，可能是自己用的centos版本太低的缘故（6.5），反正就是各种报错，主要都是一些依赖的错误，当然那些依赖可以解决但是很麻烦的。最后还是在官方文档找到的链接（https://github.com/Altinity/clickhous...
2019-08-08 12:20:23
1435
原创 shell批量从hadoop导入数据入hive
#!/bin/bash##先定义日期变量day=`date --date="$1" +%Y-%m-%d`##显示日期echo $day##使用一个文件来存放表名(这里是放在tables文件里的)table=hive/tables##如果原先就存在这个sql文件就删去rm -rf ./hive_load.sql##设置加载之前预设置，database里面是sql，比如这里是放的u...
2019-08-06 11:22:08
951
原创 impala：AnalysisException Syntax error
在impala-shell中use database出错：[mr2:21000] > use int;Query: use intERROR: AnalysisException: Syntax error in line 1:use int ^Encountered: INTEGERExpected: DEFAULT, IDENTIFIERCAUSED BY: ...
2019-08-05 10:11:34
9415
原创 DecimalFormat
有的时候我们需要数字转换成字符串，而且要求转换成的字符串位数是相同的，假如说，我们需要将数字转换成6位的字符串，我们输入的数字很有可能只有一位数或者两位数三位数，如果简单的将数字直接拼接一个""，显然是达不到目的的，还好java中给我们提供了一个api ，那就是DecimalFormat。比如这个代码就可实现这样的功能：public static String format(...
2019-08-03 12:11:42
443
原创 shell中正则表达式（字符串切分并替换）
假如我们在shell需要切割字符串，而且需要换成新的切割符号，这里${str//"A "/B}就大显神通了 这个正则表达式${str//"A "/B}可以用来切分字符串，然后用新的方式进行分割。 比如上面这个表达式，就是将字符串str用A进行截取出来，然后在截取的位置用B进行填充，以用来分割。 常用的截取方式：（1）${str//" "/","} ...
2019-08-03 12:01:18
4863
原创 xargs
有这么一个需求，读取的文件的内容作为一个字符串，比如说我们想要截取一个文本文件里的内容，但是如果只是用普通的cat的话是达不到要求的如果让我们仅仅只用cat 读取文件时，内容肯会按行读取，比如这样：[root@localhost opt]# cat aaa u s df fdoaj sjdfjso dfkdsoasduashudhdsddddddd fffff...
2019-08-03 11:57:46
424
原创 echarts的使用
echarts作为可视化的一个插件，很好用，是一个常用的大数据可视化插件echarts作为可视化的插件，使用起来简单，类似于jQuery（1）引入<script src="/jquery/echarts.min.js"></script>（2）初始化echarts.init（3）.setOption(option);整体得jsp如下：&l...
2019-08-03 11:52:57
493
原创 解脱双手之lombok
lombok是为了解决给我们懒人用的，就是引入这个，我们直接可以省略很多代码，比如我们常用的get和set方法就可以不用了，直接用注解即可。在使用之前肯定要导入maven依赖：<!--lombok 注解--><dependency><groupId>org.projectlombok</groupId><artifactI...
2019-08-03 11:43:02
387
原创 对于维度建模的理解
维度建模，比起传统的数仓结构，简单明了，扩展性和耦合性也有所提高。维度建模主要就是围绕着维度表与事实表而进行的。维度建模就是引入了了这两个表。维度和事实我的理解是不需要抠细节，不需要过分的强调哪一张表是维度表哪一张表是事实表，维度表在设计的时候主要就是为了扩展事实，在有的时候不同的事实可能会让其他的事实表跟着变成了维度表，我的理解是维度表是围绕着某一个事实表而服务的，在这个过程有可能会让其他...
2019-08-03 08:27:25
3078
Roy Thomas Fielding博士论文REST(中文版)
2018-11-01
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人