- 博客(17)
- 收藏
- 关注
RSS订阅转载 Linux 流编辑器 sed 详解
流编辑器 sed 与命令 sedLinux 中，常使用流编辑器 sed 进行文本替换工作。与常使用的交互式编辑器（如vim）不同，sed 编辑器以批处理的方式来编辑文件，这比交互式编辑器快得多，可以快速完成对数据的编辑修改。一般来说，sed 编辑器会执行以下操作：一次从输入中读取一行数据；根据所提供的编辑器命令匹配数据；按照命令修改流中的数据；将新的数据输出到 STDOUT。在 sed 编...
2019-07-22 10:54:48
287
转载 sqoop的详细使用及原理
来源https://blog.csdn.net/xiaobianjava/article/details/39854713
2019-07-13 00:00:28
8220
1
原创 启动zkServer.sh start出现Error contacting service. It is probably not running.
主要的原因的是创建的/home/hadoop/data/zookeeperdata/myid文件中的内容写错了
2019-07-01 20:12:35
464
原创 涨停战法之双响炮打板法
双响炮的逻辑：股市中一直大阳线上涨的股票很少，比较多的是先大阳线上涨然后调整几天这样的股票。这个调整有可能是庄家出货、或者是洗盘。–作为散户就应该谨慎谨慎再谨慎如果第一天调整随后第二天又继续大阳线上涨，那么大概率判断前一天的调整是属于庄家在洗盘。----我们就可以找买点介入案例一000753，漳州发展，在2月8号出现了涨停之后接连四天都是小K线，而且基本将涨停K线的成果腐蚀殆尽，实盘中...
2019-06-07 17:31:34
2993
转载 Source、Channel、Sink的类型
Flume SourceSource类型 | 说明Avro Source | 支持Avro协议（实际上是Avro RPC），内置支持Thrift Source | 支持Thrift协议，内置支持Exec Source | 基于Unix的command...
2019-06-07 17:21:34
1281
原创 MySQL调优策略
一、选取合适的字段属性1、在定义邮政编码这个字段时，如果将其设置为CHAR(255),显然给数据库增加了不必要的空间，甚至使用VARCHAR这种类型也是多余的，因为CHAR(6)就可以很好的完成任务了2、另外一个提高效率的方法是在可能的情况下，应该尽量把字段设置为NOT NULL，这样在将来执行查询的时候，数据库不用去比较NULL值。二、使用连接（JOIN）来代替子查询(Sub-Querie...
2019-06-04 15:12:37
319
转载 hive优化策略
优化一：开启本地模式 对于小数据集，执行时间可以明显被缩短。 如果是单次任务开启本地模式的话，那么可以直接在命令行里执行下面set语句，然后再执行hql语句。如果当前用户想将自己的任务启动本地模式，则可以将下面的配置写到$HOME/.hiverc文件里（因为每次hive启动都会去加载执行.hiverc里的命令。）如果希望所有的用户都使用这个配置，那么将下面的配置直接写到hive-sit...
2019-06-03 23:12:25
298
转载 使用hive分析nginx访问日志方法
以下案例是使用hive分析nginx的访问日志案例，其中字段分隔通过正则表达式匹配，具体步骤如下：日志格式：192.168.5.139 - - [08/Jun/2017:17:09:12 +0800] “GET //oportal/static/ui/layer/skin/default/icon.png HTTP/1.1” 200 9905 http://192.168.100.126//o...
2019-06-03 21:49:38
936
原创 主力资金屡试不爽的六种洗盘手法
一、技术表现：箱型、旗型整理洗盘箱型整理指当股价上行到某价位时即遭到主力打压回调，下行到另一个价位时又有主力护盘或新多头吸纳。上档高点连接形成的水平阻力线和下档低点连接后形成的水平支撑线水平平行。旗型整理指股价在上升到相当的幅度后主力开始控盘打压股价，但股价下滑不多后主力开始护盘或者新多头入驻，股价继续上行。散户如果吃透主力意图，则可以享受可观收益。二、技术表现：横盘整理长期盘整的洗盘方...
2019-06-02 21:21:38
1193
原创 Eclispe 代码Alt+/提示显示“No Default Proposals”解决方法
Eclipse本来用着没什么问题，最近更新了一下。结果发现变量名输入一半时，按住Alt+/，居然不会补全。提示“No Default Proposals”解决方法：Window -> Preferences -> Java -> Editor -> Content Assist -> Advanced 里的「Select the proposal kinds con...
2019-06-02 17:59:18
871
1
原创 Hive的beeline连接的方式
用户客户端连接：1）jdbc|odbc2）hiveserver2 远程 其他节点连接hive将hive的服务端启动 启动为后台服务通过指定的工具 在任意节点上连接hive jdbc配置：hive底层的数据存在hdfs的客户端连接hive的时候 连接hdfs hdfs需要开启连接权限的1）修改hdfs的配置文件 修改的hadoop的连接权限1）hdfs-site.x...
2019-06-02 11:09:15
6965
原创 高可用hadoop集群详细安装搭建流程
安装：1）上传2）解压tar -xvzf hadoop-2.7.7.tar.gz3）配置环境变量在/home/hadoop/apps/执行下面的命令ln -s hadoop-2.7.7 hadoop修改环境变量：export HADOOP_HOME=/home/hadoop/apps/hadoopexport PATH=PATH:PATH:PATH:HADOOP_HOME/bin...
2019-06-02 11:04:44
137
原创 Hive详细的安装流程
安装准备：安装hive之前保证hadoop（zk） jdk安装版本：主流1.22.3https://mirrors.tuna.tsinghua.edu.cn/apache/ 镜像安装 2.3.2安装节点：一个节点就可以hdp03安装模式：1）使用自带的元数据库1）上传2）解压tar -xvzf apache-hive-2.3.2-bin.tar.gz3）配置环境变量...
2019-06-02 11:01:33
385
原创 zookeeper详细的安装流程
安装：版本：3.4.10安装节点：奇数台节点1台 数据安全性不高 不建议至少3台安装准备：底层 java依赖 jdk节点id 分配：hdp01 – 1hdp02 2hdp03 3安装步骤：1）上传2）解压tar -xvzf zookeeper-3.4.10.tar.gz3）配置环境变量export ZK_HOME=/home/hadoop/a...
2019-06-02 10:59:00
117
原创 Hbase详细的安装流程
安装准备：hbase底层数据存储在 hdfs的计算 依赖于 mapreduce的依赖于zk做协调服务hadoop zookeeper jdk 安装节点：分布式的架构 主从 一主多从 多主多从对zk的依赖性很强正常部署集群的时候 zookeeper单独独立出来2主（高可用） 3从集群规划：hdp01 hdp02 hdp03master m...
2019-06-02 10:56:13
143
原创 sqoop的安装步骤
安装准备：jdkmysqlhdfshive安装节点：sqoop只需要一个节点这个节点的要求：能够访问到 hadoop hive hbasesqoop安装节点 必须安装 hadoop hive hbasesqoop 只能安装hive所在节点了hdp03安装版本：sqoop1 sqoop1.4… sqoop1.4.7sqoop2 sqoop1.99…选择...
2019-06-02 10:53:24
407
翻译 Maven项目pom.xml报错解决办法
pom.xml报错类似：Missing artifact org.springframework:spring-jdbc:jar:3.2.4.RELEASE 这样的错误，提示某个jar包没有了。这个问题之前碰见好几次了，每次解决了下一次又忘了，特意记下来。解决办法是：右键项目，选择maven，选择update project，除默认选择外，再勾选Force Update of Snapsho...
2019-06-01 23:34:22
315
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人