- 博客(49)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 gitlab 网站页面上进行分支的建立
1.新建分支-gitlab 网站页面上进行分支的建立。2.git checkout -b new_branch_name这种方法，我在IDE上更新文件说，不存在这个分支，可能是我哪里没操作好，所以，我在页面上进行了创建。
2021-05-07 09:49:49
1301
原创 kibana 使用笔记
001.获得模板GET _templateGET _template/es_table_name 002.删除索引DELETE _template/es_table_name003.创建索引PUT _template/es_table_name{....}从001获得模板改成003创建索引的修改点：0.#get: GET _template/es_table_name //执行获得待修改的代码1.#add: DELETE _te...
2021-04-25 09:40:22
222
原创 创建java maven 项目实现ES数据读取，到集群spark 引擎进行数据加工，推数据到Kafka
1.大概实现描述：1.1.从ES读取数据到hive库1.2.数据在hive库，用sparksql引擎进行数据处理1.3.数据推送到kafka2.准备工作2.1.安装java相关环境2.2.保证连接ES网络连通2.3.通过SparkSession spark 进行数据连接3.准备相关的用到的包和pom.xml 配置：<dependencies> <dependency> <groupId>org.apache.s..
2020-11-27 11:43:56
426
1
原创 通过shell 获取hive库内的表备注，到shell数组中
准备知识Shell 数组#!/bin/bash# author:菜鸟教程# url:www.runoob.commy_array=(A B "C" D)echo "第一个元素为: ${my_array[0]}"echo "第二个元素为: ${my_array[1]}"echo "第三个元素为: ${my_array[2]}"echo "第四个元素为: ${my_array[3]}"$ chmod +x test.sh $ ./test.sh第一个元素为: A第二个.
2020-07-18 19:57:52
409
原创 了解下Apache Elasticsearch 和 Kibana
Kibana 界面Kibana 是为 Elasticsearch设计的开源分析和可视化平台。你可以使用 Kibana 来搜索，查看存储在 Elasticsearch 索引中的数据并与之交互。你可以很容易实现高级的数据分析和可视化，以图标的形式展现出来。Kibana 的使用场景，应该集中在两方面：实时监控通过 histogram 面板，配合不同条件的多个 queries 可以对一个事件走很多个维度组合出不同的时间序列走势。时间序列数据是最常见的监控报警了。问题分析关于 elk 的用.
2020-07-15 11:14:08
375
原创 公众号开发学习笔记-服务号开发
0.订阅号侧重信息传播，每天可以发一条消息，不收费；服务号用于满足用户的服务需求，每月可以发4条消息，可获得高级接口，每年300元；企业号用户企业员工的沟通，企业间的沟通，不限信息次数，每年300元。1.个人用户只能申请订阅号，企业可以申请订阅号，服务号，企业号。2.服务号开发，2.1定义菜单，3个一级，5个二级，4-8个字描述。...
2019-08-17 18:42:47
146
转载 Azkaban的使用
Azkaban简介Azkaban是由Linkedin公司推出的一个批量工作流任务调度器，用于在一个工作流内以一个特定的顺序运行一组工作和流程。Azkaban使用job配置文件建立任务之间的依赖关系，并提供一个易于使用的web用户界面维护和跟踪你的工作流。Azkaban的有以下几点特性：提供功能清晰，简单易用的Web UI界面 提供job配置文件快速建立任务和任务之间的依赖关系 提供...
2018-08-08 11:08:09
283
1
转载 Azkaban介绍
Azkaban 一、为什么需要工作流调度器 二、工作流调度实现方式 三、常见工作流调度系统 四、各种调度工具对比 五、Azkaban 与 Oozie 对比 功能 工作流定义 工作流传参 定时执行 资源管理 工作流执行 工作流管理 六、Azkaban 介绍 七、azka...
2018-08-08 10:56:01
335
原创 事实表关联其他表预防发散处理
主表对应关联表，一条关联多条的时候就会发散数据。导致指标异常。select count(1),'all'from table_aunion allselect count(1),'left join'from table_a a left join table_b b on a.id=b.id;...
2018-08-08 10:40:47
1699
转载 IOS
IOS应用程序Main函数开始焦点解说。1.每一个应用程序都有属于自己的UIWindow，UIWindow继承自UIView2.UIView面临的一下问题都是控制器（UIViewController）来控制。2.1,控制UIView之间的切换2.2，管理UIView的生命周期2.3, 给UIView装配参数2.4，监听UIView的事件并相应IOS程序的运行原理1.首先执行main...
2018-08-08 10:40:01
420
原创 IOS程序的运行原理
IOS应用程序Main函数开始焦点解说。1.每一个应用程序都有属于自己的UIWindow，UIWindow继承自UIView2.UIView面临的一下问题都是控制器（UIViewController）来控制。2.1,控制UIView之间的切换2.2，管理UIView的生命周期2.3, 给UIView装配参数2.4，监听UIView的事件并相应IOS程序的运行原理1.首先执行main...
2018-08-08 10:39:39
869
原创 PL_SQL 学记总结代码
/*from 里面写子查询，子查询别名，select 可以lianwhere里面写子查询，select 的可以连where 条件可以用 in 在用条件过滤的时候，一定要看过滤条件，中，如果有检索范围变大，一定要考虑控制条件是否可以应付所有的特殊情况了。*//*CREATE table*/CREATE table studnet_score(sid number,sscore va...
2018-08-08 10:37:39
286
转载 大数据名词记录
ActiveMQ 是Apache出品,最流行的,能力强劲的开源消息总线。 Dubbo是阿里巴巴公司开源的一个高性能优秀的服务框架，使得应用可通过高性能的 RPC 实现服务的输出和输入功能，可以和 Spring框架无缝集成。 Azkaban是由Linkedin公司推出的一个批量工作流任务调度器，用于在一个工作流内以一个特定的顺序运行一组工作和流程。Azkaban使用job配置...
2018-05-07 10:03:00
235
原创 工作数据仓库设计要点201805
数据仓库层级一般可分为：ods层：称为接口层或近源数据层，表结构与源系统表结构高度相似，通常在ods层主要会做字段的筛选，枚举值转换，编码统一，异常&缺失数据处理等操作。 dw层：称为中间层，按主题建模（域->主题）的明细数据层，数据粒度与ods层一致。 dm层：称为数据集市层，集市层是按照业务主题、分主题构建出来的、面向特定部门或人员的数据集合。 ...
2018-05-02 23:15:31
273
原创 ASCII表
ASCII（American Standard Code for Information Interchange，美国信息交换标准代码）是基于拉丁字母的一套电脑编码系统，主要用于显示现代英语和其他西欧语言。它是现今最通用的单字节编码系统，并等同于国际标准ISO/IEC 646。请注意，ASCII是American Standard Code for Information Interc
2017-07-23 12:32:48
453
原创 PowerDesigner 逆向工程问题
powerDesigner 创建连接http://blog.csdn.net/yishengreai/article/details/6842695orcl 被锁定按照以下进行解锁，改密码。https://zhidao.baidu.com/question/382824011.html按照以下进行解锁，改密码。sqlplus
2017-01-23 17:28:11
555
原创 与源头提供的数据进行比较，修复报表特定维度的指标
修复指标 有效执行顺序 1.进行定位到错误的数据来源表之前，不猜错误的原因。 2. 确定待修复的【指标】，这个【指标】最终的结果表是有问题的，称【最终指标展示表】。 3. 从【最终指标展示表】把清单数据拿出来，直接看这个【指标】统计所用到的数据，看那些数据不是统计的范 围，或者重复统计。 4. 定位错误的统计数据产生原因的真正步骤。 ...
2017-01-23 12:31:12
424
转载 Hive Operators and User-Defined Functions (UDFs)
LanguageManual UDFSkip to end of metadataCreated by Confluence Administrator, last modified by Carl Steinbach on Dec 13, 2015Go to start of metadataHive
2016-02-21 08:56:47
770
原创 hive 开发疑问
1.分区表怎么建立？Create [EXTERNAL] TABLE [IF NOT EXISTS] table_name [(col_name data_type [COMMENT col_comment], ...)] [COMMENT table_comment] [PARTITIONED BY (col_name data_type [COMMENT col_comment], ..
2016-02-01 14:52:45
376
原创 plsql使用技巧
plsql使用技巧pl/sql developer快速输入select * fromTools->Preferences->Editor->AutoReplace->选上Enabled，并Edit文件，加入以下内容：www.2cto.com sf=select * from scf=select count(*) from s=select f=from
2016-01-26 22:37:19
1066
原创 常用linux命令
常用linux命令1.修改777 权限。chmod -R 777 某文件夹的绝对路径。比如cookiex用户目录下面的abc目录设置为777,通过:chmod -R 777/home/cookiex/abcchmod 777 /tmp/zhanglinjiang-R表示的是目录以及目录下面的所有内容都设置为相同的指定权限位。2.显示日期的指令：date .显示日历的指...
2016-01-26 22:27:29
445
原创 C++&杂谈
大学的时候学习过c++，好像是只有两个学期，也没有讲到面向相对性和模板哪里。然后，接着就一个学期的数据结构c++实现。然后c++就光荣的成为学过的科目了。到现在出来工作快一年半，就感觉自己学的不精，没有什么核心的东西在身。如果那时候知道好好学一个东西也会精通一个东西了。现在就整结构化查询语言的工作岗位了。其实，我知道，c++才是编程控制。现在自己的话，以前就感觉在做数据搬运工。也是在环境中搞初
2015-12-18 16:31:19
570
1
原创 BI理论基础
BI是Business Intelligence的英文缩写，中文解释为商务智能，用来帮助企业更好地利用数据提高决策质量的技术集合，是从大量的数据中钻取信息与知识的过程。简单讲就是业务、数据、数据价值应用的过程。传统的交易系统完成的是Business到Data的过程，而BI要做的事情是在Data的基础上，让Data产生价值，这个产生价值的过程就是Business Intelligence a
2015-12-18 15:17:12
3685
转载 认识大数据
“大数据”（BigData）是继云计算、物联网之后TI产业又一次颠覆性的技术变革。当今信息时代所产生的数据量已经大到无法用传统的工具进行采集、存储、管理和分析。全球产生的数据量，仅在2011就达到1ZB，且根据预测，未来十年全球数据存储量将增长50倍。大数据不是云计算，而是云计算的终极目标和升级方向；大数据只有当针对某个方面的应用，找出数据源，确定数据量，选择处理方法，并得出最终结果的过程才有意义
2015-12-18 14:43:19
6143
原创 Hive编程指南 读书笔记
Hadoop生态系统是为了处理大数据集而产生的一个合乎成本效益的剞劂方案。Hadoop实现了一个特别的计算模型也就是MapReduce ，它可以将计算任务分割成多个处理单元然后反三刀一群家用的或是服务器级别的硬件机器上，从而降低成本并提供了平台可以伸缩性。这个计算模型的下面是一个被称为HDFS的hadoop分布式文件系统。这个系统是可插拔的。HIVE出现的原因就是，用户需要这样一个工具去把现有
2015-12-18 11:05:47
567
转载 我使用过的Linux命令之date - 显示、修改系统日期时间
我使用过的Linux命令之date - 显示、修改系统日期时间本文链接：http://codingstandards.iteye.com/blog/1157513 （转载请注明出处） 用途说明date命令可以用来显示和修改系统日期时间，注意不是time命令。 常用参数格式：date显示当前日期时间。 格式：date mmd
2015-11-26 17:24:04
500
原创 英语学习
在大学的时候想去参加work&travel USA的，那时候也是因为大学自己没钱，家里肯定也不会支持需要这么多钱的实践活动的（好像要2w），而且英语水平也菜，后来也就没去了。如果有机会还是想去一下的，懂英语肯定是很好的了。大学4年英语还是有，其实大学四年，本人在计算机专业，英语不是很重视，所以英语水平应该是没什么进步，没进步就是退步了。不过大学四年看了不少美式英语的电影，所以可能，电影的常用对
2015-11-24 15:34:54
386
转载 ETL
ETL （数据仓库技术） ETL，是英文 Extract-Transform-Load 的缩写，用来描述将数据从来源端经过抽取（extract）、转换（transform）、加载（load）至目的端的过程。ETL一词较常用在数据仓库，但其对象并不限于数据仓库。ETL是构建数据仓库的重要一环，用户从数据源抽取出所需的数据，经过数据清洗,最终按照预先定义好的数据仓库
2015-11-23 17:27:02
711
1
原创 HIVE 小技巧
1.hive 从虚拟表查询多行记录。在初始化特定数据的时候，可以作为一个子查询表做关联动作。SELECT explode(ARRAY(1,2,3)) FROM dual;2.hive 的join 的优化在关联表的时候，为了让查询更有效率，我们应该保证连续的查询的表的大小从左往右是依次增加的，使用了/*+STREAMTABLE(S)*/ 将直接告诉查询优化器那张表是大表，S表就是大表
2015-11-23 17:14:24
484
原创 常用软件
1.PowerDesignerPowerDesigner最初由Xiao-Yun Wang（王晓昀）在SDP Technologies公司开发完成。PowerDesigner是Sybase的企业建模和设计解决方案，采用模型驱动方法，将业务与IT结合起来，可帮助部署有效的企业体系架构，并为研发生命周期管理提供强大的分析与设计技术。PowerDesigner独具匠心地将多种标准数据建模技术（UML、
2015-11-23 11:17:04
307
转载 Hive之insert into 和insert overwrite
insert into 和overwrite的用法：INSERT INTO TABLE tablename1 [PARTITION \(partcol1=val1, partcol2=val2 ...)] \select_statement1 FROM from_statement;INSERT OVERWRITE TABLE tablename1 [PARTITION \(part
2015-11-23 10:25:52
517
原创 HiveQL操作简要 数据库和表的相关
--01建数据库CREATE DATABASE IF NOT EXISTS DATABASE_NAME;--02查询数据库SHOW DATABASE;SHOW DATABASE LIKE 'h.*'--Hive 并非支持所有的正则表达式功能--03 修改数据库默认位置CREATE DATABASE DATABASE_NAME LOCATION '/my/preferred/
2015-11-17 18:11:43
979
转载 Hadoop 上的HIVE，HBase和Pig Latin 数据流编程语言
hive是基于hadoop的数据仓库。Hive是一种建立在Hadoop文件系统上的数据仓库架构，对存储在HDFS中的数据进行分析和管理工具。 HBase是一个分布式的、面向列的开源数据库。HBase – Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。HBase利用Had
2015-11-11 18:38:35
861
转载 基于HIVE数据库出报表的后台相关工具介绍
1. Sqoop是让hadoop技术支持的clouder公司开发的一个在关系数据库和hdfs,hive之间数据导入导出的一个工具.2. SQLyogSQLyog 是业界著名的 Webyog 软件公司出品的一款简洁高效、功能强大的图形化MySQL数据库管理工具。使用SQLyog可以快速直观地让您从世界的任何角落通过网络来维护远端的MySQL数据库。3.
2015-11-11 15:25:48
2781
转载 计算机4大核心课程
计算机考研里面，计算机408囊括了4个学科，数据结构，计算机组成原理和计算机网络网络安全。从这个侧面更客观地知道，这些是计算机科学与技术的核心课程。计算机组成原理：讲计算机从底层开始讲述其原理。数据结构：讲述数据和组织数据的算法。计算机网络：讲述计算机网络的基层原理。网络安全：讲述计算机网络上的安全的原理。
2015-11-11 13:53:14
9160
原创 ExDate Oracle 数据库优化的原则和方法
Oracle db开发的时候，对SQL性能质量的优化成本远比在后期的成本要低。作为数据库开发人员，很应该有写高性能sql意识习惯。比如，访问表的方式有全表扫描和通过ROWID访问表，可以不走全表扫描可以完成的，就尽量规避提升性能。SQL语句的优化过程可以是定位问题的语句；检查执行计划中优化器的统计信息；分析相关表的记录数，索引情况；改写sql，使用hint，调整索引，表分析；有些SQL语句不具备优
2015-11-11 13:45:59
1422
转载 分析Oracle索引扫描四大类
学习Oracle时，你可能会遇到Oracle索引扫描问题，这里将介绍Oracle索引扫描问题的解决方法，在这里拿出来和大家分享一下。根据索引的类型与where限制条件的不同，有4种类型的Oracle索引扫描：◆索引唯一扫描(index unique scan)◆索引范围扫描(index range scan)◆索引全扫描(index full scan)◆索引快速扫描(index
2015-11-11 12:56:44
315
原创 《彻底搞定C 指针》 观后感和摘要
姚云飞先生的大作《彻底搞定C 指针》是互联网上中文C/C++ 界内为数不多的专门阐述C 指针问题的优秀文献资源之一。 本文为观后感和摘要。先看代码段：char a,*pa; a = 10; pa = &a; *pa = 20; printf("%d", a); int *pa; 在内存的某处声明一个一定宽度的内存空间，并把它命名为pa。也就是说pa存放的是过渡地
2015-05-11 23:27:19
443
原创 安装系统
windows 系统安装 1.先说引导的方式。 一般的引导的方式可以有USB启动，本机硬盘启动，网络硬盘启动（好像是有的，没有用过），cd rom 启动。一般设置了那个并弄好启动的数据就可以启动装系统。比如，放个盗版dvd可以启动，装个U盘的PE启动工具（大白菜呀什么，注意如果你的pe读不出有个硬盘，你就要用win7 win8等内核的pe去启动），硬盘启动就是最正
2015-05-06 21:05:59
604
原创 Oracle ETL 开发 与 计算机核心课程的思考
我是一个计算机本科毕业生，实习工作已有一年多。去年3月份出来实习，到现在快到五一。 先谈谈工作。工作中，我主要是按照需求文档来完成开发任务。开发中，主要写PL sql，开发DataStage，还有一些项目的其他需要，比如值守作业调度，调度作业开发等。开发完成之后要完成单元测试(UT)，转系统整合测试（SIT）和用户接受测试(UAT)。UT完成之后出UT报告，这时候主要是自己写测试用
2015-04-27 13:18:51
559
libbgi.a、BIOS.H和graphics.h
2015-12-07
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人