大数据
ZHBR_F1
我们是来自北京中恒博瑞研发中心的一群工程师,因为共同的目标,我们从五湖四海走到了一起。2017年6月份,我们的研发平台F1平台就要发布第三代了。
展开
-
使用大数据技术处理风电场机组采集数据
测试背景本次测试背景为对某大型风电厂的机组采集数据进行处理,业务需求如下:将采集到的设备的实时数据存入持久化存储对数值超出上下限的测点进行实时告警计算采集数据不同时间段内的均值,一并存入持久化存储对持久存储中的数据提供类SQL查询原创 2017-05-18 10:43:59 · 4178 阅读 · 8 评论 -
Apache Kafka0.10.0.0集群部署
转载请注明出处:http://blog.csdn.net/u012842205/article/details/73250288Kafka集群部署需要依赖一个Zookeeper集群,用于Kafka broker之间的消息触发。不建议使用Kafka内嵌的Zookeeper。本文不对Zookeeper部署做描述。另外,Kafka是Java语言实现的,也必须有JDK,部署前确定环境变量,用户转载 2017-06-26 09:24:46 · 1663 阅读 · 0 评论 -
Kafka安全认证SASL下附带工具的配置使用
转载请注明出处:http://blog.csdn.net/u012842205/article/details/73648170前两篇博客主要讲配置Kafka SASL认证,已经说明了,配置后Kafka自带的工具很多都不能使用。本文主要讲三个常用的Kafka附带工具的安全配置,在完成安全认证配置后,可以继续使用这些工具。本文基于前面的集群Kafka配置SASL用户名密码认证。确保Kaf转载 2017-06-26 09:08:39 · 4134 阅读 · 0 评论 -
集群Kafka配置SASL用户名密码认证
转载请注明出处:http://blog.csdn.net/u012842205/article/details/73188684本文中配置的kafka集群为三节点,Zookeeper有4节点。两个集群相互独立。Apache Kafka v2.11-0.10.0.0Apache Zookeeper v3.4.8Kafka配置SASL PLAIN用于完成基本转载 2017-06-21 14:42:51 · 6568 阅读 · 0 评论 -
Druid0.10.0分布式部署配置
转载请注明出处:http://blog.csdn.net/u012842205/article/details/73469992一、部署环境三个节点:hostnameOSipzookeeperDruid节点内存ezkalicomKali 2.0 Rolling192.168.56.1无无Druid节点,只跑MySQ转载 2017-06-26 09:13:17 · 605 阅读 · 0 评论 -
Druid0.10伪分布式部署
转载请注明出处:http://blog.csdn.net/u012842205/article/details/73290278Druid是一个高性能的面向列存储的分布式存储系统。支持亚秒级的点对点数据查询,包括数据分组,聚合,过滤等操作。其实现目标是支持面向应用的多用户交互查询。可以接入实时数据流(如Kafka)或载入静态数据文件,事先完成数据预计算,以提供更快的查询性能。Druid转载 2017-06-26 09:16:12 · 1111 阅读 · 0 评论 -
基于vue的stark大数据平台前端开发
一. vue项目构建1.项目环境搭建1.安装 node.js下载 node.js 包, 根据指示安装即可。node.js官网安装成功检测 : cmd 输入 node -v, npm -v。 能够显示版本,表示安装成功。2.安装 webpackcmd 中 输入 npm install webapck -g安装检测成功 : cmd 输入 webpack -v。 能够正常显示版本,表...原创 2018-11-12 17:31:52 · 1611 阅读 · 0 评论 -
Fegin的基本使用介绍
一、 基本介绍;Feign是一种负载均衡的HTTP客户端, 使用Feign调用API就像调用本地方法一样,从避免了 调用目标微服务时,需要不断的解析/封装json 数据的繁琐。Fegin是一个声明似的web服务客户端,它使得编写web服务客户端变得更加容易。使用Fegin创建一个接口并对它进行注解。它具有可插拔的注解支持包括Feign注解与JAX-RS注解,Feign还支持可插拔的编码器与解码...原创 2018-12-08 09:26:16 · 34626 阅读 · 0 评论 -
swagger与oauth的集成使用
1.Swagger定义Swagger 是一个规范和完整的框架,用于生成、描述、调用和可视化 RESTful 风格的 Web 服务。总体目标是使客户端和文件系统作为服务器以同样的速度来更新。文件的方法,参数和模型紧密集成到服务器端的代码,允许API来始终保持同步。个人觉得,swagger的一个最大的优点是能实时同步api与文档。在项目开发过程中,发生过多次:修改代码但是没有更新文档,前端还是按照...原创 2018-12-10 17:37:03 · 4079 阅读 · 0 评论 -
单机节点Kafka配置SASL用户名密码认证
转载请注明出处:http://blog.csdn.net/u012842205/article/details/73188534伪分布式Kafka,只用一个节点,zookeeper也用集成在Kafka里的。首先得配置zookeeper的SASL,再配置Kafka broker的SASL。先启动zookeeper节点,再启动Kafka broker。最后测试consumer和读写。转载 2017-06-21 14:51:34 · 1271 阅读 · 0 评论 -
Presto0.167安装部署
记录Presto0.167安装、集群部署与配置过程。转载 2017-05-12 11:53:37 · 482 阅读 · 0 评论 -
Apache Hive2.1.1安装部署
转载请注明出处:http://blog.csdn.net/u012842205/article/details/71713842一、Apache Hive简介Apache Hive是基于Hadoop的一个数据仓库工具,用于使用SQL语法查询、读取、写入和管理大数据量的分布式数据结构。可以将结构化的数据文件映射为一张数据库表,并提供类SQL查询功能。作为一个SQL引擎,提供从数据转载 2017-06-01 15:28:38 · 1132 阅读 · 0 评论 -
Hive表操作及管理
转载请注明出处:http://blog.csdn.net/u012842205/article/details/72765667Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低,可以通过类SQL语句快速实现简单的MapReduce统计,不转载 2017-05-31 09:06:10 · 4926 阅读 · 0 评论 -
Spark Streaming中并行运行任务
在运行Spark Streaming程序时,有时我们需要并行化任务的执行。比如任务A需要每隔5s输出计算结果,任务B用到了时间窗口,每隔1hour计算一次并输出结果。如果全部串行运行的话,在运行任务B时,任务A就会被阻塞。可能B的执行需要3分钟,那这三分钟内A的计算结果就不能被实时看到了。在Spark程序内部(即每个Application中),任务是可以并行运行的。这个官网上有比较详细的介绍。但是S原创 2017-05-27 16:12:31 · 6173 阅读 · 0 评论 -
Cassandra写入性能测试(集群环境)
环境:五个服务器节点(实质是用xserver虚拟出的虚拟机)master2 218G 29741MB(mem) 2coreslave1 438G 29741MB(mem) 2coreslave2 310G 29741MB(mem) 2coreslave4 366G 29741MB(mem)原创 2017-05-27 14:32:39 · 5158 阅读 · 0 评论 -
Hive查询性能测试记录
一、测试环境HDFS 七个节点,五个dn,两个nn。Hive配置在其中一个nn,使用MySQL远程元数据库,同一个节点同时开启hiveserver2和metastore。所有节点内存一致,30GB,CPU为Intel(R) Xeon(R) CPU E5-2620 v3 @ 2.40GHz (x86_64)。所有节点通通过两台真实物理机虚拟(使用XenServer虚拟)。二、原创 2017-05-27 14:16:49 · 6611 阅读 · 0 评论 -
Presto查询性能测试记录
一、测试环境HDFS 七个节点,五个dn,两个nn。Hive配置在其中一个nn,使用MySQL远程元数据库,同一个节点同时开启hiveserver2和 metastore。所有节点内存一致,30GB,CPU为Intel(R) Xeon(R) CPU E5-2620 v3 @ 2.40GHz (x86_64)。所有节点通通过两台真实物理机虚拟(使用XenServer虚拟)。P原创 2017-05-27 14:14:08 · 7288 阅读 · 0 评论 -
Spark相比MapReduce的优势
MapReduce是Apache Hadoop中用于大规模数据集计算的并行计算框架,目前被广泛应用于企业的离线数据处理上。但是因为种种原因,MapReduce的性能并不理想。而Spark作为数据处理框架界的后起之秀,很多方面都超过了MapReduce。下面来列出MapReduce的不足以及Spark对其的改进。MapReduce:仅支持Map和Reduce两种操作Map中间结果需要写磁盘任务调原创 2017-05-17 09:09:22 · 7121 阅读 · 0 评论 -
电力项目中大数据技术的典型应用
典型业务场景在电力行业项目甚至大多数工业项目中,都会涉及到对传感器等设备的采集数据进行存储和处理这一典型的业务场景,具体流程为:将传感器的采集数据汇集到前置的汇集器前置的汇集器将实时数据数据传输到数据处理中心数据处理中心对传输过来的实时数据进行实时的清洗和告警将实时数据和告警、计算数据一并存入持久化存储对持久化存储中的数据进行多维分析与数据挖掘对持久化存储中的数据进行可视化展示如图所示原创 2017-05-16 16:53:27 · 5746 阅读 · 0 评论 -
Flink读取与写入kafka数据
1. 基本概念Flink是一款分布式的计算引擎,它可以用来做批处理,即处理静态的数据集、历史的数据集;也可以用来做流处理,即实时地处理一些实时数据流,实时地产生数据的结果;也可以用来做一些基于事件的应用。kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者规模的网站中的所有动作流数据。这种动作(网页浏览,搜索和其他用户的行动)是在现代网络上的许多社会功能的一个关键因素。这些数据通...原创 2019-01-02 13:32:31 · 7789 阅读 · 3 评论