- 博客(92)
- 资源 (8)
- 收藏
- 关注
RSS订阅原创 应用编排服务 AOS
应用编排服务（Application Orchestration Service，简称AOS）为企业提供应用上云的自动化能力，支持编排华为云上的主流云服务，实现在华为云上一键式的应用创建及云服务资源开通，提供高效的一键式云上应用复制和迁移能力。使用应用编排服务，您只需要创建一个描述自己所需的云资源和应用的模板，在模板中自行定义云资源和应用的依赖关系、引用关系等，AOS将根据模板来创建和配置这些...
2019-12-31 18:26:20
1083
原创 Docker 整体介绍
Docker使用Google公司推出的Go语言进行开发实现，基于Linux内核的cgroup，namespace，以及AUFS类的Union FS等技术，对进程进行封装隔离，属于操作系统层面的虚拟化技术。由于隔离的进程独立于宿主和其它的隔离的进程，因此也称其为容器。Docker在容器的基础上，进行了进一步的封装，从文件系统、网络互联到进程隔离等，极大的简化了容器的创建和维护。传统虚拟机技术是虚...
2019-12-31 10:22:04
191
原创 CCE
云容器引擎（Cloud Container Engine，简称CCE）提供高度可扩展的、高性能的企业级Kubernetes集群，支持运行Docker容器。借助云容器引擎，您可以在华为云上轻松部署、管理和扩展容器化应用程序。云容器引擎深度整合华为云高性能的计算（ECS/BMS）、网络(VPC/EIP/ELB)、存储（EVS/OBS/SFS）等服务，并支持GPU、ARM、FPGA等异构计算架构，支持...
2019-12-30 19:19:50
3646
原创 华为 DAYU 详细介绍
DAYU典型的端到端数据运营流程如下图所示： 步骤1：准备工作 如果您是第一次使用DAYU，请参考准备工作，完成注册华为云账号、创建IAM用户、进入DAYU控制台购买DAYU实例、创建工作空间、添加工作空间成员和角色等一系列操作。然后找到对应的工作空间，即可开始数据开发与运营。 步骤2：创建数据连接和数据库 根据业务需求以及业务数据的特点，选择用于数据存储与分...
2019-12-30 18:18:42
8198
2
原创 华为 DAYU 整体介绍
1. 产品概述： 智能数据湖运营平台(DAYU)是数据全生命周期一站式开发运营平台，提供数据集成、数据开发、数据治理、数据服务等功能，支持行业知识库智能化建设，支持大数据存储、大数据计算分析引擎等数据底座，帮助企业客户快速构建数据运营能力 产品架构： 2. 产品优势： 一站式数据运营平台 贯穿数据全流程的一站式治理运营平台，提供全域数据...
2019-12-30 18:18:18
11154
原创 CS
实时流计算服务（Cloud Stream Service，简称CS），是运行在公有云上的实时流式大数据分析服务，全托管的方式用户无需感知计算集群，只需聚焦于Stream SQL业务，即时执行作业，完全兼容Apache Flink（1.5.3版本）API和Apache Spark（2.2.1版本）API。实时流计算框架产品优势:1. 简单易用 在线SQL编辑平台编写Stream...
2019-12-30 17:55:44
452
1
原创 MRS
MapReduce服务（MapReduce Service）提供租户完全可控的企业级大数据集群云服务，轻松运行Hadoop、Spark、HBase、Kafka、Storm等大数据组件。大数据是人类进入互联网时代以来面临的一个巨大问题：社会生产生活产生的数据量越来越大，数据种类越来越多，数据产生的速度越来越快。传统的数据处理技术，比如说单机存储，关系数据库已经无法解决这些新的大数据问题。为解决以...
2019-12-30 17:55:28
3460
原创 SWR
容器镜像服务（Software Repository for Container，简称SWR）是一种支持镜像全生命周期管理的服务， 提供简单易用、安全可靠的镜像管理功能，帮助您快速部署容器化服务。您可以通过界面、Docker CLI和原生API上传、下载和管理Docker镜像。容器镜像服务可配合云容器引擎CCE、云容器实例CCI使用，也可单独作为容器镜像仓库使用。产品功能1. 支持镜像全...
2019-12-30 17:55:07
1451
1
原创 CCI
云容器实例（Cloud Container Instance， CCI）服务提供 Serverless Container（无服务器容器）引擎，让您无需创建和管理服务器集群即可直接运行容器。Serverless 是一种架构理念，是指不用创建和管理服务器、不用担心服务器的运行状态（服务器是否在工作等），只需动态申请应用需要的资源，把服务器留给专门的维护人员管理和维护，进而专注于应用开发，提升应用...
2019-12-30 17:55:00
1234
1
原创 GeoTrellis 详细介绍
GeoTrellis一、概述GeoTrellis是一个高性能程序的地理数据处理引擎。GeoTrellis是一个用Spark处理栅格数据的Scala库和框架。GeoTrellis 能够非常快的读/写/操作栅格数据，他实现了很多的地图几何操作。支持渲染栅格数据为PNG格式，并且支持把栅格文件元信息保存为JSON格式，他致力于依赖网速实现栅格处理和提供大规模栅格的并行处理的REST服务接口。二...
2019-12-30 10:04:44
8452
4
原创 GeoTrellis 整体介绍
GeoTrellis介绍GeoTrellis是一个基于Apache spark 的用于处理栅格数据的scala库和框架可以高效的读/写和操作栅格，实现了地图运算和矢栅转换工具可以将栅格数据渲染成PNG图片，元数据转换成JSONGeoTrellis解决了三个核心的问题创建可扩展的，高性能的地理信息处理WEB服务创建分布式的地理信息处理服务，用来处理海量数据集完成并行化地理信息处...
2019-12-30 10:04:09
2175
原创 GeoSpark 详细介绍
GeoSpark一. 概要GeoSpark是一个用来处理大规模空间数据的计算集群，用SRDDs（弹性分布式数据集 Spatial Resilient Disilient Distributed Datasets ）扩展了Apache Spark /SparkSQL，来高效导入，处理和 分析 大规模跨集群空间数据。GeoSpark整体分为三层，上层为空间查询处理层，体层为几何操作库，中间为空间...
2019-12-30 10:03:26
5509
6
原创 GeoSpark 整体介绍
GeoSparkGeoSpark是基于Spark分布式的地理信息计算引擎，相比于传统的ArcGIS，GeoSpark可以提供更好性能的空间分析、查询服务。功能：并行计算，空间查询，查询服务GeoSpark 继承自Apache Apark，并拥有创造性的 空间弹性分布式数据集(SRDD），GeoSpark 将JTS集成到项目中，支持拓扑运算GeoSpark 支持PostGIS SQL语法...
2019-12-30 10:03:04
2289
原创 GeoMesa 详细介绍
GeoMesa1. GeoMesa 概述GeoMesa 是开源的基于分布式计算系统的面向海量时空数据查询与分析的工具包，它支持多种可扩展的、基于云端的数据存储架构，包括Apache Accumulo, HBase，Cassandra，Google Bigtable，以及用于流计算的Apache Kafka 。同时GeoMesa还可以和Apache Storm一起处理流数据，并使用Spark进行...
2019-12-30 10:02:29
10318
原创 GeoMesa 整体介绍
GeoMesa一、概述在HBase ，Accumulo， Cassandra，Kafka 和 Spark 上 提供对 时空数据的 存储，索引，查询并且转换。GeoMesa 是一个运行在分布式系统上能够进行大规模地理空间数据查询和分析的开源套件空间集。GeoMesa在Accmulo，HBase，Google BigTbale，Cassandra 之上提供了对点，线，面的时空索引。GeoMesa...
2019-12-30 10:01:43
7718
原创 关于GeoBigData 的学习汇总
GeoSpark GeoMesa GeoTrellis GeoWave GeoPySpark GeoToolshttps://blog.csdn.net/huxuanlai/article/details/78687636GeoSparkBigGiser : https://www.jianshu.com/u/922878a44bebjyj019 : https...
2019-12-29 22:38:08
702
原创 SpringBoot 与Mybatis ,TKMyBatis 的集成
前面我们讲了SpringBoot集成Mybatis及 SpringBoot 与 Mybatis的逆向工程，可以使的我们编译程序更加的简单，今天主要讲解下 SpringBoot 与 TkMybatis 的集成SpringBoot 单单集成Mybatis 需要我们编写大量的Sql语句，我们可以通过MyBatis的逆向工程生成大量的实体类及mapper文件进行服务开发，TkMybatis 可以让我们更...
2019-12-29 22:34:37
1412
1
原创 SpringBoot 及 MyBatis 逆向工程 生成mapper.xml，mapper接口及entity类
MyBatis 提供了逆向工程，能够通过MySql 库中的表信息快速的生成 与数据库表相对应的 entity类，mapper.xml 及 mapper接口。0. 数据库配置信息 1. 数据库创建表2. 创建 Spring Boot 工程3. 配置pom.xml4. 配置application.yml 文件5. 配置generatorConfig.xml 文件6....
2019-12-28 15:14:58
1528
1
原创 SpringBoot 与 MyBatis 整合
SpringBoot与Mybatis 的整合我这里分了10步执行，执行如下：0. 数据库配置信息1. 数据库创建表2. 创建 Spring Boot 工程3. 创建 entity 表4. 创建 mapper 接口5. 创建 mapper 的xml文件6. 创建 Servive 接口及对应的 ServiveImpl 实现7. 创建 RestController8...
2019-12-28 14:29:20
234
原创 Java Win7及Linux Centos 7环境配置
1. Win7 环境配置 JAVA_HOME C:\Program Files\Java\jdk1.8.0_162 CLASSPATH .;%JAVA_HOME%\lib;%JAVA_HOME%\lib\tools.jar;%JAVA_HOME%\lib\dt.jar Path ;%JAVA_HOME%\bin;%JAVA_HOME%\jre\bin2. Cento...
2019-12-27 16:39:37
133
原创 Linux Docker 服务部署 及 MySql 5.7 镜像拉取启动
linux 下创建docker服务及通过docker服务拉去iamges镜像，创建容器linux部署环境：centos 7.7 环境：一. 简单部署1. 安装docker yum -y install docker #docker 安装 service docker start #docker 启动 systemctl start docker...
2019-12-27 16:12:56
1832
转载 Spark 单机版伪分布式 CentOS
如果机器资源有限，可以使用单机伪分布式本次部署是在centos 7.1上部署的，ip地址是192.168.1.91，主机名称是hadoop03，已经做好了ssh免登录。Spark各依赖组件的版本分别如下：JDK 1.8.0_71 Scala 2.11.8 Hadoop 2.6.0一、scala下载安装1、下载https://www.scala-lang.org/download...
2019-12-24 12:03:13
325
原创 Spark 单机部署
0. spark 下载解压wget http://mirrors.cnnic.cn/apache/spark/spark-2.0.1/spark-2.0.1-bin-hadoop2.6.tgztar -zxvf spark-2.0.1-bin-hadoop2.6.tgz1. scala配置 https://www.scala-lang.org/download/2.11.8.h...
2019-12-24 12:01:19
374
原创 spark 集群搭建
一. 集群规划 node01为master节点,node02,node03为worker节点 192.168.24.102 node01 192.168.24.103 node02 192.168.24.104 node03二. 基础配置三. 集群配置以下操作以node01为操作节点1. 下载解压(或者提前下载好，上传到node01节点)...
2019-12-24 10:45:05
265
转载 spark 集群搭建(转载)
Spark集群一、Spark集群的四种运行模式二、基于Standalone的Spark集群搭建三、Standalone基于zookeeper的高可用Spark集群搭建1、Spark HA主备切换的过程2、搭建Spark HA3、测试Spark HA：一、Spark集群的四种运行模式1、Local单机运行，一般用于开发测试。2、YarnSpark客户端直接连接Yarn，不需要额...
2019-12-24 10:44:15
281
转载 Hadoop 集群搭建(转载)
一、介绍Hadoop2.0中，2个NameNode的数据其实是实时共享的。新HDFS采用了一种共享机制，Quorum Journal Node（JournalNode）集群或者Nnetwork File System（NFS）进行共享。NFS是操作系统层面的，JournalNode是hadoop层面的，我们这里使用JournalNode集群进行数据共享（这也是主流的做法）。如下图所示，...
2019-12-24 00:21:08
131
转载 Hadoop 集群搭建(转载)
分布式环境搭建之环境介绍之前我们已经介绍了如何在单机上搭建伪分布式的Hadoop环境，而在实际情况中，肯定都是多机器多节点的分布式集群环境，所以本文将简单介绍一下如何在多台机器上搭建Hadoop的分布式环境。我这里准备了三台机器，IP地址如下：192.168.77.128 192.168.77.130 192.168.77.134首先在这三台机器上编辑/etc/hosts配置文件...
2019-12-24 00:18:53
119
原创 Hadoop 集群部署
Hadoop各个功能模块的理解零. 概述 HDFS模块 HDFS负责大数据的存储，通过将大文件分块后进行分布式存储方式，突破了服务器硬盘大小的限制，解决了单台机器无法存储大文件的问题，HDFS是个相对独立的模块，可以为YARN提供服务，也可以为HBase等其他模块提供服务。 YARN模块 YARN是一个通用的资源协同和任务调度框架，是为了解决Hadoop1.x中M...
2019-12-24 00:17:45
186
原创 Kafka 集群部署
Kafka 集群部署之前需要部署Zookeeper集群，关于Zookeeper集群的部署前面已经介绍过并且写了博客，需要了解的出门左拐就能看到 上篇文件介绍了Kafka的单机部署，讲了Kafka 集成Zookeeper部署及Zookeeper + Kafka 部署，还讲了Kafka的基本命令，本章节我们将一下 Kafka的集群部署。1. 集群规划 主机规划： ...
2019-12-23 12:14:42
209
原创 Kafka 单机部署
Kafka 单机部署区分集成Zookeeper 部署和Zookeeper + Kafka 部署俩总方式，如果是单机部署Kafka，集成Zookeeper 最简单，也可以选择Zookeeper + Kafka 这种模式，但是如果为Kafka集群的话，则必须需要部署 Zookeeper 集群。一. 获取解压 1. 下载 wget http://mirror.bit.ed...
2019-12-23 12:09:13
358
转载 zookeeper 单机部署
1、下载zookeeper下载地址：http://archive.apache.org/dist/zookeeper/或wget http://archive.apache.org/dist/zookeeper/zookeeper-3.4.6/zookeeper-3.4.6.tar.gz2、解压安装包tar -zxvf zookeeper-3.4.6.tar.gz3、在 z...
2019-12-23 00:07:39
232
原创 Zookeeper 集群部署
ZooKeeper是一个开源的分布式应用程序协调服务，是Google的Chubby一个开源的实现。ZooKeeper为分布式应用提供一致性服务，提供的功能包括：分布式同步（Distributed Synchronization）、命名服务（Naming Service）、集群维护（Group Maintenance）、分布式锁（Distributed Lock）等，简化分布式应用协调及其管理的难度...
2019-12-23 00:02:45
162
转载 SparkStreaming教程
概要Spark流是对于Spark核心API的拓展，从而支持对于实时数据流的可拓展，高吞吐量和容错性流处理。数据可以由多个源取得，例如：Kafka，Flume，Twitter，ZeroMQ，Kinesis或者TCP接口，同时可以使用由如map，reduce，join和window这样的高层接口描述的复杂算法进行处理。最终，处理过的数据可以被推送到文件系统，数据库和HDFS。imag...
2019-12-22 23:02:38
244
转载 Spark Streaming入门
概述Hadoop的MapReduce及Spark SQL等只能进行离线计算，无法满足实时性要求较高的业务需求，例如实时推荐，实时网站性能分析等，流式计算可以解决这些问题，spark Streaming就是现在常用的流式计算框架。作为spark的五大核心组件之一，spark Streaming原生地支持多种数据源的接入，而且可以与Spark MLLib、Graphx结合起来使用，具有高吞吐量，容...
2019-12-22 23:01:29
178
原创 Spark Streaming 整体介绍
1. 概要 Hadoop的MapReduce及Spark SQL等只能进行离线计算，无法满足实时性要求较高的业务需求，例如实时推荐，实时网站性能分析等，流式计算可以解决这些问题，spark Streaming就是现在常用的流式计算框架。作为spark的五大核心组件之一，spark Streaming原生地支持多种数据源的接入，而且可以与Spark MLLib、Graphx结合起来使用，具有...
2019-12-22 21:10:16
680
转载 Hive，Hive on Spark和SparkSQL区别
ive on MapreduceHive的原理大家可以参考这篇大数据时代的技术hive：hive介绍，实际的一些操作可以看这篇笔记：新手的Hive指南，至于还有兴趣看Hive优化方法可以看看我总结的这篇Hive性能优化上的一些总结Hive on Mapreduce执行流程执行流程详细解析Step 1：UI(user interface) 调用 executeQuery ...
2019-12-22 19:23:43
360
转载 从Hive到Spark
Hive概述Hive 是基于 Hadoop 的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的 SQL 查询功能，将类 SQL 语句转换为 MapReduce 任务执行。Hive产生背景 MapReduce编程带来的不便性 MapReduce编程十分繁琐，在大多情况下，每个MapReduce程序需要包含Mapper、Reduceer和一个Drive...
2019-12-22 19:15:14
657
转载 spark sql之RDD转换DataSet
简介 Spark SQL提供了两种方式用于将RDD转换为Dataset。使用反射机制推断RDD的数据结构 当spark应用可以推断RDD数据结构时，可使用这种方式。这种基于反射的方法可以使代码更简洁有效。通过编程接口构造一个数据结构，然后映射到RDD上 当spark应用无法推断RDD数据结构时，可使用这种方式。反射方式scala// For implicit co...
2019-12-22 19:04:38
507
转载 SparkSql的架构和DataSet
先来说下SparkSql中的DataSet。可能写的不大好，希望对你有帮助。一、SparkSQLSparkSQL完全脱离了Hive的限制。 SparkSQL支持查询原生的RDD。能够在scala中写SQL语句。支持简单的SQL语法检查，能够在Scala中写Hive语句访问Hive数据，并将结果取回作为RDD使用。满足Spark的一栈式解决大数据处理的需求。二、SparkSql底层架...
2019-12-22 19:02:28
266
原创 Spark Sql 详细介绍
0. SparkSQL SparkSQL完全脱离了Hive的限制。 SparkSQL支持查询原生的RDD。1. DataSet DataSet是分布式的数据集合。DataSet是在Spark1.6中添加的新的接口。它集中了RDD的优点（强类型和可以用强大lambda函数）以及Spark SQL优化的执行引擎。DataSet可以通过JVM的对象进行构建，可以用函数式的转换（map...
2019-12-22 18:48:07
304
数据智能分析数据集-空气质量CSV格式
2023-12-18
cholmod-1.5-win-x64 Release Include及Lib库上传
2022-04-17
geotrellis-learn-example.zip
2021-09-25
geomesa-learn-example.zip
2021-09-25
log4cplus 64位 Release/Debug开发包，包含封装C++类
2019-03-05
GDAL 源码剖析与开发指南
2018-11-05
geos培训学习ppt
2018-06-29
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人