- 博客(11)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 flink1.13.3集成iceberg0.12-(7)
iceberg0.12 master集成flink 1.13.3，自己下载master源码打包 1. flink1.13.3下载地址 1. flink1.13.3 wget https://dlcdn.apache.org/flink/flink-1.13.3/flink-1.13.3-bin-scala_2.12.tgz 这个包放到flink lib下 wget https://repo.maven.apache.org/maven2/org/apache/flink/flink-sql-conn
2021-11-16 17:21:25
982
原创 flink1.12.3集成iceberg0.12-(6)
iceberg0.11 升级iceberg 0.12： release-notes 地址(采用对应的fink1.12.4版本) https://iceberg.apache.org/releases/#0120-release-notes jar包下载地址 将下面两个包 放到flink的lib目录下 wget https://search.maven.org/remotecontent?filepath=org/apache/iceberg/iceberg-flink-runtime/0.12
2021-11-16 17:20:09
1340
原创 flink1.11.1集成iceberg0.11（hadoop_catalog）-(5)
创建hive on iceberg 外部表： 下载 jar包 地址; https://repo.maven.apache.org/maven2/org/apache/iceberg/iceberg-hive-runtime/0.11.0/iceberg-hive-runtime-0.11.0.jar 将jar包放到hive的auxlib目录下 此步骤略过 进入 hive hive 开启参数 set iceberg.engine.hive.enabled=true...
2021-11-16 17:19:23
589
原创 flink1.11.1集成iceberg0.11（hadoop_catalog）-(4)
flink 读取 iceberg upsert数据流： 读取iceberg数据 // 创建执行环境envE StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); EnvironmentSettings settings = EnvironmentSettings.newInstance().inStreamingMode().build();
2021-11-16 17:17:03
1118
1
原创 flink1.11.1集成iceberg0.11（hadoop_catalog）-(3)
iceberg表参数配置: iceberg表的参数配置可以配置在with模块 例如： CREATE TABLE hadoop_catalog.iceberg.iceberg_t1 ( id BIGINT COMMENT 'unique id', data BIGINT ) with ('write.distribution-mode'='hash'); 定义写入数据的分布：none：不洗牌行；hash : 散列按分区键分布；range : 如果表具有 SortOrder，则.
2021-11-16 17:15:44
1241
原创 flink1.11.1集成iceberg0.11（hadoop_catalog）-（2）
上一篇文章讲了flink集成iceberg需要的包，这篇讲下flink集成iceberg一些简单的demo测试 1.进入sql-client.sh命令行 # -j 指定 iceberg flink的集成包 # -d 指定配置文件 export HADOOP_CLASSPATH=`$HADOOP_HOME/bin/hadoop classpath` ./bin/sql-client.sh embedded -j /opt/iceberg0.11/iceberg-flink-runtime-0...
2021-11-16 17:10:56
1263
原创 flink1.11.1集成iceberg0.11（hadoop_catalog）-(1)
确定 cdh 环境，flink集群已经准备好 cdh 6.3.2 flink1.11.1 scala2.11 需要的包： iceberg集成flink包 https://repo.maven.apache.org/maven2/org/apache/iceberg/iceberg-flink-runtime/0.11.1/iceberg-flink-runtime-0.11.1.jarhttps://repo.maven.apache.org/maven2/org/apach.
2021-11-16 16:59:27
576
原创 keepalived+mycat+mysql框架搭建
介绍 Keepalived: v1.2.13 Linux:centos x64 6.8版本 Mycat:1.5.1版本 Mysql:5.6.21版本 nc: 1.84-24 ipvsadm: 1.26-4 jdk:1.7 架构介绍： 四台主机： Master：192.168.118.128 Slave：192.168.118.129 DBMaster：192.168.
2017-09-01 09:05:35
4691
2
原创 从零开始搭建maven+springmvc+mybatis web项目(3)---springmvc流程测试
前面的文章已经讲过了如何搭建一个maven+springmvc+mybatis的web项目环境。现在我们需要写一些实体类来跑一下springmvc的整体流程。 上面的图片是整个java后台的结构，用红线框出来的部分你们不用理会，首先，在java目录下面我新建了一个com.zhengtx的包，然后在包里面分了一个小模块，controller,dao,entity,service. 我们先看一下当一个请
2016-12-09 13:52:32
503
原创 从零开始搭建maven+springmvc+mybatis web项目(2)---springmvc配置文件编写
maven项目的目录结构，在上一章我已经讲过了。下面开始springmvc配置文件的编写过程。 首先我们要知道有哪些配置文件需要编写。 上面图片标出的就是一个最简单的springmvc项目的一些配置文件。 我们从pom文件开始看。首先是app-java的pom文件。下面是我搭建项目一些包的引入.和slf4j,jetty,zxing有关的包你们可以不用导入。 <?xml version="1.0"
2016-12-09 11:48:08
633
原创 从零开始搭建maven+springmvc+mybatis web项目(1)---maven项目目录创建
我用的是intellij idea 首先，先创建一个整体项目moudle，然后在项目module下面创建两个子module,app-java和app-web,前者用来保存后台接口代码，后者用来保存前端代码。如下图所示： 按照下图所示，创建app-java项目结构，和app-web项目结构 注意各个module的pom文件的配置； pom 文件打包方式，如果pom1文件<packaging>jar</
2016-12-09 10:44:44
459
flink-sql-connector-hive-2.3.6_2.11-1.11.0.jar
2021-11-16
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人