- 博客(18)
- 收藏
- 关注
RSS订阅原创 flink 时间概念和waterMark
flink中的时间概念理解waterMark，还需要先理解flink的时间概念时间分为事件时间eventTime：事件发生的时间，一般就是数据本身携带的时间。 摄入时间IngestionTime：事件进入Flink的时间。 处理时间processTime：事件被处理的时间，也就是由机器的系统时间来决定。处理时间是最简单的时间概念，不需要流与机器之间的协调。即我机器收到数据后就将其...
2019-11-08 16:17:26
405
1
原创 flink的窗口机制
目录窗口分配器时间窗口分为滑动窗口、滚动窗口会话窗口全局窗口(Global Windows)window的生命周期当一个属于window的元素到达之后这个window就创建了，而当当前时间(事件或者处理时间)为window的创建时间跟用户指定的延迟时间相加时，窗口将被彻底清除。Flink 确保了只清除基于时间的window，其他类型的window不清除；每一个windo...
2019-11-08 10:54:07
530
原创 flink window的Trigger和附加窗口函数
window每一个window都会有一个trigger和一个附加窗口函数函数里包含了应用于窗口(Window)内容的计算，而Trigger(触发器)则指定了函数在什么条件下可被应用(函数何时被触发),一个触发策略可以是 "当窗口中的元素个数超过4个时" 或者 "当水印达到窗口的边界时"。触发器还可以决定在窗口创建和删除之间的任意时刻清除窗口的内容，本例中的清除仅指清除窗口的内容而不是窗口的...
2019-11-08 09:37:46
618
原创 《flink基础教程》读后心得
flink学习的相关概念Storm实现了低延迟但是吞吐量上是很低的storm不支持excatly-once语义，因此不能保证数据的正确性 Spark streaming通过采用微批次处理方法实现了高吞吐和容错性，但是牺牲了低延迟和实时处理能力，也不能使窗口和自然时间相匹配 若要依靠多个流事件来计算结果，必须将数据从一个事件保留到下一个事件，这些保留下来的数据叫做计算的状态 flin...
2019-11-01 17:00:12
638
原创 python的for循环
1：while循环2：for循环3：range4：range（），len（），enumerate（）函数5：列表解析排除掉不能整除2的数的平方
2018-09-27 15:08:13
218
原创 python2.6.6的简单命令使用
1，输出重定向到文件2：程序输入和raw_input內建函数只能用于文本输入输入数值字符串（并将字符串转化为整型）3：注释：从#开始，直到一行结束的内容4：操作符+ - * / // % **加减乘除和取余都是标准操作符python有两种除法操作符 单斜杠作为传统操作符，双斜杠作为浮点除法（对结果进行四舍五入）...
2018-09-25 13:39:11
1030
原创 HDFS数据灾备
1.1 HDFS数据灾备实现目的：A集群与B集群均正常工作，A集群上固定存储数据文件的文件夹，同步至B集群，每日在A集群上对数据文件的增加、修改、删除的操作，同步到B集群，使A集群与B集群保持同样的数据，当A集群因故障不可用时，可使用B集群上的备份数据。 实现原理hadoop distcp命令可以实现不同集群之间相同版本和不同版本hadoop的数据同步及迁移。hadoop中有一个叫做d...
2018-09-21 15:50:50
3037
原创 python3 conda命令2
conda更新更新packageconda update -n python34 numpy# 删除packageconda remove -n python34 numpy# 更新conda，保持conda最新conda update conda# 更新anacondaconda update anaconda# 更新pythonconda update ...
2018-09-21 15:11:21
309
转载 conda的使用
0.获取版本号conda --version conda -V1. 获取帮助conda --helpconda -h 查看某一命令的帮助，如update命令及remove命令conda update --helpconda remove --help 同理，以上命令中的--help也可以换成-h。2.环境管理查看环境管理的全部命令帮助co...
2018-09-21 11:18:31
133
原创 Struts2小结（2）
struts.xml文件配置一：package标签1.配置web应用的不同模块，一般在一个功能模块下配置一个package，在当前模块下配置这个模块的多个action2.name属性：给不同的模块起不同的名字，可以任意起，不能重复3.namespace属性：给不同的模块设置访问的根路径，可以配置成/，也可以不配置，如果不配置默认是 "";（1）按照请求路径先去匹配namespa
2017-12-21 19:35:54
210
原创 struts2小结（1）
Struts入门的helloworld1.导包：将Struts2的sturts-blank.war进行解压。在lib包中把jar找到2.创建一个普通的Java类helloworldAction，写一个返回值为string的方法，方法名字自定义public class HelloWorldAction{public Sring hehe(){System.out.println(
2017-12-21 19:11:28
136
原创 hibernate与mybatis比较
（1）Hibernate与Mybatis的区别Mybatis和hibernate不同，它不完全是一个ORM框架，因为MyBatis需要程序员自己编写Sql语句。mybatis可以通过XML或注解方式灵活配置要运行的sql语句，并将java对象和sql语句映射生成最终执行的sql，最后将sql执行的结果再映射生成java对象。Mybatis学习门槛低，简单易学，程序员直接编写原生
2017-12-20 19:54:53
239
原创 hibernate之初学总结（5）
hibernate举例：银行转账实例（1）首先创建一个工程，在工程的src下new一个包名（根据实际情况），我这里取得是com.zhiyou100.hibernate；然后再该包下面一次new出：dao包，model包，Service包，和test包；（做这些的前提是先导入hibernate的jar包以及数据库的驱动包）具体如下图使用hibernate需要导入的jar包
2017-12-19 21:39:31
157
原创 hibernate之初学总结（4）
hibernate映射类型先解释一下RDBMSRDBMS表示关系数据库管理系统（Relational Database Management System）。RDBMS是SQL以及所有现代数据库系统的基础，例如MS SQL Server、IBM DB2、Oracle、MySQL和Microsoft Access等。（1）映射类型的原始类型（2）日期和
2017-12-19 21:26:35
192
原创 hibernate之初学总结（3）
hibernate映射文件hibernate映射文件指示hibernate如何将已定义的类和类组与数据库中的表对应起来；对于每一个想要提供持久性的对象都要有一个表与之保持一致你需要以格式 .hbm.xml保存映射文件。我们保存映射文件在 Employee.hbm.xml 中。让我们来详细地看一下在映射文件中使用的一些标签:映射文件是一个以 为根元素的 XML 文件
2017-12-19 21:17:08
180
原创 hibernate初学总结（2）
hibernate配置1：hibernate.cfg.xml是Java类连接数据库的映射文件；2：hibernate属性（1）hibernate.dialect ：这个属性使 Hibernate 应用为被选择的数据库生成适当的 SQL。（2）hibernate.connection.driver_class：JDBC 驱动程序类。（3）hibernate.connect
2017-12-19 21:14:40
173
原创 Hibernate之初学总结（1）
一：hibernate简介1：Hibernate 将 Java 类映射到数据库表中，从 Java 数据类型中映射到 SQL 数据类型中，是传统 Java 对象和数据库服务器之间的桥梁，用来处理基于 O/R 映射机制和模式的那些对象。2：hibernate架构图：3：4：配置对象：配置对象提供了两种基础组件。数据库连接：由 Hibernate 支持的一个或多个配置
2017-12-19 17:50:28
195
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人