春日负暄-CSDN博客

转载发送RST报文的几种可能的情况

（1）TCP在建链过程中收到异常报文时，会发送RST报文：如在Listen状态时收到的SYN报文中有ACK标记，SYN_SEND状态时收到SYN|ACK报文中ACK序号不对，etc（2）TCP在建链时，发出SYN报文之后，60秒之内都没有收到对端的相应报文，会发送RST报文。（3）TCP报文在连续重传12次之后，都没有收到对端相应报文时，会发送RST报文。（4）KeepAlive报文在连续发送5次之后，都没有收到对端的KeeAliveReply报文时，会发送RST报文。（5）当socket设置了L

2021-07-22 12:49:24 9661

原创 Spring核心编程思想(十八)Spring IoC 容器概述之BeanFactory 和 ApplicationContext 谁才是 Spring IoC 容器

BeanFactory 和 ApplicationContext 谁才是 Spring IoC 容器？这个表达式为什么不会成立 userRepository.getBeanFactory() == beanFactory is false 这是因为 ApplicationContext is BeanFactory/** * 依赖注入示例 * 可以发现BeanFactory不是一个普通的Bean 通过依赖注入可以获得但是又不和通过上下文获取的beanFactory相等通过依赖查找

2020-11-19 11:13:59 164

原创 Spring核心编程思想(十七)Spring IoC 容器概述之Spring IoC 配置元信息

Spring IoC 配置元信息Bean 定义配置基于 XML 文件基于 Properties 文件基于 Java 注解基于 Java API（专题讨论）IoC 容器配置基于 XML 文件基于 Java 注解基于 Java API （专题讨论）外部化属性配置基于 Java 注解...

2020-11-19 10:06:19 142

原创 Spring核心编程思想(十六)Spring IoC 容器概述之Spring IoC 依赖来源

自定义 Bean容器內建 Bean 对象容器內建依赖这里的BeanFactory会让人误以为是容器內建 Bean 对象,但是无法通过beanFactory.getBean(BeanFactory.class)查找到所以其实是容器內建依赖,它不是一个Spirng的Bean/** * 依赖注入示例 * 可以发现BeanFactory不是一个普通的Bean 通过依赖注入可以获得但是又不和通过上下文获取的beanFactory相等通过依赖查找无法获得 * 此处的beanFactory.

2020-11-19 09:58:30 95

原创 Spring核心编程思想(十五)Spring IoC 容器概述之Spring IoC 依赖注入

根据 Bean 名称注入根据 Bean 类型注入单个 Bean 对象集合 Bean 对象注入容器內建 Bean 对象注入非 Bean 对象注入类型实时注入延迟注入代码示例依赖注入/** * 依赖注入示例 * 可以发现BeanFactory不是一个普通的Bean 通过依赖注入可以获得但是又不和通过上下文获取的beanFactory相等通过依赖查找无法获得 * 此处的beanFactory和applicationContext相等 * * @author &l.

2020-11-19 09:43:56 82

原创 Spring核心编程思想(十四)Spring IoC 容器概述之Spring IoC 依赖查找

根据 Bean 名称查找实时查找延迟查找根据 Bean 类型查找单个 Bean 对象集合 Bean 对象根据 Bean 名称 + 类型查找根据 Java 注解查找单个 Bean 对象集合 Bean 对象代码示例依赖查找/** * 依赖查找示例 * 1. 通过名称的方式来查找 * 2. 通过类型的方式来查找 * 3. 通过注解的方式来查找 * * @author <a href="mailto:mercyblitz@gmail.com">M.

2020-11-19 09:15:48 82

原创 Spring核心编程思想(十三)重新认识 IoC之面试题

面试题沙雕面试题 - 什么是 IoC ？答：简单地说，IoC 是反转控制，类似于好莱坞原则，主要有依赖查找和依赖注入实现996 面试题 - 依赖查找和依赖注入的区别？答：依赖查找是主动或手动的依赖查找方式，通常需要依赖容器或标准 API 实现。而依赖注入则是手动或自动依赖绑定的方式，无需依赖特定的容器和API劝退面试题 - Spring 作为 IoC 容器有什么优势？答：典型的 IoC 管理，依赖查找和依赖注入AOP 抽象事务抽象事件机制SPI 扩展强大的第三方整合易测试性更

2020-11-19 08:11:24 63

原创 Spring核心编程思想(十二)重新认识 IoC之构造器注入 VS. Setter 注入

构造器注入 VS. Setter 注入Spring Framework 对构造器注入与 Setter 的论点：“The Spring team generally advocates constructor injection, as it lets you implement application components as immutable objects and ensures that required dependencies are not null. Furthermore, cons

2020-11-18 18:09:17 119

原创 Spring核心编程思想(十一)重新认识 IoC之依赖查找 VS. 依赖注入

依赖查找 VS. 依赖注入优劣对比类型依赖处理实现遍历性代码侵入性API依赖性可读性依赖查找主动获取(主动拉取资源)相对繁琐侵入业务逻辑依赖容器API良好依赖注入被动提供(由资源推送)相对便利低侵入性不依赖容器API一般...

2020-11-18 17:54:31 86

原创 Spring核心编程思想(十)重新认识 IoC之轻量级 IoC 容器

轻量级 IoC 容器《Expert One-on-One™ J2EE™ Development without EJB™》认为轻量级容器的特征：A container that can manage application code.A container that is quick to start up.A container that doesn’t require any special deployment steps to deploy objects within it.A con

2020-11-18 17:41:43 81

原创 Spring核心编程思想(九)重新认识 IoC之IoC 容器的实现

传统 IoC 容器的实现Java Beans 作为 IoC 容器特性依赖查找生命周期管理配置元信息事件自定义资源管理持久化规范JavaBeans：https://www.oracle.com/technetwork/java/javase/tech/index-jsp-138795.htmlBeanContext：https://docs.oracle.com/javase/8/docs/technotes/guides/beans/spec/beancontext.htm

2020-11-18 17:41:13 81

原创 Spring核心编程思想(八)重新认识 IoC之IoC 容器的职责以及其他IoC容器

IoC 容器的职责维基百科（https://en.wikipedia.org/wiki/Inversion_of_control）在 Overview 小节中提到：“Inversion of control serves the following design purposes:To decouple the execution of a task from implementation.To focus a module on the task it is designed for.To

2020-11-18 16:29:01 81

原创 Spring核心编程思想(七)重新认识 IoC之IoC 发展简介以及IoC 主要实现策略

IoC 发展简介什么是 IoC ？In software engineering, inversion of control (IoC) is a programming principle. IoC inverts the flow of control as compared to traditional control flow. In IoC, custom-written portions of a computer program receive the flow of contro

2020-11-18 16:26:31 93

原创 Spring核心编程思想(六)Spring 特性总览之相应面试题

沙雕面试题 - 什么是 Spring Framework？答：Spring makes it easy to create Java enterprise applications.It provides everything you need to embrace the Java languagein an enterprise environment, with support for Groovy andKotlin as alternative languages on the JVM,

2020-11-18 15:23:24 89

原创 Spring核心编程思想(五)Spring 特性总览之Spring 编程模型

Spring 编程模型面向对象契约接口Aware这是一种模式 Aware前面是类型会注入ApplicationContext 同理BeanFactoryAware也是一样这是一种接口的方式，称为Aware接口回调每当Bean实现这样一种接口的时候会回调一个对象（ApplicationContext 、BeanFactory） * @author Rod Johnson * @author Juergen Hoeller * @author Chris Beams

2020-11-18 14:45:28 98

原创 Spring核心编程思想(四)Spring 特性总览之Spring 对 JDK API 实践

JDK 核心 APISpring 对 JDK API 实践Java 5 APIAPI 类型Spring 支持版本代表实现反射（Reflection）1.0 +MethodMatcherJava Beans1.0 +CachedIntrospectionResults动态代理（Dynamic Proxy）1.0 +JdkDynamicAopProxyJava 5 APIAPI 类型Spring 支持版本代表实现

2020-11-18 10:48:50 84

原创 Spring核心编程思想(三)Spring 特性总览之Spring 对 Java 语言特性运用

Java 语法变化Spring 对 Java 语言特性运用Java 5 语法特性语法特性Spring 支持版本代表实现注解（Annotation）1.2+ @Transactional枚举（Enumeration）1.2+ Propagationfor-each 语法3.0+ AbstractApplicationContext自动装箱（AutoBoxing）3.0 +泛型（Generic）3.0 +Java 6 语法特性

2020-11-18 09:31:54 67

原创 Spring核心编程思想(二)Spring 特性总览之Spring 模块化设计（Modular）

Spring 模块化设计（Modular）spring-aopspring-aspectsspring-context-indexerspring-context-supportspring-contextspring-corespring-expressionspring-instrumentspring-jclspring-jdbcspring-jmsspring-messagingspring-ormspring-oxmspring-testspring-txspr

2020-11-18 09:17:50 124

原创 Spring核心编程思想(一)Spring 特性总览之核心特性（Core）

核心特性（Core）IoC 容器（IoC Container）Spring 事件（Events）资源管理（Resources）国际化（i18n）校验（Validation）数据绑定（Data Binding）类型装换（Type Conversion）Spring 表达式（Spring Express Language）面向切面编程（AOP）数据存储（Data Access）JDBC事务抽象（Transactions）DAO 支持（DAO Support）O/R映射（O/R

2020-11-18 08:56:39 167

原创 Redis-简单动态字符串(simple dynamic string, SDS)

参考链接:https://www.jianshu.com/p/07ab6932ec15

2020-09-27 14:40:19 161

原创 impala中建立外部表关联并管理kudu API生成的表

在impala中建立外部表关联并管理kudu API生成的表 create EXTERNAL TABLE impala_kudu_test STORED AS KUDU TBLPROPERTIES ('kudu.table_name' = 'kudu_table')上面的代码中，impala_kudu_test这个表名是映射到impala的metadata中的表名，而kudu_table则是直接通过kudu API创建并写入数据的表名。...

2020-09-25 19:03:38 537

原创 spark2.4.3读写kudu1.9常用api

spark2.4.3+kudu1.9 1 批量读val df = spark.read.format("kudu") .options(Map("kudu.master" -> "master:7051", "kudu.table" -> "impala::test_db.test_table")) .loaddf.createOrReplaceTempView("tmp_table")spark.sql("select * from tmp_table l

2020-09-25 16:58:52 333

原创 hive支持的语句也被sparkSQL支持

验证hive支持的语句，以下语句也被sparkSQL支持：<CREATE DATABASE cvv_db; SHOW DATABASES; ALTER DATABASE cvv_db SET DBPROPERTIES('edited-by'='cvv54'); USE DEFAULT; DESCRIBE DATABASE cvv_db; DROP DATABASE cvv_db; CREATE TABLE t2_part(user_id BIGINT

2020-09-25 16:52:33 278

原创 centos7防火墙linux命令

Linux：CentOS7防火墙开放端口配置查看已开放的端口firewall-cmd --list-ports开放端口（开放后需要要重启防火墙才生效）firewall-cmd --zone=public --add-port=3338/tcp --permanent关闭端口（关闭后需要要重启防火墙才生效）firewall-cmd --zone=public --remove-port=3338/tcp --permanent重启防火墙firewall-cmd --reload开机启动防火

2020-09-25 16:07:03 74

原创 spark集成kudu遇到的坑

1.使用spark创建表不设置逻辑库的时候是默认存储在default库里的;2.刚刚使用spark创建的表是没法被impala发现的,需要使用impala同步kudu的元数据在impala中使用INVALIDATE METADATA命令;

2020-09-25 11:43:56 1318

原创使用kettle的一些经验

1.kettle通过打开kettle文件夹中的sqoon.bat打开2.kettle需要先创建数据库连接,创建好之后,点击工具 -> 向导 -> 复制多表向导选择数据源和目标库,数据源在左侧,目标库在右侧.3.选择好表后创建工作流程,在工作流程的复制数据到[table] 这个模块,可以右键选择 open referenced object -> transformation 后悔新弹出单独的流程处理页面.进入这个页面选择写到[table]这个模块右键选择改变开始复制的数量根

2020-09-22 15:10:48 1702

原创通过spark读取oracle遇到的坑

1.因为oracle公司没有对maven授权自己的ojdbc,所以在maven中配置了ojdbc是无法进行在maven仓库下载的.解决方法是通过Oracle官方网站下载相应版本我们在浏览器中输入：http://www.oracle.com/technetwork/database/features/jdbc/index-091264.html下载对应版本19.3的ojdbc8.jar包然后在本机配置maven环境变量,M2_HOME:maven本地仓库路径,然后将M2_HOME加在环境变量的p

2020-09-22 14:51:58 655

原创 sparkcore插入数据库数据时遇到的坑

Spark在运行出错时不能保证输出也是事务级别的。在Task执行一半的时候出错了，虽然在语义上做了事务处理，数据仅被处理一次，但是如果是输出到数据库中，那有空能将结果多次保存到数据库中。Spark在任务失败时会进行重试，这样会导致结果多次保存到数据库中。今天的问题是创建hive表的时候创建错了,导致数据并发执行的时候因为插入hive库整个任务中断了,然后sparkcore默认的task重试四次,导致task再次重试的时候就会有些数据重复插入原先已经入库mysql的表中.导致主键唯一性冲突.所以将参数spa

2020-09-14 17:43:53 347

原创 spark2提交mysql2hive任务的坑

cm5.13.0安装的spark默认安装的是spark1.6 可以通过spark-shell查看spark版本提交spark代码后报错提示不支持一些新语法以及sparkSession, 故需要升级到spark2.2.在cm环境中升级spark2.2,需要下载spark on yarn的csd的jar包、spark 2.2.0 parcel包、parcel.sha1文件以及mainfest.json文件工四个文件在以下两个地址中下载对应cloudera4的版本http://archive.clou.

2020-09-09 17:26:48 146

原创 java中各数据类型位于内存中存储方式

java中的各种数据类型在内存中存储的方式转载别人的附上链接：https://blog.csdn.net/zj15527620802/article/details/806223141.java是如何管理内存的java的内存管理就是对象的分配和释放问题。（其中包括两部分）分配：内存的分配是由程序完成的，程序员需要通过关键字new为每个对象申请内存空间(基本类型除外)，所有的对象都在堆(Heap)中分配空间。释放：对象的释放是由垃圾回收机制决定和执行的，这样做确实简化了程序员的工作。但同时，它也加重

2020-08-06 23:02:29 614

原创将本地项目传至GitHub项目中

文章为转载,方便以后查找.原文章地址为:https://segmentfault.com/a/1190000011909294准备工作1、安装Git2、在github创建账号： https://github.com/准备工作完成后，接下来我们看看上传项目的步骤：一、【创建本地仓库】：我们需创建一个本地版本库（即本地的一个存放项目的文件夹）二、【把本地仓库变成Git可管理的仓库】：选中项目文件夹右键，选择Git Bash,接着会弹出dom, 此时可以通过命令git init把这个文件夹变成Git

2020-07-29 16:22:05 265 1

转载 Spark On YARN 集群安装部署

Spark On YARN 集群安装部署本文属于转载:http://wuchong.me/blog/2015/04/04/spark-on-yarn-cluster-deploy/我们知道 Spark 官方提供了三种集群部署方案： Standalone, Mesos, YARN。其中 Standalone 最为方便，本文主要讲述结合 YARN 的部署方案。软件环境：Ubuntu 14.04.1 LTS (GNU/Linux 3.13.0-32-generic x86_64)Hadoop: 2.6.0

2020-06-30 11:57:38 407

zhanghaoyu_java的博客