flink 源码第二轮

最新推荐文章于 2024-04-29 23:23:54 发布

zhoucs86

最新推荐文章于 2024-04-29 23:23:54 发布

阅读量344

点赞数 1

分类专栏： flink

本文链接：https://blog.csdn.net/zhoucs86/article/details/94028960

版权

flink 专栏收录该内容

9 篇文章 0 订阅

订阅专栏

BasicTypeInfo: 任意Java 基本类型（装箱的）或 String 类型。
BasicArrayTypeInfo: 任意Java基本类型数组（装箱的）或 String 数组。
WritableTypeInfo: 任意 Hadoop Writable 接口的实现类。
TupleTypeInfo: 任意的 Flink Tuple 类型(支持Tuple1 to Tuple25)。Flink tuples 是固定长度固定类型的Java Tuple实现。
CaseClassTypeInfo: 任意的 Scala CaseClass(包括 Scala tuples)。
PojoTypeInfo: 任意的 POJO (Java or Scala)，例如，Java对象的所有成员变量，要么是 public 修饰符定义，要么有 getter/setter 方法。
GenericTypeInfo: 任意无法匹配之前几种类型的类。

几个点：
NetWorkBufferPool是在stream中被用得最多的一块
在flink当中，堆外内存的申请主要是使用的ByteBuffer
IOReadableWritable 就是flink当中主要拿来做读写的一个类型，写入DataOutputView
wrap(byte[] array) 这个方法，ByteBuffer和byte[]实际上是共享数据空间的

DataInputOutputSerializerTest
DataOutputSerializer 就是一个DataOutputView，可以将东西读入然后传到ByteBuffer里面

Segment size就是底层可以保存多少内容， isFreed, isOffHeap

core/api/common/typeInfo 当中承载着一些type相关的信息

io/buffer/NetworkBuffer里面就是实现了一个netty当中的ByteBuf
也像ByteBuf一样有Readindex和WriteIndex
可以想getMemorySegment 获取到里面的segment
recycleBuffer（）就是将引用计数减一
setSize（）就是移动writeindex

NetWorkEnviroment有一个registerTask 这个函数，每个Task都有很多的resultPartition，registerTask会将这些注册到NetworkEnv上面
setupPartition 会从NetworkBufferPool里面获取到一个BufferPool分配到resultPartition上面

NetworkBufferPool 和LocalBufferPool 虽然都是叫 Pool，但实际上并不一样。前者是一个factory，后者是一个BufferPool,（由provider和 recycler 组成）
NetworkBufferPool
getTotalNumberOfMemorySegments就是获取总的资源池
recycleMemorySegments 释放一定的内存
getNumberOfAvailableMemorySegments
createBufferPool

redistribute实际上在多个地方都会用到，每个localbufferpool能够返回的就是

poll是从头上拿一个，拿不到返回null
add是加到最后，加不上去会报错

LocalBufferPool 里面的 recycleBuffer 就把segment归还了
LocalBufferPool被实例化时，虽然指定了其所需要的内存段的最小数目，
但是NetworkBufferPool并没有将这些内存段实例分配给它，也就是说不是预先静态分配的，
而是调用方调用requestBuffer方法（来自BufferProvider接口），在内部触发对NetworkBufferPool的实例方法requestMemorySegment的调用进而获取到内存段。

collectBuffers:
   for (int i = 0; i < 10; ++i) {
       for (BufferPool bp : new BufferPool[] { fixedPool, boundedPool, nonFixedPool }) {
           Buffer buffer = bp.requestBuffer();
           if (buffer != null) {
               assertNotNull(buffer.getMemorySegment());
               buffers.add(buffer);
               continue collectBuffers;
           }
       }
   }
很骚的写法

SerializationTestType 继承了 IOReadableWritable 这个接口

DataOutputSerializer 是实现了一个DataOutputView这个结构，net里面的serialization是靠这个结构体来做的
DataOutputSerializer 里面实际上是维护了一个数组，将这个数组封到一个ByteBuffer里面。

### 每次 SpanningRecordSerializer 尝试去 serializeRecord 都会先清空 serializationBuffer 和lengthBuffer

lengthBuffer 就是保存第几个元素的长度是多少
dataBuffer 就保存了真实的数据

reset 就是把以上两个都置为0
copyToBufferBuilder 每次将内容写入到 BufferBuilder当中去，前四个字节是长度，后四个字节是真实长度

RecordWriter相比ResultPartitionWriter所处的层面更高，并且它依赖于ResultPartitionWriter。 RecordWriter是写入记录的，后者就是写入一个Partition

ResultPartition 一个map任务如果产生一个结果，他就是一个resultpartition, 但是可能会被很多个reduce去消费，所以一个resultPartition可能会被分为Sub ResultPartition
每个ResultParttion都有一个LocalBufferPool 。

public void addBufferConsumer(BufferConsumer bufferConsumer, int subpartitionIndex) throws IOException {
checkNotNull(bufferConsumer);

       ResultSubpartition subpartition;
       try {
           checkInProduceState();
           subpartition = subpartitions[subpartitionIndex];
       }
       catch (Exception ex) {
           bufferConsumer.close();
           throw ex;
       }

       if (subpartition.add(bufferConsumer)) {
           notifyPipelinedConsumers();
       }
   }

就是把消息通过subpartition发出去之后通过JobManager 通知对端，消息已经发出去了

ResultPartitionManager 会用来管理整个 resultPartition
每个NetworkEnviroment会有一个manager

================================================

ResultPartition 就是实现了ResultPartitionWriter这个接口 public class ResultPartition implements ResultPartitionWriter, BufferPoolOwner
ResultWriter 有一个 copyFromSerializerToTargetChannel 的方法，就是将个buffer 进行序列化后，放到subParttion里面去

ResultSubPartitionView 有一个getNextBuffer这个方法就是从subPartition中拿取一个segment
这个ResultSubPartitionView就是给InputChannel来调用的

再看到消费端， Task是通过SingleInputGate来消费内容的， getNextBufferOrEvent 是用来获取下一个可以消费的数据的
在开始生成的时候，会判断是local还是remote去生成inputChannel
LocalInputChannel 是最简单的input，可以从jvm中去获取对象
RemoteInputChannel 是可以和远程通信的input

NettyConnectionManager是在NetworkEnvironment里面初始化的，associateWithTaskManagerAndJobManager
什么是Arena？当指定PooledByteBufAllocator来执行ByteBuf分配时，最终的内存分配工作被委托给类PoolArena。
由于Netty通常用于高并发系统，所以各个线程进行内存分配时竞争不可避免，这可能会极大的影响内存分配的效率，
为了缓解高并发时的线程竞争，Netty允许使用者创建多个分配器（Arena）来分离锁，提高内存分配效率。

PartitionRequestClientFactory 是用来和对端建立联系的，

RemoteInputChannel 里面有个 ConnectionManager，当需要和多个不同的 TaskManager 交互的时候，需要多个不同的PartitionRequestClient
NettyMessage 就是把消息封装在里面的一个结构

BufferResponse：服务端给出的Buffer响应消息，编号为0；
ErrorResponse：服务端的错误响应消息，编号为1；
客户端的消息有：

PartitionRequest：客户端发起的分区请求，编号为2；
TaskEventRequest：客户端发起的任务事件请求，编号为3；
CancelPartitionRequest：客户端发起的取消分区请求，编号为4；
CloseRequest：客户端发起的关闭请求，编号为5；