zhenhailiu的博客

最近在使用 tf2.x 的 api, 两个比较重要的特性是 tf.function 和 autograph。在网上看了一些资料和看了部分源代码之后，大概了解了这两者的底层机制，在此分享给大家。tf.functiontf.function 提供了一种把一个子图包装成一个 op 的能力。不仅在 eager 模式可以用 tf.function 来加速，在图模式下也可以用 tf.function来做一些性能优化的事情。eager 模式在eager 模式下，执行一个 op 能够立马得到结果，模型的逻辑就是 p

spark contextcleaner 源码解读本文通过学习spark 的源码加深对Java reference 的理解。java 引用java 有四类引用，分别是强引用、软引用、弱引用、虚应用。强引用如下代码片段所示，一个java对象句柄就是对其指向的对象的强引用。一个对象如果有强引用，该变量不会被垃圾回收。String handle=new String("a string")...

Contens简要介绍from control flow to dataflow machinetensorflow control flowTesorflow control flow low level apitf.condControl flow implementationContro flow primitive operationscompilation of tf.condcompi...

caffe 源码解读作为算法工程师，在调库的时候，总会好奇，what is under the hood?在这种好奇心的驱使下，我读了caffe的源码。caffe代码量5万行左右，比较简洁。caffe 是个轻量级的深度学习库，在计算机视觉领域用的比较多。提升代码能力有两种途径，一是多写，二是多读。相比自己写bug ridden 的代码，读优秀的代码是一件非常愉快的事情。caffe代码量5万行左...

Thrift安装使用笔记安装thrift安装依赖sudo apt-get install automake bison flex g++ git libboost-all-dev libevent-dev libssl-dev libtool make pkg-configpython 依赖sudo apt-get python-all python-all-dev python-al...

FM算法 Tensorflow实现本节通过实现FM 算法熟悉tensorflow的使用FM 算法原理FM （factor machine）算法是有监督的机器学习算法，可以用来分类和回归，一般用来做CTR预估。FM算法的亮点是提出了一种特征组合的方式。y=w0+∑i=1nwi∗xi+∑i<jwi,j∗xi∗xjy=w_{0}+\sum_{i=1}^{n}{w_{i}*x_{i...

本文总结前面的几篇博客，讲述tensorflow 控制流和 tensorflow 数据流机。最重要的是围绕控制流图解tensorflow 数据流机的执行过程。试例如下：详细的ppt请看https://download.csdn.net/download/zhenhailiu/10971586...

tensorflow 源码解读---容错机制tensorflow 的容错机制就是，没有容错机制,或者说存在一种fail fast 机制。一旦计算的某个环节出错，就取消所有的计算。但是，tensorflow 是并行的设计（多进程或多线程），即使一个线程的计算出错，也要存在一种机制来取消其他线程正在运行的计算。以下我结合单机执行的源码，来分析一下这个功能的实现。主要追踪了tensorflow\co...

Transmogrify.AI目录Transmogrify.AIIntroductionAbstractionsFeaturesStagesWorkflows and ReadersAutoML CapabilitiesVectorizers and TransmogrificationFeature ValidationModelSelectors...

tf.cond and tf.whileloop本篇博客梳理一下 tensorflow python client API 与tf.cond和 tf.whileloop相关的部分，对于这两个api 的详细解释，请看我的第一篇博客和第二篇博客，这篇博客讲一些api 的实现细节。API 梳理tf.cond下图作为讲解tf.cond代码时的参考以下是tf.cond的伪代码。源代码...

sendop/recvop and Rendezvoustensorflow 如果是单进程多卡的化，计算图也是会分割的，一个卡对应一个计算子图。无论是单进程多卡还是多机多进程多卡，tf计算图都会分割成计算子图，一个卡对应一个计算子图。为了协作完成整个计算图的计算，子图之间需要有通信机制。tensorflow 在分割子图时，会在图之间插入一些send/recv operations。这些节点...

executor和 direct session源码解读目录executor和 direct session源码解读excutor.cc这篇博客主要从 C++ 源码角度，讲tensorlfow 运行时 对control flow 原语的特殊处理。要完全理解这部分源码，需要对tensorflow control flow 的原理有些了解，建议先看我上一篇博客。excutor.c...

tensorflow control flow 2---the implementation of control flow目录 tensorflow control flow 2---the implementation of control flow Control-Flow Primitives Compilation of Control-Flow C...

 tensorflow control flow 1---初探控制流控制流控制流是指按一定的顺序排列程序元素来决定程序执行的顺序。简单的说，我们经常使用的编程语言C++/java/python里的if..else/while/case等就是控制流。这些语句结构决定程序的运行轨迹。tensorflow 计算图里也有这样的结构。tensorflow 提供了几个往计算图中嵌入控制流的low ...