tensorflow 源码
文章平均质量分 93
zhenhailiu
这个作者很懒,什么都没留下…
展开
-
tf eager 模式 --- tf.function 与 autograph
最近在使用 tf2.x 的 api, 两个比较重要的特性是 tf.function 和 autograph。在网上看了一些资料和看了部分源代码之后,大概了解了这两者的底层机制,在此分享给大家。tf.functiontf.function 提供了一种把一个子图包装成一个 op 的能力。不仅在 eager 模式可以用 tf.function 来加速,在图模式下也可以用 tf.function来做一些性能优化的事情。eager 模式在eager 模式下,执行一个 op 能够立马得到结果,模型的逻辑就是 p原创 2022-03-18 00:40:17 · 1861 阅读 · 0 评论 -
tensorflow control flow 2---the implementation of control flow
tensorflow control flow 2---the implementation of control flow目录 tensorflow control flow 2---the implementation of control flow Control-Flow Primitives Compilation of Control-Flow C...翻译 2018-07-25 12:09:49 · 1251 阅读 · 0 评论 -
tensorflow control flow 3 --- excutor.cc 源码解读
executor和 direct session源码解读目录executor和 direct session源码解读excutor.cc这篇博客主要从 C++ 源码角度,讲tensorlfow 运行时 对control flow 原语的特殊处理。要完全理解这部分源码,需要对tensorflow control flow 的原理有些了解,建议先看我上一篇博客。excutor.c...原创 2018-08-08 23:05:13 · 1203 阅读 · 0 评论 -
tensorflow control flow 1---初探控制流
tensorflow control flow 1---初探控制流控制流控制流是指按一定的顺序排列程序元素来决定程序执行的顺序。简单的说,我们经常使用的编程语言C++/java/python里的if..else/while/case等就是控制流。这些语句结构决定程序的运行轨迹。tensorflow 计算图里也有这样的结构。tensorflow 提供了几个往计算图中嵌入控制流的low ...原创 2018-07-22 17:15:21 · 2262 阅读 · 1 评论 -
tensorfow sendop/recvop and Rendezvous
sendop/recvop and Rendezvoustensorflow 如果是单进程多卡的化,计算图也是会分割的,一个卡对应一个计算子图。无论是单进程多卡还是多机多进程多卡,tf计算图都会分割成计算子图,一个卡对应一个计算子图。为了协作完成整个计算图的计算,子图之间需要有通信机制。tensorflow 在分割子图时,会在图之间插入一些send/recv operations。这些节点...原创 2018-08-25 22:40:04 · 652 阅读 · 0 评论 -
tensorflow control flow 4 ---python client api之tf.cond and tf.whileloop
tf.cond and tf.whileloop本篇博客梳理一下 tensorflow python client API 与tf.cond和 tf.whileloop相关的部分,对于这两个api 的详细解释,请看我的第一篇博客和第二篇博客,这篇博客讲一些api 的实现细节。API 梳理tf.cond下图作为讲解tf.cond代码时的参考以下是tf.cond的伪代码。源代码...原创 2018-08-25 23:25:48 · 766 阅读 · 0 评论 -
tensorflow 源码解读---容错机制
tensorflow 源码解读---容错机制tensorflow 的容错机制就是,没有容错机制,或者说存在一种fail fast 机制。一旦计算的某个环节出错,就取消所有的计算。但是,tensorflow 是并行的设计(多进程或多线程),即使一个线程的计算出错,也要存在一种机制来取消其他线程正在运行的计算。以下我结合单机执行的源码,来分析一下这个功能的实现。主要追踪了tensorflow\co...原创 2018-09-19 17:48:00 · 599 阅读 · 0 评论