TensorFlow
文章平均质量分 94
周健文
这个作者很懒,什么都没留下…
展开
-
爱奇艺 TensorFlow Serving 内存泄漏优化实践
文章目录一、背景介绍二、模型特征 Raw Serving Tensor输入三、服务突增高并发请求四、总结五、参考文献TensorFlow Serving由于其便捷稳定的特点在CTR(Click-through Rate,点击率)预估业务场景被广泛的使用,但是其运行时会出现内存不断增长的问题,也不断有相关issue被提交到Github社区,且目前都是Open状态。本文分享了爱奇艺深度学习平台在实践中发现的两个TensorFlow Serving内存泄漏问题,并修复和提交了 PR 到社区,这里将详细介绍问题转载 2021-10-22 12:51:36 · 441 阅读 · 0 评论 -
TensorFlow Serving架构分析
TensorFlow Serving是一个灵活、高性能的机器学习模型服务系统,专为生产环境设计。TensorFlow Serving使得部署新的算法和实验变得容易,同时保持相同的服务器架构和api。TensorFlow Serving提供了与TensorFlow模型的开箱即用集成,但是可以很容易地扩展到其他类型的模型。翻译 2021-05-24 11:19:41 · 616 阅读 · 0 评论