构建我们的Python代码库依赖图

构建我们的Python代码库依赖图
作者：George Farcasiu, Noah Kim, Jacon Brugh, Jiahao Li, Hudson River Trading

引言
与我们在高频交易的根基保持一致，Hudson River Trading（HRT）行动迅速。与任何工程指标一样，速度有其权衡。在过去的五年中，由于一种通常更重视“足够好”而非“完美”的工程文化，一个鼓励团队间代码共享的协作工作环境，以及一个加速增长的时期，HRT的研究导向型Python代码库在规模和相互关联性上呈指数级增长。随着我们的Python代码库增长到数百万行，导入时间增加了一个数量级，代码变更变得更难以测试，lint时间远远超出了有用范围——我们正在经历代码“纠缠”的影响。

纠缠
代码“纠缠”是我们从Dropbox关于他们自己的Python代码库问题的描述中借鉴来的概念。当代码的依赖图有许多重叠的循环，并且代码库中不相关的部分通过间接且难以理解的导入路径耦合在一起时，我们称之为代码“纠缠”。纠缠在任何大型代码库中都可能是问题（包括其他语言）！

根据我们的经验，纠缠影响运行时导入和静态分析（例如mypy）的性能，并导致紧密耦合，这可能会降低可靠性。在这些问题中，我们的用户发现运行时导入开销是最大的问题，因为它减慢了开发迭代循环，并在数据中心浪费了CPU时间。对于HRT来说，这可能比其他大多数Python工作场所更有问题，因为短暂的Python进程构成了我们计算工作量的相当一部分。

纠缠的负面影响可以迅速增加——几个放错位置的导入，突然之间数百个模块就耦合在一起了。导入开销的影响因纠缠而放大，因为导入循环中的任何模块最终会间接导入该循环中的所有模块（及其依赖