python之快速数值计算，使用pybind11用C++为python写lib，让你的python数值计算速度提升100倍

一、前言

Python语言是目前比较火的语言，很容易上手，对数据处理也比较友好，可以用几行代码就能进行一些简单的数据处理工作。但是对于稍微大型的数值计算，或者一些涉及到大量循环的数值计算python的计算速度有点让人失望。

即使是使用numpy对算法算法进行优化，能提升的空间都非常有限了，当然网上有一行代码就提升100倍这种帖子，就是使用numba，但用了这个之后感受并不是太好，对于一个简单循环或许可以加速，对于复杂的循环效果也许并不好(可能是我不会使用，对numba没有太深入的研究)。

想要提升python的数值计算，目前看到比较好的解决方案就是用C给python写计算的lib，如果仅是数值计算，其实涉及到的C++语言的知识并不太多，基本就是for循环，if判断，以及一些STL库，个人觉得性价比还是挺高的。

Python调用C进行数值计算最大难点就是如何进行数据交换，也就是如何把输入参数的指针传递给C，以及如何返回输出参数指针给python。有大神早就将这些都封装好了，就是使用pybind11。

二、pybind11简介

Pybind11定义了一些python数据结构和C++的对应关系，使得数据交换变得非常简单，接下来简单介绍数值计算主要用的一些pybind11用到的知识。

1）获取pybind11

想要用到pybind11的功能当然得有pybind11的代码，网上可以直接下载到pybind11-master.rar文件，只需要下载到本地，然后解压就可以了。

2）cpp基本结构介绍

接下来直接就写代码吧，用Visual Studio创建个cpp文件（不会安装vs的可以自行百度安装一下，这个不是本文重点就不介绍了），本文使用的是VS2015。

首先include一些头文件。Emm…反正感觉会用的先include进来应该没错了。

接下来include本文的重点也就是pybind11的头文件

然后修改下命名空间，只是为了书写方便和import pandas as pd一个道理。

接下来要定义模块的入口。

其中calc就是在python调用时候的模块名称，m是在C++文件中的模块实例，可以通过m.doc()给这个模块写下文档，一般就是这个模块是干什么的，可以在python环境help该模块名来查看，接下来通过m.def定义函数名，第一个参数是字符串，是在python调用时候的函数名，第二个参数是C++文件中的对应函数名称，三个参数是该函数的介绍。

以上写完之后就可以愉快的开始写函数了，整个cpp的结构大致就是下面这样了。

分别是头文件，命名空间，函数区，函数导出区。本文也按照常规套路hello world一把。

3）编译cpp成pyd文件

接下来需要通过编译器将cpp文件编译成python的pyd文件，首先要找到vs的x64本机工具命令提示符，本文以vs2015为例，在开始菜单直接搜索vs2015会出来以下选项（前提是你已经装了正确安装vs）。然后选择VS2014 x64 本机工具命令提示符(注意一定要是x64的)。

打开之后通过cd /d 路径，这个命令将路径切换到cpp所在路径。然后输入以下命令

其中calc.cpp是待编译的cpp文件，路径1需要替换成前文获取到的pybind11-master文件夹下的include文件夹的所在路径，路径2需要替换成python安装路径的include文件夹的所在路径，路径3替换成python安装路径下的libs文件夹的所在路径，calc.pyd是生成的pyd名称，需要和cpp中模块名一致。

输入上述代码回车之后，编译成功会有如下信息打印，同时在cpp所在路径会产生四个文件，我们需要的只是后缀为.pyd的文件。

4）python执行

之后打开前文编译所有的python环境来进行测试，注意这里编译的pyd不同python版本是不能公用的（即python3.5编译出来的文件，python3.6并不能调用），有时同样是3.6编译出来的也不能使用，这个还没研究是怎么一个兼容关系。

Python调用pyd文件，一种简单的方法是用sys模块直接加入pyd文件所在路径，就可以直接调用，或者也可拷贝pyd文件到python能找到的路径下，比如python的安装路径下。然后执行写好的函数就有如下结果。

好的到此咱们已经完成了整个从下载所需文件，到cpp文件书写，然后对cpp进行编译，最后在python执行的全过程。

5）pybind11数据结构介绍

在数值计算用的最多的结构是array_t<>，可以是array_t<float>，array_t<int>或者array_t<double>，当然用的最多的肯定是array_t<double>了。

以上是一个两个矩阵输入，同时输出函数也是一个矩阵的函数声明，在array_t里面封装了数据矩阵的指针以及数据矩阵的大小。

通过以上方法获得了两个数据指针ptr1和ptr2，以及第一个矩阵的大小。

接下来定义输出参数，申请内存并获得数据指针。

上述简单介绍了py::array_t的基本用法，pybind11还定义了py::list等等数据封装内容，这些可以自行查看pybind11文档。地址为https://pybind11.readthedocs.io/en/master/intro.html，或者相应的pdf文档。

6）读取和数据存储

为了方便代码书写，本文会获得的指针进行宏定义，使得代码更有可读性，这里就涉及到了数据存储方式的问题。

这里示范的书写方法是默认输入矩阵和输出矩阵都是按行存储，这一点特别需要注意，其中numpy里的array数据默认是按行存储，也就是不管何种存储方式，只要对array数据进行copy操作之后，返回的数据都是按行存储。所以一般用array数据矩阵作为C函数输入时，进行copy操作是比较稳妥的方式，但是当矩阵较大时，进行矩阵的深拷贝的速度往往会很慢，甚至可能大于计算所需要的时间。

Python常用的库还有pandas，DataFrame数据的存储默认是按列存储，也就是从通过某个dataframe数据.values的方法获得的array数据矩阵，默认是按列存储。

那么如何知道一个array数据矩阵是按行存储还是按列存储呢，array数据有相应参数进行说明。

Array数据矩阵的flag属性下，有f_contiguous和c_contiguous这两个布尔类型的属性，当c_contiguous为真时，矩阵是按行存储，当f_contiguous为真时，矩阵是按列存储。其中f好像是表示Fortran语言，这种语言主要用来进行科学计算，是按列存储，据网上说超大型的数值计算都是用这种语言。c表示C语言，c语言是按行存储。平时用的比较多的数值计算的还有matlab，matlab是按列存储的。貌似对于面板数据来说，进行时间序列上的操作确实是按列存储比较占优。

7)C++函数结构

对于一个常用的输入为矩阵，输出也为矩阵的函数来说，大致的函数结构如下，

分为输入参数获取，输出参数定义，数据矩阵宏定义，运算逻辑，以及结果的返回。基本上的函数书写，仅需要关注运算逻辑如何书写，其他几部分内容都是相对固定的。

三、后语

前文内容详细介绍了如何构建整个cpp的内容结构，C++函数的内容结构，以及pybind11最常用的py::array_t的介绍。在给python写调用函数时，只需要专注于C++函数内容的运算逻辑区的代码即可，可以说已经非常简单了。

文中提到的pybind11-master.rar，pybind11用户pdf文档，关注【量化杂货铺】wx公众号回复【加速一】就可以获得。

这个只是本系列的第一篇介绍，后续有使得你运行速度更快的详细介绍，期待你的运算速度可以起飞~~~~