python之快速数值计算,使用pybind11用C++为python写lib,让你的python数值计算速度提升100倍

一、前言

Python语言是目前比较火的语言,很容易上手,对数据处理也比较友好,可以用几行代码就能进行一些简单的数据处理工作。但是对于稍微大型的数值计算,或者一些涉及到大量循环的数值计算python的计算速度有点让人失望。

即使是使用numpy对算法算法进行优化,能提升的空间都非常有限了,当然网上有一行代码就提升100倍这种帖子,就是使用numba,但用了这个之后感受并不是太好,对于一个简单循环或许可以加速,对于复杂的循环效果也许并不好(可能是我不会使用,对numba没有太深入的研究)。

想要提升python的数值计算,目前看到比较好的解决方案就是用C给python写计算的lib,如果仅是数值计算,其实涉及到的C++语言的知识并不太多,基本就是for循环,if判断,以及一些STL库,个人觉得性价比还是挺高的。

Python调用C进行数值计算最大难点就是如何进行数据交换,也就是如何把输入参数的指针传递给C,以及如何返回输出参数指针给python。有大神早就将这些都封装好了,就是使用pybind11。

二、pybind11简介

Pybind11定义了一些python数据结构和C++的对应关系,使得数据交换变得非常简单,接下来简单介绍数值计算主要用的一些pybind11用到的知识。

1)获取pybind11

想要用到pybind11的功能当然得有pybind11的代码,网上可以直接下载到pybind11-master.rar文件,只需要下载到本地,然后解压就可以了。

2)cpp基本结构介绍

接下来直接就写代码吧,用Visual Studio创建个cpp文件(不会安装vs的可以自行百度安装一下,这个不是本文重点就不介绍了),本文使用的是VS2015。

首先include一些头文件。Emm…反正感觉会用的先include进来应该没错了。

接下来include本文的重点也就是pybind11的头文件

然后修改下命名空间,只是为了书写方便和import pandas as pd一个道理。

接下来要定义模块的入口。

其中calc就是在python调用时候的模块名称,m是在C++文件中的模块实例,可以通过m.doc()给这个模块写下文档,一般就是这个模块是干什么的,可以在python环境help该模块名来查看,接下来通过m.def定义函数名,第一个参数是字符串,是在python调用时候的函数名,第二个参数是C++文件中的对应函数名称,三个参数是该函数的介绍。

以上写完之后就可以愉快的开始写函数了,整个cpp的结构大致就是下面这样了。

分别是头文件,命名空间,函数区,函数导出区。本文也按照常规套路hello world一把。

3)编译cpp成pyd文件

接下来需要通过编译器将cpp文件编译成python的pyd文件,首先要找到vs的x64本机工具命令提示符,本文以vs2015为例,在开始菜单直接搜索vs2015会出来以下选项(前提是你已经装了正确安装vs)。然后选择VS2014 x64 本机工具命令提示符(注意一定要是x64的)。

打开之后通过cd /d 路径,这个命令将路径切换到cpp所在路径。然后输入以下命令

其中calc.cpp是待编译的cpp文件,路径1需要替换成前文获取到的pybind11-master文件夹下的include文件夹的所在路径,路径2需要替换成python安装路径的include文件夹的所在路径,路径3替换成python安装路径下的libs文件夹的所在路径,calc.pyd是生成的pyd名称,需要和cpp中模块名一致。

输入上述代码回车之后,编译成功会有如下信息打印,同时在cpp所在路径会产生四个文件,我们需要的只是后缀为.pyd的文件。

4)python执行

之后打开前文编译所有的python环境来进行测试,注意这里编译的pyd不同python版本是不能公用的(即python3.5编译出来的文件,python3.6并不能调用),有时同样是3.6编译出来的也不能使用,这个还没研究是怎么一个兼容关系。

Python调用pyd文件,一种简单的方法是用sys模块直接加入pyd文件所在路径,就可以直接调用,或者也可拷贝pyd文件到python能找到的路径下,比如python的安装路径下。然后执行写好的函数就有如下结果。

好的到此咱们已经完成了整个从下载所需文件,到cpp文件书写,然后对cpp进行编译,最后在python执行的全过程。

5)pybind11数据结构介绍

在数值计算用的最多的结构是array_t<>,可以是array_t<float>,array_t<int>或者array_t<double>,当然用的最多的肯定是array_t<double>了。

以上是一个两个矩阵输入,同时输出函数也是一个矩阵的函数声明,在array_t里面封装了数据矩阵的指针以及数据矩阵的大小。

通过以上方法获得了两个数据指针ptr1和ptr2,以及第一个矩阵的大小。

接下来定义输出参数,申请内存并获得数据指针。

上述简单介绍了py::array_t的基本用法,pybind11还定义了py::list等等数据封装内容,这些可以自行查看pybind11文档。地址为https://pybind11.readthedocs.io/en/master/intro.html,或者相应的pdf文档。

6)读取和数据存储

为了方便代码书写,本文会获得的指针进行宏定义,使得代码更有可读性,这里就涉及到了数据存储方式的问题。

这里示范的书写方法是默认输入矩阵和输出矩阵都是按行存储,这一点特别需要注意,其中numpy里的array数据默认是按行存储,也就是不管何种存储方式,只要对array数据进行copy操作之后,返回的数据都是按行存储。所以一般用array数据矩阵作为C函数输入时,进行copy操作是比较稳妥的方式,但是当矩阵较大时,进行矩阵的深拷贝的速度往往会很慢,甚至可能大于计算所需要的时间。

Python常用的库还有pandas,DataFrame数据的存储默认是按列存储,也就是从通过某个dataframe数据.values的方法获得的array数据矩阵,默认是按列存储。

那么如何知道一个array数据矩阵是按行存储还是按列存储呢,array数据有相应参数进行说明。

Array数据矩阵的flag属性下,有f_contiguous和c_contiguous这两个布尔类型的属性,当c_contiguous为真时,矩阵是按行存储,当f_contiguous为真时,矩阵是按列存储。其中f好像是表示Fortran语言,这种语言主要用来进行科学计算,是按列存储,据网上说超大型的数值计算都是用这种语言。c表示C语言,c语言是按行存储。平时用的比较多的数值计算的还有matlab,matlab是按列存储的。貌似对于面板数据来说,进行时间序列上的操作确实是按列存储比较占优。

7)C++函数结构

对于一个常用的输入为矩阵,输出也为矩阵的函数来说,大致的函数结构如下,

分为输入参数获取,输出参数定义,数据矩阵宏定义,运算逻辑,以及结果的返回。基本上的函数书写,仅需要关注运算逻辑如何书写,其他几部分内容都是相对固定的。

三、后语

前文内容详细介绍了如何构建整个cpp的内容结构,C++函数的内容结构,以及pybind11最常用的py::array_t的介绍。在给python写调用函数时,只需要专注于C++函数内容的运算逻辑区的代码即可,可以说已经非常简单了。

文中提到的pybind11-master.rar,pybind11用户pdf文档,关注【量化杂货铺】wx公众号回复【加速一】就可以获得。

这个只是本系列的第一篇介绍,后续有使得你运行速度更快的详细介绍,期待你的运算速度可以起飞~~~~

  • 2
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值