另类数据 | 量化交易中的数据革命

在量化交易中，如何获取适当的数据用于开发和测试交易策略，往往是投资者面临的一个难题。尽管随着技术的发展，获取大数据的成本也在逐渐降低，但历史价格等传统数据已经不能满足部分投资者的需求。许多量化投资者开始尝试从另类数据(Alternative Data) 中提取交易信号。这些数据的来源千奇百怪，却可能有效地提升投资回报。

对另类数据的探索和应用由来已久。1997年，当芝加哥期货交易所(CBOT)搬到新的交易大厅时，密歇根大学的研究团队在这里开展了一项有趣的研究——监测交易大厅长达两个月的音量。研究人员假设，交易员喊价音量的大小往往反映他们的焦虑情绪，并将进一步影响交易行为和交易价格。结果显示，交易大厅音量大小有效地预测了期货市场几分钟后的波动性。

交易大厅的噪音看似无用，实际上却传递着微妙而复杂的信息，反映期货市场瞬息万变的情绪和供求关系。新技术的发展使另类数据的获取更加便捷，从社交媒体到卫星图像，各种新兴数据渠道正成为对冲基金的重要情报来源。目前的另类数据具体包括哪些？技术的变革带来哪些另类数据的新应用？如何利用另类数据提高你的决策质量？下面我们一起来探索另类数据的世界。

另类数据概览

摩根大通的量化研究部门把另类数据归类为如下几大类：

1. 个人活动产生的数据：社交媒体、新闻稿和评论、搜索引擎数据、网络搜索量和点击率等

2. 商业活动产生的数据：交易记录和信用记录等

3. 高科技监测获取的数据：卫星监测图像、地理定位和气候变化数据等

 

目前另类数据主要应用于股票和大宗商品的投资。大部分另类数据不能单独成为投资策略的依据，而是会配合其他传统数据使用，提高决策的质量。

此外，另类数据的使用也面临诸多挑战，比如数据历史较短可能导致样本偏差，非结构化数据（如文字和图像）需要特定的技术进行进一步处理等。

个人活动产生的数据

每日产生五亿条内容的社交媒体推特(twitter) 是较受欢迎的一个另类数据来源。早在2010年，美国印第安纳大学的团队已开始研究推特的信息是否对道琼斯指数有持续的预测作用。研究团队分析每日的推特内容，划分为六种情绪状态，用时间序列方法，发现推特情绪能有效预测市场指数的升降，准确率高达87.6%。

近年来，越来越多的投资机构在交易策略中考虑了社交媒体信息。许多科技公司提供不同的应用程序接口来帮助客户获取和处理社交媒体数据。比如纽约的新兴科技公司Dataminr，通过实时信息监测和挖掘，识别推特中不同寻常的信号，找出对特定企业客户关键的推文，然后迅速对企业客户发出预警，对极不寻常却又影响重大的“黑天鹅事件”保持高度的警觉度，在风控领域和事件驱动投资策略上都有实用价值。

虽然获取信息的成本低廉，促使推特数据应用被越来越多的企业采用，但把社交媒体信息整合成为易于处理的数据仍面临着不小的挑战。大部分社交媒体的数据历史较短，而且每一条内容的输出都可能有不同的形式，需要针对不同社交媒体风格的自然语言处理(Natural Language Processing)。此外，许多其他的渠道，包括新闻媒体、网络搜索、专业论坛等，也源源不断产生大量个人活动数据，如何从数据的海洋里挖掘出与投资决策相关的信息，需要数据使用者的谨慎判断。

 商业活动产生的数据

商业活动产生的数据由商家、政府部门或第三方机构搜集和汇总。许多数据公司与金融机构达成合作，获取匿名的交易数据和信用记录。比如另类数据提供商Eagle Alpha通过搜集和分析信用卡账户和电子邮件收据显示的交易信息，纠正样本偏差后，能有效预测零售业和餐饮业公司的收入情况，在正式财报公布之前抢占先机。

商业活动信息往往有较长的数据历史，数据的获取和处理方法也更为成熟。而这些信息也往往成本昂贵，高质量的信用数据费用可能高达数百万美元一年。也有监管机构担忧这些信用数据没有进行足够的匿名处理，仍可能泄露部分个人信息。

监测工具获取的数据

随着近年来各种高科技监测手段的成本大幅降低，卫星图像等监测方法也开始应用到投资分析中。美国加州的卫星数据分析公司Orbital Insight，通过油盖在阳光下的阴影模式，分析原油储量的变化趋势：

或者用卫星拍摄的大型超市门前的停车场图片，查一查汽车的数量，去推测这个季度的销售情况：

高科技监测手段也面临各种挑战，比如卫星监测中不同地点的云层覆盖对图像精确度的影响。这些图像和信息往往需要经过复杂的加工步骤。除了卫星图像以外，其他监测工具如无人机、热像仪、手机地理定位等，也可能获取对投资决策有用的信息。科技公司正在不断挖掘各种监测工具潜在的价值。

小结

尽管目前另类数据的应用仍面临技术的局限、较高的成本和监管不完善等问题，但随着技术的发展，另类数据的应用也许会突破我们想象的边界，在未来扮演更重要的角色，成为传统数据的重要补充，以及投资者提升决策质量的利器。同时，量化投资者也需要对数据背后的市场驱动因素有深刻的认识，才能在这场数据革命中立于不败之地。

Reference:

1. Coval and Shumway (2001): Is Sound Just Noise?

2. JP Morgan (2017): Big data and AI Strategies

3. Bollen, Mao and Zeng (2010): Twitter Mood Predicts the Stock Market

---------------------------------------------------------------------------------

推荐阅读：

1.一个量化策略师的自白（好文强烈推荐）

2.股票期货经典的量化交易策略都在这里了！（源码）

3.期货/股票数据大全查询（历史/实时/Tick/财务等）

4.一个完整的量化交易系统都需要哪些功能？

5.学习Python有哪些书籍？这里有一份书单送给你

6.江湖中常说的“网格交易法”到底是什么？

7.10种经典的日内交易策略模型思路

8.干货 | 量化选股策略模型大全

9.量化金融经典理论、重要模型、发展简史大全