【时序预测实战】【资金流入流出赛题与数据理解】

最新推荐文章于 2024-05-09 15:27:13 发布
最新推荐文章于 2024-05-09 15:27:13 发布
阅读量1.4k 收藏 7
点赞数 2
分类专栏： 时间序列实战
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zyuPp/article/details/108094866
版权

资金流入流出赛题理解

一、赛题介绍

平台拥有大量用户，每天都有大量资金流入流出，资金管理压力大，希望在保证资金流动性风险最小，又满足日常业务运转的情况下，精确预测资金流入流出情况

赛题任务

利用2013年7月–2014年8月的数据，预测2014年9月每一天申购和赎回的总量

二、数据介绍

1. 用户信息表： user_profile_table

约 2.8 万个用户的基本数据，主要包含了用户的ID、性别、城市和星座
在这里插入图片描述

2. 用户申购赎回数据表： user_balance_table

有 2013年07月01日 至 2014年08月31日 申购和赎回信息、以及所有的子类目信息， 数据经过脱敏处理。数据主要包括用户操作时间和操作记录
在这里插入图片描述
在这里插入图片描述

注意：脱敏后的数据保证了今日余额 = 昨日余额 + 今日申购 - 今日赎回，不会出现负值。

3. 收益率表：mfd_day_share_interest

余额宝在 14 个月内的收益率表
在这里插入图片描述

4. 上海银行间同业拆放利率（Shibor）表： mfd_bank_shibor

银行间拆借利率表是 14 个月期间银行之间的拆借利率（皆为年化利率）
在这里插入图片描述

5. 收益的计算方式

收益计算的时间是自然日，以 0 点为分隔，如果是 0 点之前转入或者转出的金额算作昨天的，如果是 0 点以后转入或者转出的金额则算作今天的。

收益的显示时间，即实际将第一份收益打入用户账户的时间为如下表格：
在这里插入图片描述

6. 需要提交的结果表 tc_comp_predict_table

在这里插入图片描述

三、评估指标

为了避免某些天的异常表现会严重影响一些传统评价指标，例如MSE、MAE，我们的目的是为了让每一天的预测误差都较小，所以采用了积分制，每天10分，一个月一共300分，若某天预测误差较小，则可得分数满分10分，若误差较大，则可能会0分，计算公式不公布。

最后的总积分计算：
在这里插入图片描述
最后公布总积分 = 申购预测得分 *45%+ 赎回预测得分 *55% 。

遇到的问题
  1. 下图的公式如何获得？
    在这里插入图片描述

四、了解数据时的常见问题

1. 预测的申购是否包括收益的？

是的，预测的申购包含收益。

2. 什么是万份收益?

万份收益是对货币基金收益的一个指标，简单理解就是假设你买了1万块，当天的万份收益是1.2，则你当天的收益,1.2元。

3. 什么是七日年化收益率？

7日年化收益率仅是基金过去7天的盈利水平信息，并不意味着未来收益水平。七日年化收益率是货币基金过去七天每万份基金份额净收益折合成的年收益率。

4. 昨天的申购量是不是就是指昨日余额呢？

昨天的申购就是新转入的，余额是余额宝账号里面总的资金。周末申购的，要到周一才确认（忽略节日）。

五、数据探索方法

5.1 时间序列图与数据分布可视化

  • 通过折线图观察数据特点，了解周期性、季节性、震荡幅度等
  • 直方图和密度曲线图观察数据的分布
  • 箱线图关注异常值、中位数
  • 小提琴图是箱线图和核密度图的结合体，用来显示数据分布及其概率密度
    在这里插入图片描述

5.2 变量间相关性与独立性分析

相关性分析

按照定类、定序、定距分类，找出变量间的线性相关性，采用的相关系数为：

相关系数(Correlation coefficient)是反应变量之间关系密切程度的统计指标，相关系数的取值区间在1到-1之间。1表示两个变量完全线性相关，-1表示两个变量完全负相关，0表示两个变量不相关。数据越趋近于0表示相关关系越弱。

在这里插入图片描述

独立性检验

变量间可能存在非线性关联，需要做独立性检验。
在这里插入图片描述
本次使用的计算方法是基于均值方差指数的无分布独立性测试。是基于一种无分布假定的独立性检验得到的，可分析一个离散型变量与一个连续型变量间的独立性。这种方法与梯度提升树有较大差异，可以避免排序建模方法与特征选择方法间的同质性。

关于独立性和相关性的区别
  • 独立性：看变量之间是相互独立还是有关系（这种关系包括线性关系和非线性关系）
  • 相关性：看变量之间是否有线性关系，关系的方向是正是负？等零即没有线性关系，但是代表就是互相独立，可能存在非线性关系，需要做独立性检验去筛查

六、赛题EDA

6.1 每个月申购赎回总量的时序图

以下是每个月的申购和赎回的总量的时序图，我们可以观察到通常以周为单位，会有一个波峰或者波谷
在这里插入图片描述
14年的4月到8月，月末时赎回比申购都是高的。
在这里插入图片描述

2014/4~8月的一周分析

在这里插入图片描述
周一至周四是申购比较多的日子，可能是因为可以很快看到收益，而周五六日需要间隔较久的时间。而赎回的时间，工作日基本差不多，周末的赎回数相对较少。可以发现人们在周末中操作的次数比较少。

下面是求中位数后绘制的柱状图，可以说明工作日的操作次数比周末更多。
在这里插入图片描述
不过买出卖入主要还是看收益的和个人的投资习惯，以下是箱线图：
在这里插入图片描述

6.2 分析一周内每一天的的总量差异

对周一到周日做one-hot编码，spearman相关系数计算每日的总量数据关系.

  • 相关性：
    在这里插入图片描述

6.3 观察每个月的申购和赎回总额的分布

每个月的申购总量分布，kdeplot

在这里插入图片描述

每个月的赎回总量分布

在这里插入图片描述
左边有几条线是比较高的，差异非常明显，对应是13年7月-10月的分布

14年5月~14年8月期间每月的分布

在这里插入图片描述
5月和6月的申购量相似，7、8月有差异；

13年7月~13年9月期间每月的分布

在这里插入图片描述
申购量8月与7、9月差异较大；赎回两9月与10月相当接近

6.4 按天分析申购和赎回

这是2014年7月份的每天的流入流出总量情况，每一周的头两天都是申购的比较多，到中期周三周四就倾向于赎回，周末的交易数量相对较少
在这里插入图片描述
我们来看一下2013年9月份的情况，通过这一数据分析特定节日对行为的影响
在这里插入图片描述
对照日期来看，可以发现一些现象，做一些大概的猜测。9月1号是周日，这一天低申购量高赎回量，我猜测是人们希望接下来一周快点查看到收益，所以提早在这一天赎回。11号是赎回的一个峰值，是能在第二周当周查看到收益的最后一天赎回日子。16号是申购峰值，正准备进入中秋节，节日会休市，所以提早买入。有些人希望国庆节前查看收益，所以25号成了赎回的峰值。进入28号之后，就是假期，所以交易操作数量开始减少
在这里插入图片描述
下面这个热力图分析的是2014年4月开始的数据，横坐标是星期数，纵坐标是从4月1号开始的第几周。我们留意到第四周的星期天，即5月4日。是劳动节的补上班时间，人们通常会在上班的日子里做交易操作。第二个关注点是第12周的周三，大约是6月25号左右，通过历史信息，那天有关于对于余额宝不利的消息，所有有可能是导致赎回量上升的原因。
在这里插入图片描述
以上信息说明，有必要分析节假日和特殊日期，会对用户的交易行为有影响。观察某些节日的总量差异
在这里插入图片描述
在这里插入图片描述
很容易看到一些规律，在节日前交易量下降，大家都去玩了，懒得看；节后交易量上升，开始赚钱了，肯定要操作一下，顺便上班摸鱼，哈哈。
在这里插入图片描述

6.5 分析大额交易

通过箱型图找到异常点，有超过2亿的一笔购买量，
在这里插入图片描述
那天为2013年11月4号，我们查看一下1号到9号的交易量，红色为4号，也是最大交易量的那天。
在这里插入图片描述
每日单笔交易量最大的时序图
在这里插入图片描述
每个月大额交易的频次直方图，大于1千万的单笔交易额
在这里插入图片描述

zyuPp
关注
  • 2
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
时序卷积网络 | Python实现TCN时序卷积网络数据预测
前程算法屋的博客
05-05 4373
时序卷积网络 | Python实现TCN时序卷积网络数据预测 目录时序卷积网络 | Python实现TCN时序卷积网络数据预测基本介绍工作原理程序设计参考资料 基本介绍 本文绍时序卷积网络TCN（Temporal Convolutional Network），专门针对时序的卷积网络。 CNN 卷积神经网络几乎是深度神经学习的代名词，主要用于图像处理。一维的CNN也可以用于时序方面的挖掘。 CNN一般包含卷积层和池化层，卷积计算互相关，所以可以挖掘时序的相关性，池化层可以进行降维，用于提取特征。卷积CN
资金流入流出预测——第一步
在坐过山车的小铭_的博客
08-20 1097
赛题解读 • 赛题介绍：https://tianchi.aliyun.com/competition/entrance/231573/introduction • 数据集介绍及下载：https://tianchi.aliyun.com/competition/entrance/231573/information 目的： 1. 了解赛题的背景信息和赛题要求 2. 掌握赛题的数据情况和结果评估方法 • 资金流入流出预测赛题背景  蚂蚁金服拥有上亿会员，每天都涉及大量的资金流入和流出，资金管理压力会非常大。
2024年Python最全时间序列预测的7种Python工具包，总有一款适合你，2024年最新2024Python大厂面试知识分享
m0_61549984的博客
05-09 405
不知道你们用的什么环境，我一般都是用的Python3.6环境和pycharm解释器，没有软件，或者没有资料，没人解答问题，都可以免费领取（包括今天的代码），过几天我还会做个视频教程出来，有需要也可以领取~给大家准备的学习资料包括但不限于：Python 环境、pycharm编辑器/永久激活/翻译插件python 零基础视频教程Python 界面开发实战教程Python 爬虫实战教程Python 数据分析实战教程python 游戏开发实战教程Python 电子书100本。
【天池】资金流入流出预测（一）——赛题理解
u011961803的博客
08-20 1885
【天池】资金流入流出预测（一）——赛题理解赛题介绍 赛题介绍 【天池】资金流入流出预测（赛题链接）。 赛题背景 蚂蚁金服拥有上亿会员并且业务场景中每天都涉及大量的资金流入和流出，面对如此庞大的用户群，资金管理压力会非常大。在既保证资金流动性风险最小，又满足日常业务运转的情况下，精准地预测资金的流入流出情况变得尤为重要。本赛题期望参赛者能够通过对例如余额宝用户的申购赎回数据的把握，精准预测未来每日的资金流入流出情况。对货币基金而言，资金流入意味着申购行为，资金流出为赎回行为。 赛题描述 余额宝用户的申购赎回数
天池比赛：资金流入流出预测
Sendren的博客
08-20 3127
赛题解读 赛题介绍：https://tianchi.aliyun.com/competition/entrance/231573/introduction 数据集介绍及下载：https://tianchi.aliyun.com/competition/entrance/231573/information 阅读完赛题介绍后，总结了一下这个赛题的目的就是预测未来一个月，每天余额宝总的的转入金额和转出金额。是一个回归问题。 下载解压数据集后有五个表格。提供了很多的信息，一开始看到这么多信息让我无从下手啊！目前这
Datawhale~数据挖掘实践之序列问题处理~天池·资金流入流出预测-挑战Baseline~Day01~数据探索与分析
小卜妞的博客
08-18 1845
写在前面✍ 本系列笔记基于天池平台上“资金流入流出预测-挑战Baseline”学习赛，记录如何完整的打一次数据挖掘类比赛。同时，该比赛属于序列建模问题，希望学习完成这个任务，可以对序列问题的处理有一定的独立思考能力和实践操作能力，可以将所学理论，用编码的形式和实际的问题得到深入。 第一篇，EDA Content: 初步了解赛题及数据 1.1 任务 1.2 用户基本信息数据 1.3 用户申购赎回数据 1.4 收益率表 1.5 银行间拆借利率表 1.6 提交格式 1.7 评分指标 EDA 1 初.
（试水阿里天池）资金流入流出预测-挑战Baseline
weixin_45731793的博客
04-01 2691
赛题简介 通过对例如余额宝用户的申购赎回数据的把握，精准预测未来每日的资金流入流出情况。对货币基金而言，资金流入意味着申购行为，资金流出为赎回行为 。 链接：https://tianchi.aliyun.com/competition/entrance/231573/introduction?spm=5176.12281973.1005.5.3dd524487floHF 一、数据预处理 导入所需模...
数据挖掘项目-资金流入流出预测
weixin_46891364的博客
08-18 597
记录一下我参加DataWhale的数据挖掘实战项目的学习过程。 时间是从2020年8月18号—2020年8月25号晚11：59分截止； 项目来源自天池大赛-资金流入流出预测。 赛题简介 蚂蚁金服拥有上亿会员并且业务场景中每天都涉及大量的资金流入和流出，面对如此庞大的用户群，资金管理压力会非常大。在既保证资金流动性风险最小，又满足日常业务运转的情况下，精准地预测资金的流入流出情况变得尤为重要。此届大赛以《资金流入流出预测》为题，期望参赛者能够通过对例如余额宝用户的申购赎回数据的把握，精准预测未来每日的资金流入
cnn+lstm+attention对时序数据进行预测
热门推荐
机器学习、深度学习、强化学习、迁移学习
05-05 2万+
本文主要讲解：cnn+lstm+attention对时序数据进行预测
资金流入流出预测—模型训练
sosososoon的博客
08-25 1792
模型训练与验证 训练及预测流程 数据集的划分 无时序的数据集：简单划分、交叉验证划分 有时序的数据集：需考虑时序，nested交叉验证划分   模型选择 依据在验证集上的效果选择 除了关注效果的均值，还要关注稳健性 还需考虑线上效果，可将线上效果视为一折数据 多元回归 Y=f(X1,X2,...,Xn)+εY = f(X_1,X_2,...,X_n)+\varepsilonY=f(X1​,X2​,...,Xn​)+ε 常用的回归模型 线性回归 Y=β0+β1X1
资金流入流出预测-挑战Baseline 数据集-数据集
03-30
"资金流入流出预测-挑战Baseline 数据集"是一个专为预测现金流而设计的资料集合，它提供了研究和构建模型的基础，以帮助企业、金融机构和个人更好地理解和预测其财务状况。 首先，我们需要理解“资金流入流出预测”...
时序数据预测综述.docx
07-24
时序数据预测综述 时序数据预测是指使用过去的时间序列数据来预测未来的值。时序数据是一类按照时间维度索引的数据，例如股票价格随时间的...时序数据预测可以帮助我们更好地理解和预测未来事件，从而进行更好的决策。
MATLAB实现CNN-GRU多输入时序预测（完整源码和数据）
10-14
在本项目中，我们探讨了如何使用MATLAB来实现基于CNN-GRU（卷积神经网络与门控循环单元）的多输入时序预测模型。这个模型被设计用于处理多变量时间序列数据，并且提供了完整的源代码和所需的数据集，确保用户能够...
时序预测 - MATLAB实现ARIMA时间序列预测（完整源码和数据）
05-25
时序预测 | MATLAB实现ARIMA时间序列预测（完整源码和数据） 本程序基于MATLAB的armax函数实现arima时间序列预测； 实现了模型趋势分析、序列差分、序列平稳化、AIC准则模型参数识别与定阶、预测结果与误差分析过程...
开题报告电影票订票APP的设计与实现 已通过开题答辩的.doc
07-30
近些年的电影在人们文娱活动中占据重要地位，另外，由于人们的生活越来越富有，越来越多的人们不再选择在家里看电影，而是选择去电影院看电影。但是，以往的售票方式是需要工作人员一张张的录入到账户薄中的，这一模式已不再适应现在的实际情况，因为手动的操作不仅繁琐还容易存在差错。随着电子商务的发展，网络购票已经成为一种趋势，电子影票也已经慢慢走入人们的生活。目前，网票网作为国内首家全国性的网上选座购买电影票平台完全实现网上/手机查看影讯、自助选座、网银支付、自助验票全自助化营运模式。
Magene_C506_1722330141_905661_1722351868.fit
最新发布
07-30
Magene_C506_1722330141_905661_1722351868.fit
麻雀搜索算法SSA-CNN-BiLSTM-Mutilhead-Attention多变量时序预测含源码 5631.zip
07-30
CSDN海神之光上传的全部代码均可运行，亲测可用，直接替换数据即可，适合小白； 1、代码压缩包内容 主函数：Main .m； 数据； 调用函数：其他m文件；无需运行 运行结果效果图； 2、代码运行版本 Matlab 2019b；若运行有误，根据提示修改；若不会，可私信博主； 3、运行操作步骤 步骤一：将所有文件放到Matlab的当前文件夹中； 步骤二：双击打开除Main.m的其他m文件； 步骤三：点击运行，等程序运行完得到结果； 4、仿真咨询 如需其他服务，可私信博主或扫描博主博客文章底部QQ名片； 4.1 CSDN博客或资源的完整代码提供 4.2 期刊或参考文献复现 4.3 Matlab程序定制 4.4 科研合作 智能优化算法-CNN-BiLSTM-Mutilhead-Attention回归预测系列程序定制或科研合作方向： 4.4.1 遗传算法GA/蚁群算法ACO-CNN-BiLSTM-Mutilhead-Attention回归预测 4.4.2 粒子群算法PSO/蛙跳算法SFLA-CNN-BiLSTM-Mutilhead-Attention回归预测 4.4.3 灰狼算法GWO/狼群算法WPA-CNN-BiLSTM-Mutilhead-Attention回归预测 4.4.4 鲸鱼算法WOA/麻雀算法SSA-CNN-BiLSTM-Mutilhead-Attention回归预测 4.4.5 萤火虫算法FA/差分算法DE-CNN-BiLSTM-Mutilhead-Attention回归预测
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值