如何把大数据拆分成多个批次?步骤如下:

# %%1.5批量处理
#如何把大数据拆分成多个批次?步骤如下:
# (1)得到数据集
# (2)随机打乱数据
# (3)定义批大小
# (4)批处理数据

#下面通过一个示例具体说明:

import numpy as np
#生成10000形状个2×3的矩阵
data_train = np.random.randn(10000,2,3)
#这是一个3维矩阵,第1个维度为样本数,后两个是数据形状
print(data_train.shape)
#打乱这10000条数据
np.random.shuffle(data_train)
#定义批大小
batch_size = 100
#进行批处理
for i in range(0,len(data_train),batch_size):
    x_batch_sum = np.sum(data_train[i:i+batch_size])
    print("第{}批次,该批次的数据之和:{}".format(i,x_batch_sum))

 

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值