用hdfs存储海量的视频数据的设计思路

用hdfs存储海量的视频数据

存储海量的视频数据,主要考虑两个因素:如何接收视频数据和如何存储视频数据。

我们要根据数据block在集群上的位置分配计算量,要充分利用带宽的优势。

1.接收视频数据

将从摄像头接收到的或通过模拟产生的视频流以文件的形式存储在本地文件夹,在这个过程中不产生任何中间文件。

2.海量视频数据存储

存储海量视频数据的思路:通过hadoop提供的api结构,实现将接收到的视频流文件从本地上传到hdfs中。

在这一过程中,把接收到的视频文件不断地存储到一个指定的本地文件夹中,而这个本地文件夹是在不断动态变换的,这时,将这个动态变化的文件夹当成是一个“缓冲区”,把“缓冲区”中的文件以流的形式与HDFS进行对接,接下来通过调用写方法来实现以流的方式将缓冲区中的文件上传到hdfs中。当文件上传成功后,再调用delete方法批量删除本地缓冲区中已经上传的文件。这一过程不断地循环,直到在缓冲区中的所有文件上传到hdfs,并且缓冲区文件全部清空为止。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值