vldb2015 Balazinska关于大数据研究的报告

2015 vldb会议上,华盛顿大学的Magdalena Balazinska 做了一篇报告,主题很有意思,是关于学术界如何继续大数据研究的问题。

报告列列举了VLDB历年会议上传统数据库领域经典问题的论文,说出了目前大多数做研究的人的感觉:好像问题都被研究完了,让工业界接手做好工程实现就好了。

作者否认了这个观点,并且认为学术界可以在基础层面做更多的研究贡献。一个很大的问题是几乎所有的大数据的负载都在工业界,怎么办?作者说学术界仍然有很多有意义的负载,像图像、空间数据、图形数据等。

途径1:利用校园或者科学应用,这些应用通常很有意思并且很有挑战,通常这些应用不在线校园普及。像天文望远镜图像、基因组数据、N体模拟等。

途径2:利用开源工具,开源工具可能有很多坑,或者不好用的地方,解决这些问题就是创新。如ParaTimer,SkewReduce,HaLoop等系统。

途径3:自己造轮子。打广告Myria

途径4:看看最新的问题:数据定价、数据许可协议。

途径5:培养下一代研究人员,前瞻研究问题:
Data Licensing -> Twitter
Array Database Engine -> GraphLab
Big Data Usability -> Twitter
Skew in Big Data Systems - > Microsoft
Probabilistic Streams -> Microsoft
RFID Data Management -> Nokia Research

个人总结一下:这个基本算是归纳,最后的前瞻研究问题倒是有很好的参考意义。
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
近似查询处理是数据库管理系统中的一种技术,它旨在在给定大规模数据集的情况下,以更高效的方式进行查询处理。VLDB Summer School是VLDB(Very Large Databases)组织举办的一项暑期学校,主要关注大规模数据库管理系统的前沿技术和研究。 在VLDB Summer School的近似查询处理讲座中,我们学习了如何使用近似算法和数据压缩技术来处理大规模数据集中的查询。近似查询处理的目标是在给定一定误差限制的情况下,以更高效的方式回答查询。这是因为在大规模数据集中进行精确查询可能非常耗时,甚至无法在有限时间内完成。 在讲座中,我们了解到了一些常用的近似查询处理技术,如基于采样的查询处理、数据压缩和基于统计的查询优化等。基于采样的查询处理技术使用随机抽样的方法来估计查询结果,从而减少查询的计算成本。数据压缩技术可以通过对数据进行压缩和编码,减少数据的存储空间和传输带宽,并在查询时能够进行解压缩和还原。基于统计的查询优化则使用统计信息来估计查询的结果,并根据估计结果进行查询计划的优化。 此外,在讲座中我们还学习到了一些近似查询处理的应用场景,如在大规模图数据中寻找社区结构、在数据挖掘任务中进行特征选择等。这些应用场景中,近似查询处理的技术可以帮助我们快速发现隐藏在大规模数据背后的有用信息。 通过参加VLDB Summer School的近似查询处理讲座,我们深入了解了近似查询处理技术的原理和应用。这对于处理大规模数据集的查询具有重要的意义,并且在实际应用中可以提高数据处理的效率和准确性。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值