Spark在TalkingData移动大数据平台的实践
2013年9月份,TalkingData开始尝试使用Spark解决数据挖掘性能问题。随着对Spark的逐渐了解,TalkingData开始将Spark应用到整个移动大数据平台的建设中。在移动大数据平台中,ETL过程、计算过程、数据挖掘、交互式数据提取等等都依赖于Spark。在这里,我将要介绍我们使用Spark的状况、平台架构、以及一些实践经验。当然也包括一些总结的最佳实践。
The Future of Real-Time in Spark
via Reynold Xin, Co-Founder & Chief Architect, Databricks
Spark Usage in Enterprise Business Operations
Via Ken Tsai, Head of Cloud Platform & Data Management, SAP
Role of Spark in transforming eBay’s Enterprise Data Platform
VIA Seshu Adunuthula, Head of Analytics Infrastructure, eBay
Apache Spark, the Analytics Operating System
VIA Anjul Bhambhri, VP of Big Data Engineering, IBM
Accelerating Enterprise Spark
via Shaun Connolly, VP of Business Strategy, Hortonworks
Democratizing Access to Data
via Databricks联合创始人兼CEO Ali Ghodsi
Spark 2.0概览
via Databricks联合创始人兼CTO Matei Zaharia。
2015中国开源参与调查报告Final
本报告的形成是基于开源社与 CSDN 携手推出的“2015 年中国开源社区参与调 查问卷”,旨在对中国开源社区、开源生态、开源开发者做一次全面性地摸底调 查。
服务端开发那些事
服务端开发对于任何互联网公司来讲,都并非易事,它所涉及的技术知识面非常广泛,如果开发人员的经验不足,将直接影响产品用户的体验。
李永辉:IBM Watson 大数据与分析平台
李永辉:IBM Watson 大数据与分析平台
韩卿:Apache Kylin-Hadoop上的大规模联机分析平台
韩卿:Apache Kylin-Hadoop上的大规模联机分析平台
戴金权:基于Spark软件栈的下一代大数据分析
Spark是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用并行框架,Spark,拥有Hadoop MapReduce所具有的优点;但不同于MapReduce的是Job中间输出结果可以保存在内存中,从而不再需要读写HDFS,因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。
Zhu Tao:The 'Nanotechnology' in eCommerce
Zhu Tao:The 'Nanotechnology' in eCommerce
Per Brashers:硬件改造将巨大影响着软件行业
Per是一位极具远见的存储战略家。他发明创造了若干对业界具有深远影响的存储平台,其中包括用于Facebook引领的Open Compute Project系统下的OpenVault及Cold Storage解决方案。
周海燕:Ctrip的容量分析模型
携程旅行网负责网站运营中心容量平台周海燕——ctrip的容量规划任务,通过使用当前性能作为基线数据,评估以及预测系统需要什么资源,什么时候需要更多的资源。其中包括,基于周期性季节指数预测法的业务量预测,基于回归分析的web容量预测等。
周诚:Hadoop大数据分析
九城技术部负责Hadoop的架构师周诚:九城基于Hadoop的大数据分析平台及相关的具体案例。
第五届中国云计算大会George Chu:下一代个性化智能推送系统OnePush
作为分布式开源数据库Hadoop的创造者,雅虎一直是大数据的重要玩家。在第五届云计算大会上,雅虎北京全球研发中心资深研发总监George Chu介绍了雅虎在数据挖掘方面的最新成果——OnePush。
第五届中国云计算大会dotCloud高级软件工程师Jerome Petazzoni:轻量级虚拟系统LXC
Jerome Petazzoni目前是PaaS平台dotCloud的高级工程师,同时他也是dotCloud平台的布道师。他认为,“重量级”的虚拟化推动IaaS的发展,而“轻量级“虚拟化则推动PaaS的发展。
第五届中国云计算大会新浪SAE首席架构师丛磊:SAE如何保证商业应用可靠运行
作为国内最早的公有云计算平台,有着近万家商业企业运行的SAE,如何从技术和产品层面避免这个问题,怎么利用技术保证应用运行的可靠性和扩展性,丛磊给出了答案。
第五届中国云计算大会:Marvell大中华区系统与解决方案首席规划师甘卫宁:Marvell的公共云洞察
在第五届中国云计算大会“云计算核心技术架构专题论坛”上,Marvell大中华区系统与解决方案首席规划师甘卫宁解析了Web2.0数据中心的架构,并分析了计算、存储、网络三大核心技术的演变过程。
第五届中国云计算大会青山友纪:运用inter-cloud computing处理大数据的演进
随着移动终端数量的增加,由各种移动终端衍生出来的海量数据,需要通过网络技术和云计算更高效地进行处理。包括inter-cloud computing技术在内的新一代网络技术随之诞生。
思杰公司亚太区云平台总监黎国威:云计算推动移动工作模式及IT即服务
在第五届中国云计算大会“云计算核心技术架构专题论坛”上,思杰公司亚太区云平台总监黎国威在主题为《云计算如何推动移动工作模式和ITaaS》的演讲中介绍了全新的 ITaaS (交付IT即服务)模式以及企业如何开始转型。
阿里巴巴资深技术专家强琦:大数据开发平台
在第五届云计算大会第二天的《云计算与大数据》专题论坛上,阿里巴巴资深技术专家强琦发表了名为《大数据开发平台》的主题演讲,大数据开发背景、平台和应用探索三个方面,介绍了阿里巴巴大数据和云计算的工作进展。
第五届中国云计算大会百度林仕鼎:大数据的系统构架支持
第五届中国云计算大会百度林仕鼎:大数据的系统构架支持
第五届中国云计算大会百度林仕鼎:应用驱动的数据中心计算
第五届中国云计算大会百度林仕鼎:应用驱动的数据中心计算
第五届中国云计算大会吴继业:Linkedin商业分析部如何运用大数据实现商业价值-
第五届中国云计算大会讲师PPT:Linkedin商业分析部如何运用大数据实现商业价值-吴继业