O'Reilly精品图书推荐：Spark高级数据分析

最新推荐文章于 2023-03-27 09:44:11 发布
最新推荐文章于 2023-03-27 09:44:11 发布
阅读量484 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zkh880loLh3h21AJTH/article/details/78100479
版权

书名：Spark高级数据分析

作者：Sandy Ryza, Uri Laserson, Sean Owen, Josh Wills 著

译者：龚少成 译

国内出版社：人民邮电出版社

出版时间：2015年11月

页数：226

书号：978-7-115-40474-9

原版书书名：Advanced Analytics with Spark

原版书出版商：O'Reilly Media


编辑推荐

这是一本实用手册，四位作者均是Cloudera公司的数据科学家，他们联袂展示了利用Spark进行大规模数据分析的若干模式，而且每个模式都自成一体。他们将Spark、统计学方法和真实数据集结合起来，通过实例向读者讲述了怎样解决分析型问题。

本书首先介绍了Spark及其生态系统，接着详细介绍了将分类、协同过滤及异常检查等常用技术应用于基因学、安全和金融领域的若干模式。如果你对机器学习和统计学有基本的了解，并且会用Java、Python或Scala编程，这些模式将有助于你开发自己的数据应用。

本书介绍了以下模式：

  1. 音乐推荐和Audioscrobbler数据集

  2. 用决策树算法预测森林植被

  3. 基于K均值聚类进行网络流量的异常检测

  4. 基于潜在语义分析技术分析维基百科

  5. 用GraphX分析伴生网络

  6. 对纽约出租车轨迹进行空间和时间数据分析

  7. 通过蒙特卡罗模拟来评估金融风险

  8. 基因数据分析和BDG项目

  9. 用PySpark和Thunder分析神经图像数据

序

自从在加州大学伯克利分校创立Spark 项目起，我就时常心潮澎湃。不仅因为Spark 可以帮助人们快速构建并行系统，更因为Spark 帮助了越来越多的人使用大规模计算。因此看到这本介绍Spark 高级分析的书，我非常欣慰！该书由数据科学领域四位专家Sandy、Uri、Sean 和Josh 携手打造。四位作者研习Spark 已久，他们在本书中跟读者分享了关于Spark 的大量精彩内容，同时本书的案例部分同样出众！ 

对于这本书，我最钟爱的是它强调案例，而且这些案例都源于现实数据和实际应用。找到一个像样的、能在笔记本电脑上运行的大数据案例已经很难，更遑论十个了。但本书作者做到了！作者为大家准备好了一切，只等你在Spark 中运行它们。更难能可贵的是，作者不仅讨论了核心算法，更倾心于数据准备和模型调优，没有这些工作，实际项目中就无法得到好的结果。认真研读此书，你应该可以吸收这些案例中的概念并直接将其运用在自己的项目中！ 

大数据处理无疑是当今计算领域最激动人心的方向之一，发展非常迅猛，新思想层出不穷。愿本书能帮助你在这个崭新的领域中扬帆启航！ 

——Matei Zaharia 

Databricks 公司CTO 兼Apache Spark 项目副总裁

作者简介

Sandy Ryza

是Cloudera公司资深数据科学家，Apache Spark项目的活跃代码贡献者。最近领导了Cloudera公司的Spark开发工作。他还是Hadoop项目管理委员会委员。

Uri Laserson

是Cloudera公司资深数据科学家，专注于Hadoop生态系统中的Python部分。

Sean Owen

是Cloudera公司EMEA地区的数据科学总监，也是Apache Spark项目的代码提交者。他创立了基于Spark、Spark Streaming和Kafka的Hadoop实时大规模学习项目Oryx（之前称为Myrrix）。

Josh Wills

是Cloudera公司的高级数据科学总监，Apache Crunch项目的发起者和副总裁。


OReillyData
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
使用SparkSQL分析图书信息
05-16
（1）创建RDD （2）将RDD转为DataFrame （3）调用registerTempTable，注册为表，表名为：tb_book （4）使用使用sql语句查询前15条 （5）模糊查询书名包含“微积分”的书 （6）输出图书的前10行的name和price字段信息 （7）统计书名包含“微积分”的书的数量 （8）查询评分大于9的图书，，且只展示前10条 （9）计算所有书名包含“微积分”的评分平均值 （10）把书目按照评分从高到低进行排列，且只展示前15条 （11）把图书按照出版社进行分组，统计出不同出版社图书的总数 (12)将书名包含“微积分”的书记录保存到本地或HDFS上，且保存的格式为csv，文件名为：学号.csv （13）然后再从该csv文件加载，创建DataFrame，并查询和显示
图书热度实时分析
GX_0824的博客
09-27 672
val data = stream.map(x => new String(x.event.getBody.array()).trim) //.trim 消除左右两边的空格。更换kafka_2.12-3.0.0.jar和kafka-clients-3.0.0.jar。Kafka作为Flume的Channels。消费者读取数据（消费数据）
基于spark的图书推荐系统 基于大数据的图书推荐 基于模型的协同过滤图书推荐系统 矩阵分解 ALS推荐
2301_77272393的博客
03-27 833
（2）模型训练：从mysql数据库中读取评分数据，通过spark构建模型后填充数据进行模型训练，模型训练后可以保存模型到本地，当有新数据时再重新训练，这个过程可以用采用本地启动spark进行运算也可以将任务提交到spark集群上运算（前提时已搭建好spark集群）基于spark的图书推荐系统 基于大数据的图书推荐 基于模型的协同过滤图书推荐系统 矩阵分解 ALS推荐（最小二乘法）（1）数据清洗：过滤重复的数据，比如同个书编的书籍信息，评分为0分的不合理信息，将清洗后的数据保存到mysql数据库中。
为Apache Spark准备的深度学习
OReillyData
02-20 331
O'Reilly的数据秀博客：Jason Dai畅谈BigDL——一个为在现有框架上使用深度学习的库。
oreilly免费电子书
青青草原
09-30 4451
oreilly Free EbooksProgrammingdatawebopswebiotsecuritydesignbusiness 地址 mobi可自行替换为pdf或epub Programming http://www.oreilly.com/programming/free/files/microservices-for-java-developers.mobi http://www....
oreilly-kubernetes：O'Reilly Kubernetes在线培训
02-03
该存储库包含有关O'Reilly 在线培训的说明和示例。 日期在培训时间表中列出。 它还包含Kubernetes 使用的。 先决条件 在本培训中，我们将使用运行本地Kubernetes实例。 我们将使用名为kubectl的客户端访问此本地...
oreilly_intermediate_sql_for_data：O'Reilly在线培训“用于数据分析的中间SQL”的资源
01-30
《用于数据分析的中间SQL》是O'Reilly在线培训推出的一门深入浅出的课程，旨在帮助数据分析师和相关人员提升SQL技能，以更有效地处理和分析数据。这门课程覆盖了SQL语言的基础到进阶知识，特别针对SQLite、...
obooks:O'Books 从 O'Reilly 下载书籍 | Safaribooks
07-23
其目的是补充您的 O'Reilly 会员资格，以促进.epub格式的内容在您的电子阅读器上阅读。 用法 您需要在持有一个活跃账户 | Safaribooks 能够下载书籍。 码头工人 $ docker pull jennyfive/obooks $ docker run -it ...
advanced-analytics-with-spark:O O'Reilly出版的“ Advanced Spark with Spark”案例研究的非官方面向DataFrame的解决方案
04-06
安装克隆存储库： git clone https://github.com/2n3g5c9/advanced-analytics-with-spark 在运行任何Spark作业之前，请确保已下载关联的数据集，例如： cd data/recommender./download-data.sh如何使用只需从根目录...
Spark_The Definitive Guide-O'Reilly(2018).epub
03-26
Welcome to this first edition of Spark: The Definitive Guide! We are excited to bring you the most complete resource on Apache Spark today, focusing especially on the new generation of Spark APIs introduced in Spark 2.0. Apache Spark is currently one of the most popular systems for large-scale data processing, with APIs in multiple programming languages and a wealth of built-in and third-party libraries. Although the project has existed for multiple years—first as a research project started at UC Berkeley in 2009, then at the Apache Software Foundation since 2013—the open source community is continuing to build more powerful APIs and high-level libraries over Spark, so there is still a lot to write about the project. We decided to write this book for two reasons. First, we wanted to present the most comprehensive book on Apache Spark, covering all of the fundamental use cases with easy-to-run examples. Second, we especially wanted to explore the higher-level “structured” APIs that were finalized in Apache Spark 2.0—namely DataFrames, Datasets, Spark SQL, and Structured Streaming—which older books on Spark don’t always include. We hope this book gives you a solid foundation to write modern Apache Spark applications using all the available tools in the project. In this preface, we’ll tell you a little bit about our background, and explain who this book is for and how we have organized the material. We also want to thank the numerous people who helped edit and review this book, without whom it would not have been possible.
Spark高级数据分析——纽约出租车轨迹的空间和时间数据分析
爱是与世界平行
08-02 2629
Spark高级数据分析——纽约出租车轨迹的空间和时间数据分析一、地理空间分析：二、pom.xml 原文地址：https://www.jianshu.com/p/eb6f3e0c09b5 作者：IIGEOywq 一、地理空间分析： object RunGeoTime extends Serializable { val formatter = new SimpleDateFormat("y...
基于Hadoop与Spark大数据平台的个性化图书推荐系统搭建学习总结
热门推荐
轻功水上漂的博客
08-19 1万+
前言：这两个月来一直在接手实验室师兄的一个图书推荐项目，期间从读懂其用pyspark代码到将其代码修改成pyspark、scala代码在spark大数据平台上运行实现相应的功能对于我这样一个无人指点的小白可谓是历经了一凡坎坷，现在做记录如下。 一、spark分布式平台运到的坑 用spark-submit提交pyspark代码没有按预期运行分布式模式 分布式平台（hadoop+spark）...
《Spark The Definitive Guide》Spark 权威指南学习计划
weixin_34235371的博客
05-09 538
本书出自OReilly的《Spark: The Definitive Guide Big Data Processing Made Simple》，由Matei Zaharia, Bill Chambers两位大佬所写，是2018年2月的第一版（我也不清楚有没有最新版，搜也没搜到第二版） 参考本书主页介绍，着眼于Spark 2.0的改进，探索Spark结构化API的基本操作和常用功能，以及用于构建...
《Spark高级数据分析》——预测森林植被（决策树、随机森林）
蒋含竹的博客
06-07 4509
文章目录《Spark高级数据分析》——预测森林植被（决策树、随机森林）0. 简介1. 数据准备2. 训练决策树模型3. 预测森林植被4. 利用网格搜索与交叉验证API5. 完整代码 《Spark高级数据分析》——预测森林植被（决策树、随机森林） 0. 简介 来源: 《Spark高级数据分析》 原书GitHub地址: https://github.com/sryza/aas 内容简述：利用Spar...
这7本O’Reilly推出的免费Python电子书，够你看了
数智物语
06-14 3214
文章发布于公号【数智物语】（ID：decision_engine），关注公号不错过每一篇干货。 转自 | 程序员书库(ID：OpenSourceTop) 众所周知，O'Reilly是许多主要技术书籍的出版商，他们拥有大量的无DRM权限的电子书，从人工智能到设计，从操作系统到安全...... 虽然O'Reilly的大部分技术书籍都是在专有许...
Spark编程:图书管理 RDD操作 2020.10.11
Beyond_Nothing
10-11 761
题目： 给定一组键值对(“spark”,2),(“hadoop”,6),(“hadoop”,4),(“spark”,6)，键值对的key表示图书名称，value表示某天图书销量，请计算每个键对应的平均值，也就是计算每种图书的每天平均销量。 val rdd = sc.parallelize(Array(("spark",2),("hadoop",6),("hadoop",4),("spark",6))) rdd.mapValues(x=>(x,1)).reduceByKey((x,y)=>(x._
O'Reilly精品图书推荐：数据算法：Hadoop/Spark大数据处理技巧
OReillyData
01-26 622
本书介绍了很多基本设计模式、优化技术和数据挖掘及机器学习解决方案，以解决生物信息学、基因组学、统计和社交网络分析等领域的很多问题。这本书还概要介绍了MapReduce、Hadoop和Spark。
算法-决策树详解
p515659704的博客
08-24 410
目录决策树1.1 原理1.2 熵1.2.1 熵定义1.2.2 信息熵1.2.3 条件熵1.2.4 信息增益 决策树 1.1 原理 决策树就是用一棵树来表示我们整个决策过程。这棵树可以是二叉树（比如CART只能是二叉树），也可以是多叉树（比如ID3、C4.5可以是多叉也可以是二叉树） 决策树的生成就是不断选择最优的特征对训练集进行训练 1.2 熵 1.2.1 熵定义 熵越小，代表数据纯度越高，也就...
《基于Apache Kylin构建大数据分析平台》
anyingpou5339的博客
12-16 292
Kyligence联合创始人兼CEO，Apache Kylin项目管理委员会主席（PMC Chair）韩卿 武汉市云升科技发展有限公司董事长，《智慧城市—大数据、物联网和云计算之应用》作者杨正洪 万达网络科技集团大数据中心副总经理，《Spark高级数据分析》中文版译者龚少成 数据架构师，IT脱口秀（清风那个吹）创始人，《开源大数据分析引擎Impala实战》作者贾传青...
OReilly Mining the Social Web 2nd Edition Oct-448页
最新发布
06-01
《O'Reilly Mining the Social Web》第二版是一本专注于社交媒体数据分析的权威书籍，共计448页，由O'Reilly Media, Inc.出版。这本书的核心在于教导读者如何将社交媒体中的数据转化为有价值的决策依据，适合从初创...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值