《阿里巴巴大数据实践》读书笔记1——总述

最新推荐文章于 2020-12-25 20:38:12 发布
最新推荐文章于 2020-12-25 20:38:12 发布
阅读量836 收藏 2
点赞数 1
分类专栏： 大数据技术 文章标签： 大数据 阿里巴巴大数据系统体系架构
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhaojieqing/article/details/84308430
版权
本文是《阿里巴巴大数据实践》的读书笔记，概述了阿里巴巴大数据体系的四个层面：数据采集、数据计算、数据服务和数据应用。数据采集要求全面高效；数据计算层整合计算原始数据；数据服务层对外提供数据调用；数据应用层则涵盖了内部和外部的各种业务场景。
摘要由CSDN通过智能技术生成

人类正在从IT时代走向DT时代

——By 马云

目录

阿里巴巴大数据系统体系架构

1.数据采集层

2.数据计算层

3.数据服务层

4.数据应用层

阿里巴巴大数据系统体系架构

1.数据采集层

数据采集为阿里巴巴大数据系统体系的第一环节，要求全面、高性能、规范的完成海量数据采集。

2.数据计算层

从采集系统中收集到的大量原始数据，进入数据计算层进行整合和计算。

该部分有关元数据及元数据模型建议参见：<

最低0.47元/天 解锁文章
时光飞扬
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【读书笔记】大数据之路：阿里巴巴大数据实践
光剑书架上的书
09-27 1万+
大数据之路：阿里巴巴大数据实践 简介： 在Alibaba集团内，数据人员面临的现实情况是：集团数据存储已经达到EB级别，部分单张表每天的数据记录数高达几千亿条；在2016年“双11购物狂欢节”的24小时中，支付金额达到了1207亿元人民币，支付峰值高达12万笔/秒，下单峰值达17.5万笔/秒，媒体直播大屏处理的总数据量高达百亿级别且所有数据都需要做到实时、准确地对外披露……巨大的信息量给数据采...
《大数据之路：阿里巴巴大数据实践》-第1篇 数据技术篇 -第6章 数据服务
m0_54252387的博客
09-02 482
数据部门产出的海量数据，如何能方便高效地开放出去，是我们一 直想要解决的难题。在没有数据服务的年代，数据开放的方式简单、粗 暴，一般是直接将数据导出给对方。这种方式不仅低效，还带来了安全 隐患等诸多问题。 为此，我们在数据服务这个方向上不断探索和实践。最早的数据服 务雏形诞生于2010年，至今已有7个年头。在这期间，随着我们对业 务的理解不断加深，同时也得益于新技术的持续涌现，对数据服务架构 也进行了多次升级改造。服务架构的每次升级，均在性能、稳定性、扩 展性等方面有所提升，从而能更好地服务于用户。
《大数据之路：阿里巴巴大数据实践》第三篇 数据管理篇-读书笔记
程序员学习圈
09-10 1760
12.元数据 12.1 元数据概念 12.1.1 元数据定义 按照传统的定义，元数据（Metadata）是关于数据的数据。元数据打通了源数据、数据仓库、数据应用，记录了数据从产生到消费的全过程。元数据主要记录数据仓库中的模型的定义、各层级间的映射关系、监控数据仓库的数据状态一级ETL的任务运行状态。在数据仓库系统中，元数据可以帮助数据仓库管理员和开发人员非常方便的找到他们所关心的数据，用于指导其进行数据管理和开发工作，提高工作效率。 元数据可以分为技术元数据 和 业务元数据。 * 技术元数据
《大数据之路：阿里巴巴大数据实践》读书笔记---第四篇 数据应用篇
程序员学习圈
09-11 584
四、数据应用篇 16.数据应用 本篇主要介绍两个应用：提供给外部商家使用的数据产品平台-生意参谋和服务于阿里巴巴内部的数据产品平台 16.1 生意参谋 作为大数据公司，阿里巴巴在推动业务数据化的同时，也在不断地帮助商家实现数据业务化。在对外产品方面，阿里巴巴以“生意参谋”作为官方统一的数据产品平台，为商家提供多种多样化，普惠性的数据赋能； 截止2016财年，生意参谋累计服务商家已超过2000万，越服务商家超过500万。在月成交额30W元以上的商家中，逾90%每月登陆天次超2...
阿里巴巴大数据实践-读书笔记
colorant的专栏
08-15 4042
大数据之路-阿里巴巴大数据实践 读书笔记
大数据之路——阿里巴巴大数据实践（小白笔记）
cainiao22222的博客
11-12 716
第一章 总述 1.阿里巴巴大数据系统体系架构分为三大部分数据采集层、数据计算层、数据服务层 2.数据采集层     日志采集系统：Aplus.JS是 web端日志采集技术方案；UserTrack是APP端日志采集方案      数据传输：TimeTunnel（TT）体系进行数据传输，既包括数据库的增量数据传输，也包括日志数据的传输，既支持实时流式计算，也支持时间窗口的批量计算      ...
大数据之路 阿里巴巴大数据实践 读书笔记
南风晚
03-19 2274
一 、总述 人类正在从IT时代走向DT时代。现在的数据呈爆炸式增长，其潜在的巨大价值有待发掘。但是如果不对数据进行有序、有结构的分类组织和存储，它将变成一场灾难。 在阿里内部，数据的存储达到EB级别。这些给数据采集、存储、计算都带来了极大的挑战。随着数阿里内部数据量的剧增，以及日益丰富的业态，这些都给大数据系统的构建提供了更复杂的要求。 本书介绍的阿里巴巴大数据系统架构，就是为了满足不断变化的业务...
大数据之路：阿里巴巴大数据实践
qq_27639777的博客
08-16 6289
第1章：总述 如果说在IT时代是以自我控制、自我管理为主，那么到了DT（Data Technology）时代，则是以服务大众、激发生产力为主。阿里巴巴大数据系统体系架构主要分为数据采集、数据计算、数据服务和数据应用四大层次。 第2章：日志采集 阿里巴巴的日志采集体系方案包括两大体系：Aplus.JS是Web端（基于浏览器）日志采集技术方案：UserTrack是APP端（无线客户端）日志采集技术方案。 2.1 浏览器的页面日志采集 浏览器的页面型产品／服务的日志采集可分为如下两大类。 页面浏览（展现）日志
《大数据之路 阿里巴巴大数据实践》笔记
weixin_39553978的博客
03-31 1181
第1章 总述 阿里巴巴大数据系统体系主要分为，数据采集、数据计算、数据服务和数据应用四大层次。 数据采集工具：web端、App端、H5 数据计算层：数据存储、云计算平台（离线计算平台、实时计算平台、数据整合管理体系ONE DATA） 数据服务层：以数据仓库整合计算好的数据作为数据源，对外通过接口的方式提供数据服务，主要提供简单数据查询服务，复杂数据查询服务和实时数据推送服务三大特色数据服务。 数据...
《阿里巴巴大数据实践》读书笔记2——数据技术篇_2.日志采集
zhaojieqing的博客
11-21 362
致力全面、高性能、规范得完成海量数据的采集，传输 ——By 阿里巴巴日志采集体系方案 目录 1.体系中位置 2.浏览器的页面日志采集 2.1页面浏览日志采集流程 2.2 页面交互日志采集 2.3 页面日志的服务器端清洗和预处理 1.体系中位置 阿里巴巴两大日志采集体系： 1.Web端Aplus.JS 2.APP端UserTrack 2.浏览器的页面日志采集 浏览器的页...
【阿里巴巴大数据实践笔记】第12章：元数据
weixin_30341745的博客
06-12 141
1.元数据定义 元数据（ Metadata ）是关于数据的数据。元数据打通了源数据、数据仓库、数据应用，记录了数据从产生到消费的全过程。 元数据主要记录数据仓库中模型的定义、各层级间的映射关系、监控数据仓库的数据状态及 ETL 的任务运行状态。 2.元数据价值 数据的真正价值在于数据驱动决策，通过数据指导运营。可以用于指导数据相关人员进行日常工作，实现数据化“运营”。 对于数据...
阿里巴巴大数据之路第一篇 数据技术篇
qq_40473204的博客
12-25 260
目录 第2章 日志采集 2.1 浏览器的页面日志采集 2.1.1 页面浏览日志采集流程 2.1.2 页面交互日志采集 2.1.3 页面日志的服务器端清洗和预处理 2.2 无线客户端的日志采集 2.2.1 页面事件 2.2.2 控件点击及其他事件 2.2.3 特殊场景 2.2.4 H5&Native日志统一 2.2.5 设备标识 2.2.6 日志传输 2.3 日志采集的挑战 2.3.1 典型场景 2.3.2 大促保障 第3章 数据同步 3.1 数据同步基础 3.
阿里巴巴数据采集
weixin_34111790的博客
03-05 282
  阿里巴巴数据采集   1.       输入关键字：   2.       运行程序，点击Run 按钮，程序将自动搜索关键字：   3.       依次进入各个公司的详细页面，抓取详细信息：     4.       可以点击 Output 查看抓取条数，页面数，及抓取字段信息：   下载： 阿里巴巴数据采集 QQ: 121285904  ...
《大数据之路-阿里巴巴大数据实践》读书笔记
Jiashilin
06-07 5110
ps：这本书主讲阿里的大数据体系架构方案，从底层到高层阐述，目前对我来说此书的难度较大，不是很懂，大部分为对原书的引用归纳总结，我会给出相应的大牛的关于此书的读书笔记的传送门供参考。以下为大牛关于本书的读书笔记供参考：读书笔记传送门https://www.jianshu.com/p/69dbf35713ad此书下载传送门http://www.java1234.com/a/javabook/yun/...
玩转大数据系列之一：数据采集与同步
weixin_33907511的博客
01-02 365
数据的采集和同步，是先将数据从设备、或者本地数据源采集、同步到阿里云上，然后在阿里云上对数据进行分析和处理，最终完成您的业务要求。本文向您介绍阿里云各产品的数据采集和同步的操作实战文章，您可以根据您使用阿里云产品，查看相应的文档教程。 关于数据采集，DataWorks专门有一个模块叫做数据集成，是阿里巴巴集团对外提供的稳定高效、弹性伸缩的数据同步平台。致...
大数据之路——阿里巴巴大数据实践：数据同步要点
流的博客
01-21 2322
1.数据同步分为DB数据同步和日志数据同步： 如下是DB数据同步机制：数据库按照规定的格式，将数据发给数据文件管理系统。 日志同步解析：如下是日志文件，通过数据的日志解析模块，将有用的数据过滤出来，然后按照一定的格式发给数据文件管理系统。（数据的过滤是通过日志的方式，可能里面对user表某一行有增删改查等等，怎样保持其中的数据版本，方式与“从Hlog中恢复数据库”的方式如出一辙） 2.离线...
阿里数据科学家一次讲透数据中台，15页PPT精华，速转走！
技术领导力
08-12 5431
文/技术领导力社区编辑/Emma阿里大数据和人工智能科学家 行在，阿里公共数据平台负责人 罗金鹏，在云栖大会、Data Tech等大会中分享到：阿里的“双中台+ET”数字...
大数据怎么收集？
JsonHuang的博客
10-15 1163
大数据时代，数据的重要性不言而喻，Asp.net系统怎么收集数据用于流量分析呢其实可以通过记录日志的方式收集数据，但日志在Asp.net中怎么破？大家可能会想到通过全局文件global中Application_BeginRequest事件处理http请求，除了这种方式有没有其他更好的呢？其实还有一种就是通过可插拔方式加载--组件模块加载的方式实现。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值