勇往直前的专栏

写给以后的自己

京东HBase平台进化与演进

文章转载自公众号京东零售技术,作者 吴怡燃 数据存储之HBase 随着信息化数字化的发展,越来越多的数据以数字化的方式存储在计算机系统中。而传统的数据库已经无法满足海量数据存储的需求。数据存储技术也由原来的单机演变成了现在的多机分布式。虽然已经有很多数据存储、实现方式以及访问策略,但其在构建...

2019-08-15 10:48:50

阅读数 12

评论数 0

大数据架构如何做到流批一体?

阿里妹导读:大数据与现有的科技手段结合,对大多数产业而言都能产生巨大的经济及社会价值。这也是当下许多企业,在大数据上深耕的原因。大数据分析场景需要解决哪些技术挑战?目前,有哪些主流大数据架构模式及其发展?今天,我们都会一一解读,并介绍如何结合云上存储、计算组件,实现更优的通用大数据架构模式,以及该...

2019-07-02 16:33:21

阅读数 72

评论数 0

干货 | 每天十亿级数据更新,秒出查询结果,ClickHouse在携程酒店的应用

作者简介 蔡岳毅,携程酒店大数据高级研发经理,负责酒店数据智能平台研发,大数据技术创新工作。喜欢探索研究大数据的开源技术框架。 一、背景 1)携程酒店每天有上千表,累计十多亿数据更新,如何保证数据更新过程中生产应用高可用; 2)每天有将近百万次数据查询请求,用户可以从粗粒度国家省份城...

2019-06-27 10:39:47

阅读数 397

评论数 0

通过女票的淘宝历程,大白话讲解大数据各个方向的分工

浙江女性胸部全国最小! --马云 本文转自公众号“大数据肌肉猿”,作者无精疯 1 背景 总跟女票说我是做大数据的,女票也跟她朋友说我是做大数据的,但一问是啥,我跟我女票解释了半天她都没听懂,她也不知道怎么跟她朋友说。最好的解决方法是换女票,当然这是不存在的,想都不会想也不敢想。于是乎说写...

2019-06-19 15:54:53

阅读数 82

评论数 0

为什么MapReduce会被硅谷一线公司淘汰?

你好,我是蔡元楠, 目前在 Google Brain 担任 AI Healthcare (人工智能的健康医疗应用) 领域资深工程师,也是极客时间《大规模数据处理实战》的专栏作者,这篇文章便出自这个专栏的第一篇文章。 每次和来 Google 参观的同行交流的时候,只要谈起数据处理技术,他们总是试...

2019-04-25 16:03:49

阅读数 300

评论数 1

京东「卖家日志」系统的构建 | 流式计算日志系统应用实践

引言 本文讲述如何去构建一个日志系统,用到了哪些技术?为什么用这些技术?遇到的问题及优化的过程,希望给大家在实践中提供一些参考。 这是一个有关于日志的项目,负责收集、处理、存储、查询京东卖家相关操作的日志,这里就叫它“卖家日志”。在日常的开发过程中,可能对日志这个词并不陌生,例如常接触到的Lo...

2019-03-28 23:46:49

阅读数 115

评论数 0

数据驱动决策的10种思维方式

很多人都说会数据分析的人比别人聪明,实际上他们“聪明”在拥有分析思维,今天我们就来说说常见的数据分析思维。 以下10种数据分析思维可能不会瞬间升级你的思维模式,但说不定会为你以后的工作带来“灵光一闪”的感觉,请耐心读完,灵光一闪的时候别忘了我,你们的数据猎人DataHunter。 一、分类思...

2019-03-15 10:42:05

阅读数 74

评论数 0

大数据团队工作与建设

1. 概要 在过去五年间,负责过从数百万DAU到几千万DAU的成熟型数据算法团队,也曾负责从零开始的到几百万DAU增长型团队,积累了一些数据建设的想法思考以及数据团队管理经验。以前数据团队-启明星的好几个小伙伴,现在也陆续走上了数据团队负责人的管理岗位,时不时还会和我讨论数据团队的建设、管理遇到...

2019-03-11 14:32:09

阅读数 287

评论数 0

艰难的旅程,你的数据中台到底能为一线提供多少火力?

作者:傅一平 个人微信:fuyipingmnb 很多人在谈数据中台,笔者在多篇公众号文章中也涉及过,那些文章都在强调数据中台是什么,怎么建设数据中台,比如下面的是阿里的数据中台全景图: 这是袋鼠云的数据中台架构图: 虽然笔者在多篇文章中也谈了数据中台的建设心得,但从来不认为已经获...

2019-03-11 14:17:54

阅读数 599

评论数 0

通俗说基于Yarn的Map-Reduce过程

先看全图是基于Yarn的Map-Reduce运行过程,下面通俗的说一下这个过程。 从前有一个老板Resource Manager,开了一家外包公司,这家公司有很多的团队Node,每个团队都有个经理Node Manager,每过一段时间,团队经理Node Manager都要到老板那里开会,向老...

2019-01-02 10:40:24

阅读数 66

评论数 0

通俗说Spark

前面有一篇文章形象解析了Yarn的工作原理,这一篇文章通俗解析一下当前最火的大数据框架Spark。 通俗说基于Yarn的Map-Reduce过程 听说过Spark 的人常听到他强于Hadoop 的原因是他是基于内存的计算,因而比Hadoop快,可是数据量如此之大,怎么可能都放在内存里面呢? ...

2019-01-02 10:38:40

阅读数 254

评论数 0

业界 | 5个步骤开启你的数据科学职业生涯!(附链接)

大数据文摘授权转载自数据派THU 作者:Thomas 翻译:王雨桐 校对:丁楠雅 数据科学已经成为21世纪最热门的工作领域,但如何才能成为数据科学家呢?作为一名有抱负的数据科学家,或是准备从事数据科学工作的学生,你应该做好哪些准备?需要什么技能?不要担心!本文将会回答以上所有问题,...

2019-01-02 10:38:07

阅读数 71

评论数 0

简单易懂的自动驾驶科普知识

作者:陈光 来源:https://www.zhihu.com/question/65799732/answer/238516359 先来一张各大车企自动驾驶技术的分级图,大致了解一下目前已经量产的自动驾驶技术哪家强。 奔驰:这儿有点挤啊... 沃尔沃:隔壁那位兄弟,你踩着我脚了....

2018-12-24 22:56:29

阅读数 412

评论数 0

数据科学家最需要什么技能?

本文整理了多个求职网站的信息,对雇主最希望数据科学家具备的技能进行了分析,并提供了一些建议。 数据科学家需要涉猎很多——机器学习、计算机科学、统计学、数学、数据可视化、通信和深度学习。这些领域中有几十种语言、框架和技术可供数据科学家学习。那么要想成为雇主需要的数据科学家,他们应该如何安排学习...

2018-12-21 14:59:13

阅读数 291

评论数 0

后Hadoop时代的大数据技术思考:数据即服务

1. Hadoop 的神话正在破灭 IBM leads BigInsights for Hadoop out behind barn. Shots heard IBM has announced the retirement of the basic plan for its data an...

2018-12-21 14:36:02

阅读数 118

评论数 0

Google BigTable到底解决什么问题?

搞架构的人,Google的论文是必看的,但好像大家都不愿意去啃英文论文。故把自己的读书笔记,加入自己的思考,分享给大家。 第三部分,Google BigTable。 BigTable,很多人对它耳熟能详,但它究竟解决什么问题呢?这是今天要聊的话题。 什么是BigTable? Googl...

2018-12-19 21:23:10

阅读数 384

评论数 0

一文盘点数据行业的动态演变

近年来,数据行业不断涌现的职能和头衔让人惊讶。不可否认,这是一个模糊不清的领域,甚至连从业者对这个领域的构成也有不同看法,但有一些趋势是公认的。随着数据相关的职位、投资和技术越来越多,机构对数据的重视也达到了前所未有的程度。 为了方便阅读,我想按几种技术革命来介绍数据角色,尤其是那些在未来将不断...

2018-12-19 19:20:04

阅读数 227

评论数 0

Google MapReduce架构设计

前情回顾 Google MapReduce到底解决什么问题? Google MapReduce是Google产出的一个编程模型,同时Google也给出架构实现,它能够解决“能用分治法解决的问题”。   Google MapReduce有啥巧妙优化? 分区函数:保证不同map输出的...

2018-12-14 09:55:45

阅读数 80

评论数 0

Google MapReduce有啥巧妙优化?

搞架构的人,Google的架构论文是必看的,但好像大家都不愿意去啃英文论文。故把自己的读书笔记,加入自己的思考,分享给大家。 《MapReduce到底解决什么问题?》做了简介,这是第二篇,Google MapReduce优化启示(中)。   什么是MapReduce? MapReduc...

2018-12-14 09:52:10

阅读数 76

评论数 0

Google MapReduce到底解决什么问题?

第二篇,Google MapReduce架构启示(上)。 很多时候,定义清楚问题比解决问题更难。   什么是MapReduce? 它不是一个产品,而是一种解决问题的思路,它有多个工程实现,Google在论文中也给出了它自己的工程架构实现。   MapReduce这个编程模型解决什么...

2018-12-14 09:45:19

阅读数 213

评论数 0

提示
确定要删除当前文章?
取消 删除