使用DataWorks调度DLA循环任务

DataWorks是阿里云上的一款热门产品,可以为用户提供大数据开发调度服务。它支持了Data Lake Analytics(后文简称DLA)以后,DLA用户可以通过它进行定时任务调度,非常方便。本文将主要介绍如何使用DataWorks调度DLA的循环任务。 场景 使用DLA对历史数据按天做清...

2019-04-22 17:06:01

阅读数 2

评论数 0

免费的容器架构可视化工具 | 阿里云应用高可用服务 AHAS 发布重大新特性

工具下载链接:点这里。 活动发布链接:点这里。 采用容器服务后,了解容器之间的关系及依赖是一个比较有挑战的问题。容器化改造后的实际架构模型可能与预想的架构存在较大的差异,架构师或系统运维人员需要精确地了解资源实例的构成和交互情况,存在一定的困难。其次,系统架构在动态演化过程中可能引入了一些不可靠...

2019-04-22 16:20:02

阅读数 0

评论数 0

MaxCompute 图计算用户手册(下)

示例程序 强连通分量 在有向图中,如果从任意一个顶点出发,都能通过图中的边到达图中的每一个顶点,则称之为强连通图。一张有向图的顶点数极大的强连通子图称为强连通分量。此算法示例基于parallel Coloring algorithm。 每个顶点包含两个部分,如下所示: colorID:在向前遍...

2019-04-19 15:25:20

阅读数 3

评论数 0

MaxCompute 图计算用户手册(上)

概要 ODPS GRAPH是一套面向迭代的图计算处理框架。图计算作业使用图进行建模,图由点(Vertex)和边(Edge)组成,点和边包含权值(Value),ODPS GRAPH支持下述图编辑操作: 修改点或边的权值; 增加/删除点; 增加/删除边; 备注: 编辑点和边时,点与边的关系...

2019-04-19 15:22:28

阅读数 3

评论数 0

Spark in action on Kubernetes - 存储篇(一)

前言 在上篇文章中,我们分析了Spark Operator内部的机制,今天我们会讨论一个在大数据领域中最重要的话题 - 存储。大数据已经无声无息的融入了每个人的生活中。大到旅游买房,小到外卖打车,都可以看到通过大数据提供数据分析、数据推荐、数据决策的使用场景。大数据要想能够更准确地协助决策,需要...

2019-04-19 14:53:09

阅读数 3

评论数 0

ACK容器服务发布virtual node addon,快速部署虚拟节点提升集群弹性能力

在上一篇博文中(https://yq.aliyun.com/articles/647119),我们展示了如何手动执行yaml文件给Kubernetes集群添加虚拟节点,然而,手动执行的方式用户体验并不友好,也无法以组件的方式持续升级和管理。现在我们已经可以通过Helm的方式,让ack-virtua...

2019-04-19 14:39:44

阅读数 3

评论数 0

从Kubernetes 1.14 发布,看技术社区演进方向

Kubernetes 1.14 正式发布已经过去了一段时间,相信你已经从不同渠道看过了各种版本的解读。 不过,相比于代码 Release,马上就要迎来5周岁生日的Kubernetes 项目接下来如何演进,其实也是一个让人着迷的话题。而作为一个日趋成熟的开源生态,Kubernetes 项目每三个月...

2019-04-19 14:29:34

阅读数 21

评论数 0

阿里云数据库自研产品亮相国际顶级会议ICDE 推动云原生数据库成为行业标准

4月9日,澳门当地时间下午4:00-5:30,阿里云在ICDE 2019举办了主题为“云时代的数据库”的专场分享研讨会。 本次专场研讨会由阿里巴巴集团副总裁、高级研究员,阿里云智能数据库产品事业部负责人李飞飞(花名:飞刀)主持,五位学术界知名学者和教授受邀参加作为Panel Discussion...

2019-04-18 17:36:13

阅读数 62

评论数 0

MaxCompute 图计算开发指南

快速入门step by step MaxCompute Studio 创建完成MaxCompute Java Module后,即可以开始开发Graph了。 代码示例 在examples目录下有graph的一些代码示例,可参考示例熟悉Graph程序的结构。 编写Graph 在mo...

2019-04-18 17:34:04

阅读数 77

评论数 0

MaxCompute Mars开发指南

Mars 算法实践 人脸识别 Mars 是一个基于矩阵的统一分布式计算框架,而且Mars已经在 GitHub 中开源。当你看完 Mars 的介绍可能会问它能做什么,这几乎取决于你想做什么,因为 Mars 作为底层运算库,实现了numpy70% 的常用接口。这篇文章将会介绍如何使用 Mars 完...

2019-04-18 17:30:55

阅读数 55

评论数 0

基于MaxCompute的数仓数据质量管理

声明 本文中介绍的非功能性规范均为建议性规范,产品功能无强制,仅供指导。 参考文献 《大数据之路——阿里巴巴大数据实践》——阿里巴巴数据技术及产品部 著。 背景及目的 数据对一个企业来说已经是一项重要的资产,既然是资产,肯定需要管理。随着业务的增加,数据的应用越来越多,企业在创建的数仓过...

2019-04-18 17:27:36

阅读数 37

评论数 0

十年磨一剑,王坚自研的MaxCompute如何解决世界级算力难题

摘要:2009年这项关于大数据的技术长征开始。王坚带队,目标是自研大数据计算平台MaxCompute统一阿里巴巴内部的数据和大数据计算体系。 大数据时代,随着企业数据规模的急剧增长,传统软件已无法承载,这也推动了大数据技术的发展,Google、AWS、微软等硅谷巨头纷纷投入大数据技术的研发;而...

2019-04-18 17:22:56

阅读数 66

评论数 0

Nacos 发布 1.0.0 GA 版本,可大规模投入到生产环境

经过 3 个 RC 版本的社区体验之后,Nacos 正式发布 1.0.0 GA 版本,在架构、功能和 API 设计上进行了全方位的重构和升级。 1.0.0 版本的发布标志着 Nacos 已经可以大规模的在生产环境中使用,新版本不仅针对社区的需求和集群的稳定性相应地增加了一些新特性,而且还发布了服...

2019-04-17 17:46:42

阅读数 27

评论数 0

更效率、更优雅 | 阿里巴巴开发者工具不完全盘点

从人工到自动化,从重复到创新,技术演进的历程中,伴随着开发者工具类产品的发展。 阿里巴巴将自身在各类业务场景下的技术积淀,通过开源、云上实现或工具等形式对外开放,本文将精选了一些阿里巴巴的开发者工具,希望能帮助开发者们提高开发效率、更优雅的写代码。 由于开发者涉及的技术领域众多,笔者仅从自己熟...

2019-04-17 16:34:22

阅读数 3

评论数 0

干货|Spring Cloud Bus 消息总线介绍

继上一篇干货|Spring Cloud Stream 体系及原理介绍之后,本期我们来了解下 Spring Cloud 体系中的另外一个组件 Spring Cloud Bus (建议先熟悉 Spring Cloud Stream,不然无法理解 Spring Cloud Bus 内部的代码)。 Sp...

2019-04-17 16:30:33

阅读数 5

评论数 0

SaaS加速器II 能力中心:互利互补 共享商业红利

摘要:通过丰富的阿里集团和三方的业务能力API,缩短业务从0-1构建的周期和降低成本,我们希望能够把阿里巴巴在电商、金融、物流、高德以及其他领域沉淀出来商业最佳实践、商业能力,通过阿里云的渠道输出,赋能合作伙伴,让合作伙伴构建行业和领域业务系统时,直接利用这些能力,让合作伙伴能够具备像阿里巴巴一样...

2019-04-17 16:24:47

阅读数 2

评论数 0

提供SaaS Launchkit,快速定制,一云多端等能力,一云多端将通过小程序云实现

摘要:SaaS加速器的技术中心能力中,将提供SaaS Launchkit,快速定制,一云多端等能力,加速应用上云迁移、降低应用开发和定制的门槛,提升效率。其中非常关键的一云多端能力将通过小程序云实现。 演讲主题:SaaS加速器 III技术中心:聚合开放 高效强大 技术中心定义:阿里云以聚...

2019-04-17 16:21:05

阅读数 39

评论数 0

王坚十年前的坚持,才有了今天世界顶级大数据计算平台MaxCompute

如果说十年前,王坚创立阿里云让云计算在国内得到了普及,那么王坚带领团队自主研发的大数据计算平台MaxCompute则推动大数据技术向前跨越了一大步。 数据是企业的核心资产,但十年前阿里巴巴的算力已经无法满足当时急剧增长数据量的需求。基于Hadoop搭建集群是当时解决大规模数据计算的主流方案,...

2019-04-16 16:45:35

阅读数 46

评论数 0

SaaS加速器 I 商业中心:提供商业助力 共享商业成功

摘要:商业中心:通过阿里商业生态(如阿里云市场、钉钉市场、淘宝市场、B2B等)帮助合作伙伴实现商业变现和闭环, 思考:今天我们一起换个视角,从平台的角度考虑如何去构建生态,如何制定平台的规则以及如何与合作伙伴一起服务更多的企业客户。 过去几年,企业考虑为什么要上云?今天,客户思考为什么不...

2019-04-16 16:40:19

阅读数 138

评论数 0

发布SaaS加速器:我们不做SaaS,我们只做SaaS生态的推进者和守护者

摘要:此次阿里云推出的SaaS加速器,涵盖商业中心、能力中心、技术中心三大板块,是阿里巴巴商业、能力和技术的一次合力输出:技术能力在这里沉淀为一个个模块,ISV和开发者只要通过简单的操作,写很少的代码、甚至不写代码,就可以快速搭建一个SaaS应用,实现规模化、快速复制。 上午的演讲过程当中...

2019-04-16 16:36:02

阅读数 49

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭