![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
文章平均质量分 90
喜碧夫人听众
鬼知道我竟然还会写博客
展开
-
ODPS存储治理的几种手段
对如何进行ODPS进行存储治理的几项手段做了介绍原创 2023-01-10 00:26:13 · 1455 阅读 · 0 评论 -
MaxCompute的Lighting接口
一、简介MaxCompute Lightning是MaxCompute产品的交互式查询服务,支持以PostgreSQL协议及语法连接访问Maxcompute项目。正常情况下,我们使用MaxCompute表的数据是需要回流过程的,将数据回流到数据库中,然后查询数据库获取数据。然而在某些查询频率不高,查询周期不定的场景下,这种回流的方式其实不是特别适合。于是就有了交互式查询服务Lightning。...原创 2019-07-31 19:32:56 · 1106 阅读 · 0 评论 -
利用DataWorks赋值节点补强参数功能
一、前言DataWorks提供了系统参数供周期调度的任务使用,一般最常用到的系统参数是这两个:${bdp.system.bizdate}和${bdp.system.cyctime},分别代表任务运行时的昨天和当前时间。系统参数简写模式格式示例${bdp.system.bizdate}${bizdate}yyyymmdd20190802${bdp.syste...原创 2019-08-02 16:36:19 · 2699 阅读 · 2 评论 -
ODPS上的UDF(Python实现)
一、前言MaxCompute中的python是2.7环境的,可以通过sys.version验证,话说Python社区都准备放弃2.7了,阿里云啥时候跟上时代的步伐升级到3.x哦。我们测试一下:Executing user script with PyODPS 0.8.02.7.10 (default, Sep 18 2015, 16:43:46)[GCC 4.1.2 20080704 (...原创 2019-04-30 16:46:28 · 5287 阅读 · 0 评论 -
使用PyODPS节点监测SDK上传数据的完成节点
一、前言一直以来公司都有个痛点亟待解决,分库分表的MongoDB上传数据至ODPS,于是就有了一套利用tunnel java sdk上传数据的服务。但是上传完数据后DataWorks上的任务链依赖如何开始传递,一直没有解决。老办法是打时间差,按照一般上传耗时3个小时计算,所有任务的起点都配置在凌晨4点开始,这在大多数时候都能生效,但在一些流量特别大的日子就会异常,数据没传完,但任务已经开始执行...原创 2019-03-22 14:52:45 · 1282 阅读 · 0 评论 -
DataWorks关于PyODPS的节点参数
一、前言对于ODPS SQL节点的参数配置,是比较清晰明了的。对于习惯使用ODPS的人来说,想必大家也已经十分熟悉了。详情可以找一找阿里云的官方文档,这里贴个传送门:https://help.aliyun.com/document_detail/74450.html?spm=a2c4g.11186623.6.644.63bf5c57zj8JuV二、PyODPS的参数设置与ODPS SQL...原创 2019-03-21 19:24:48 · 2580 阅读 · 0 评论 -
MaxCompute的动态分区
前言有使用过Hive的人都知道,有一个叫做分区的东西。Hive表实际上是数据存储在HDFS上的抽象表,一个分区名对应逻辑存储时的一个子目录名,从形式上看可以理解为一个文件夹,一个表文件夹下的子文件夹。 有一点点绕,不知道你们听懂了没。当然,分区并不是一个必要的概念,你可以建一张不带分区的表。大多数时候我们都建议建立分区表,用法为在建表语句后带关键字partitioned by (type...原创 2018-05-31 20:37:07 · 4749 阅读 · 0 评论 -
数据分析师眼中的大数据和Hadoop
一、前言大数据这个概念不用我提大家也听过很多了,前几年各种公开论坛、会议等场合言必及大数据,说出来显得很时髦似的。有意思的是最近拥有这个待遇的名词是“人工智能/AI”,当然这是后话。众所周知,大数据的发展是来源于Google三驾马车,分别是:Google File System(GFS) —2003MapReduce —2004Bigtable —2006不得不说,Goog...原创 2018-05-21 20:21:30 · 2502 阅读 · 0 评论 -
浅尝阿里云的大数据产品--MaxCompute
简介先丢一段阿里云官方的说明: 大数据计算服务(MaxCompute,原名ODPS)是一种快速、完全托管的TB/PB级数据仓库解决方案。MaxCompute向用户提供了完善的数据导入方案以及多种经典的分布式计算模型,能够更快速的解决用户海量数据计算问题,有效降低企业成本,并保障数据安全。说白了就是阿里云开发了一套大数据平台,相当于hadoop(含数仓工具Hive、工作流引擎Ooz...原创 2018-03-13 18:33:00 · 1420 阅读 · 1 评论