![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
文章平均质量分 59
zhaoyu410186459
这个作者很懒,什么都没留下…
展开
-
发送邮件示例代码
多种语言实现发送邮件功能Python实现发送邮件功能Shell实现发送邮件功能Python实现发送邮件功能#!/usr/bin/python# -*- coding: UTF-8 -*-# 首先导入email模块构造邮件from email.mime.multipart import MIMEMultipartfrom email.header import Headerfrom email.mime.text import MIMETextfrom email.mime.applicat原创 2021-01-27 14:23:29 · 541 阅读 · 0 评论 -
在CDH中查看各组件的版本号
在CDH中查看各组件的版本号1、选择 主机 —— 所有主机2、点击其中一台节点3、进去以后,选择 组件原创 2020-12-09 14:53:05 · 1067 阅读 · 0 评论 -
数仓分层结构
数据仓库(Data Warehouse)简写DW,在一般企业中,由下到上依次分为:DWD、DWB或DWM、DWS。第一层:数据明细层DWD(data warehouse detail):是业务层与数据仓库的隔离层。第二层:数据中间层DWM(date warehouse middle)或者叫DWB(data warehouse base):存储的是客观数据,一般用作中间层,可以认为是大量指标的数据层。第三层:数据服务层DWS(data warehouse service):基于DWB上的基础数.原创 2020-10-15 14:20:02 · 798 阅读 · 0 评论 -
HBase知识摘要(一)
HBase面向列的数据库,NoSQL数据库。原创 2019-03-30 23:40:53 · 562 阅读 · 0 评论 -
Maxwell实时监听Binlog单机demo
文章目录需要环境配置Linux环境下MySQL开启Binlog配置Maxwell数据库权限创建数据库配置Kafka并启动Maxwell需要环境Linux环境MySQL (版本:5.7.19)kafka (版本:kafka_2.11-1.0.0)zookeeper (版本:zookeeper-3.4.10)Maxwell (版本:maxwell-...原创 2019-01-09 12:27:30 · 991 阅读 · 0 评论 -
解决错误:org.apache.hadoop.mapreduce.lib.input.InvalidInputException:
**错误信息:**Exception in thread “main” org.apache.hadoop.mapreduce.lib.input.InvalidInputException: Input path does not exist: hdfs://192.168.127.11:9000/root/data/a.txt**描述:**找了老半天,网上也有说是9000端口被占用。其实都...原创 2019-01-11 23:22:29 · 4948 阅读 · 1 评论 -
Flume Agent吞吐量优化方法
译自:Scaling a flume agent to handle 120K events_sec – Data Collective – MediumApache Flume 是一种用来收集大量数据(如日志)的分布式服务。Flume agent 有三个组成部分:source, channel and sink.。简而言之,数据通过Channel从Source到Sink。Source生产数...翻译 2019-01-05 15:49:28 · 3071 阅读 · 2 评论 -
大数据环境下该如何优雅地设计数据分层
最近出现了好几次同样的对话场景:问:你是做什么的?答:最近在搞数据仓库。问:哦,你是传统行业的吧,我是搞大数据的。答:......发个牢骚,搞大数据的也得建设数据仓库吧。而且不管是传统行业还是现在的互联网公司,都需要对数据仓库有一定的重视,而不是谈一句自己是搞大数据的就很厉害了。数据仓库更多代表的是一种对数据的管理和使用的方式,它是一整套包括了etl、调度、建模在内的完整的理论体...转载 2019-01-03 17:16:21 · 1068 阅读 · 0 评论