- 博客(43)
- 资源 (43)
- 收藏
- 关注
原创 UE(Ultra Edit)提高SQL建表语句编写效率
最近收到需求,将EXCEL中的对应表结构写成对应的sql建表语句,对于几个或者十几个字段的表,直接用navicat等可视化也是可以的,但是遇到上百个字段得到表,做起来就有点恼火了。工作量有点大,所以用了UE神器,博主也是刚用,跟大家分享一下这个工具,当然对于熟悉编程的同学也可以采用VBA进行字符串拼接实现。一、Excel表结构表中有具体的表名和字段结构,以及字段类型二、UE中编辑1.打开编辑器,如下界面2.写上具体建表语句DROP TABLE IF EXISTS WAREHOUSE;CR
2020-05-30 14:43:31 2024
原创 Excel必知必会函数—看看你会哪几个?
数据集:注意:函数使用前一定要加=第一类:文本处理函数● Trim函数:去空格作用:除了单词之间的单个空格之外,移除文本中的所有空格。语法:TRIM(text),Text为必需项,为要移除空格的文本。● Concatenate函数:字符拼接作用:将两个或多个文本字符串联接为一个字符串。语法:CONCATENATE(text1, [text2], ...),至少包含一个项目,最多255个项目,最多支持8192个字符,项目可以是文本值、数字、或单元格引用。例如:=CONCATENATE(“订
2020-05-30 14:00:03 1185
原创 Excel 分列和行转列
最近收到需求将给定的表字段和对应字段长度做整理。原文档为TXT格式,截图如下:看到后直接头大,所以在excel中做了分列和行转列处理。一、分列1.将字段信息粘贴到单元个中。2.找到”数据“-->"分列"3.选择逗号分隔符根据给定的格式,分隔符应为逗号,选中逗号分隔符4.查看结果可以看到A1单元格中的文本,已经把字段分配到每个单元格了。同样方法可以操作一下字段长度,结果如下二、行转列选中行数,复制找到空单元格位置,右击:”选择性粘贴“-->转置可以看到行转列
2020-05-30 13:36:41 1545
原创 Excel VBA(Visual Basic)编程入门
Visual Basic for Applications(VBA),是依附在应用程序(例如Excel)中的VB语言。只要你安装了Office Excel就自动默认安装了VBA,同样Word和PowerPoint也能调用VBA对软件进行二次开发而让一些特别复杂的操作“脚本化”。VBA是Excel的底层根本。作为程序员来讲,只有明白使用最底层的东西,使用起来才能随心所欲。一、VBA打开方式方式一:快捷键ALT+F11方式二:sheet 右击–>查看代码 可以进入编程界面方式三:文件 - 选项
2020-05-30 13:20:08 15197
原创 Navicat Premium 连接不上Oracle 11g数据库解决方法
我的Navicat 版本是Navicat Premium 12 ,最近在windows环境中远程连接新项目的Oracle(11g版本)连接报错。我在之前项目中连接Oracle12是不报错的,也不需要做任何配置,直接选择basic或者TNS连接方式都可以顺利连接,刚开始也很恼火,查了资料后,最终解决。以下是具体解决方法和说明。一、问题产生原因:Navicat premium下载时会自动下载一个oci.dll文件,但是由于自带的默认版本可能存在和你需要连接Oracle版本不对的问题,所以连接时,会出现连
2020-05-28 16:23:05 3207
原创 三分钟读懂用户画像
一、 什么是用户画像用户画像是指根据用户的属性、偏好、生活习惯、行为等信息,抽象出来的标签化用户模型。通俗说就是给用户打标签,而标签是通过对用户信息分析而来的高度精炼的特征标识。通过打标签可以利用一些高度概括、容易理解的特征来描述用户,可以让人更容易理解用户,并且可以方便计算机处理。用户画像是对现实世界中用户的建模,用户画像包含目标,方式,组织,标准,验证这5个方面。**目标:**指的是描述人,认识人,了解人,理解人。**方式:**分为非形式化手段,如使用文字、语言、图像、视频等方式描述人;形式化
2020-05-26 18:13:56 979
原创 Python实现MySQL到MongoDB数据库的数据同步
一、数据准备MySQL 5.7--创建数据库CREATE DATABASE test01;-- 建表语句CREATE TABLE `saleorder` ( `order_id` int(11) NOT NULL, `order_time` date DEFAULT NULL, `order_num` int(11) DEFAULT NULL, PRIMARY KEY (`order_id`) USING BTREE) ENGINE=InnoDB DEFAULT CHARSET
2020-05-25 16:31:52 689 2
原创 【Cassandra】 数据存储结构
Cassandra 的数据模型是基于列族(Column Family)的四维或五维模型。它借鉴了 Amazon 的 Dynamo 和 Google’s BigTable 的数据结构和功能特点,采用 Memtable 和 SSTable 的方式进行存储。在 Cassandra 写入数据之前,需要先记录日志 ( CommitLog ),然后数据开始写入到 Column Family 对应的 Memtable 中,Memtable 是一种按照 key 排序数据的内存结构,在满足一定条件时,再把 Memtable
2020-05-25 14:39:23 1293
原创 【Cassandra】CQL查询语句的特殊规则
表结构:CREATE TABLE employee( name TEXT, age SMALLINT, phone TEXT, bornDate DATE, createDate timestamp, PRIMARY KEY ((bornDate),name, age,phone, createDate)) WITH compression = { 'chunk_length_in_k
2020-05-23 16:38:33 3876
原创 【Cassandra】数据类型和基础语法
1.cassandra的数据类型CQL提供了一组丰富的内置数据类型,包括集合类型。除了这些数据类型,用户还可以创建自己的自定义数据类型。(1)普通类型:(2)集合类型:list 列表(或称数组)是一个或多个有序元素的集合。map 地图是键值对的集合。set 集合是一个或多个元素的集合。(3)自定义2.键空间操作-- 查看所有键空间DESCRIBE KEYSPACES;--创建键空间CREATE KEYSPACE test01 WITH replication = {'class'
2020-05-23 16:16:41 4280
原创 Hive数仓开发规范
为了避免底层业务变动对上层需求影响过大,屏蔽底层复杂的业务逻辑,尽可能简单、完整的在接口层呈现业务数据,建设高内聚松耦合的数据组织,使数据从业务角度可分割,显得尤为重要。从整个集团业务条线出发,形成数据仓库总体概念框架,并对整个系统所需要的功能模块进行划分,明确各模块技术细节,建设一套完整的开发规范。一、分层规范ODS(原始数据层):ODS层是数据仓库准备区,为DWD层提供基础原始数据。DWD(明细数据层):和ODS粒度一致的明细数据,对数据进行去重,脏数据过滤,空处理,保证数据质量。DWS(服务数
2020-05-21 20:33:21 1739 2
原创 前端开发5大流行框架
前端框架就是已经搭建好了的web前端基本架构并且封装了一些功能比如html文档操作,漂亮的各种控件等,一般用于简化网页设计。当我们选择好某个前端框架进行项目开发时,只要添加自己需要的东西,就可以快速高效的完成网页的设计。本篇文章就给大家总结前端几大大主流框架1.Angular框架Angular.js简介:AngularJs最初由Misko Hevery 和Adam Abrons于2009年开发,后来成为了Google公司的项目。AngularJS弥补了HTML在构建应用方面的不足,其通过使用标识符(d
2020-05-21 16:41:00 875
原创 【数仓设计】行为数仓分层案例ODS& DWD& DWS&DM& ADS
本案例只是举例了一个通常的模型,有的项目会比现有的层数多或者少。一、数仓分层ODS: Operation Data Store原始数据DWD(数据清洗/DWI) data warehouse detail数据明细详情,去除空值,脏数据,超过极限范围的明细解析具体表PS:DWB: data warehouse base 基础数据层,有的会进一步细分额外加一层 ,存储的是客观数据,一般用作中间层,可以认为是大量指标的数据层。DWS(宽表-用户行为,轻度聚合) data warehouse se
2020-05-21 16:31:27 6626
原创 Airflow调度工具简介和使用
Airflow是airbnb家的基于DAG(有向无环图)的任务管理系统, 最简单的理解就是一个高级版的crontab。它解决了crontab无法解决的任务依赖问题。本文将介绍 Airflow 这一款优秀的调度工具。主要包括 Airflow 的服务构成、Airflow 的 Web 界面、DAG 配置、常用配置等。一、什么是 AirflowAirflow 是 Airbnb 开源的一个用 Python 编写的调度工具。于 2014 年启动,2015 年春季开源,2016 年加入 Apache 软件基金会的孵
2020-05-21 16:01:32 1035
原创 Confluence安装部署
一、安装Java解压缩[root@localhost soft]# tar -xvf jdk-8u211-linux-x64.tar.gz将文件移动到指定目录[root@localhost soft]# mv jdk1.8.0_211/ /usr/local/jdk1.8.0_211/配置Java环境[root@localhost soft]# vi /etc/profile追加如下内容export JAVA_HOME=/usr/local/jdk1.8.0_211export JR
2020-05-21 11:33:19 4855 4
原创 Presto简介
一、Presto是什么?Presto是一个开源的分布式SQL查询引擎,适用于交互式分析查询,数据量支持GB到PB字节。Presto的设计和编写完全是为了解决像Facebook这样规模的商业数据仓库的交互式分析和处理速度的问题。官网和部署地址:http://prestodb.jd.com/overview.html二、它可以做什么?Presto支持在线数据查询,包括Hive, Cassandra, 关系数据库以及专有数据存储。 一条Presto查询可以将多个数据源的数据进行合并,可以跨越整个组织进行
2020-05-21 10:54:53 1379
原创 大数据十大开源查询引擎
1.HiveHive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供完整的SQL查询功能,可以将SQL语句转换为Map-Reduce任务进行运行,可以理解为披着SQL外衣的Map-Reduce。十分适合数据仓库的统计分析。弊端:Hive是为方便用户使用Map-Reduce而在外面封装了一层SQL,由于Hive采用了SQL,它的问题域比Map-Reduce更窄,因为很多问题,SQL表达不出来,比如一些数据挖掘算法,推荐算法、图像识别算法等,这些仍只能通过编写Map-R
2020-05-21 10:45:35 3676
原创 【Cassandra】简介和windows安装
一、简介这里引用百度百科的介绍:Cassandra 是一套开源分布式 NoSQL 数据库系统。它最初由 Facebook 开发,用于储存收件箱等简单格式数据,集 GoogleBigTable 的数据模型与 Amazon Dynamo 的完全分布式的架构于一身 Facebook 于 2008 将 Cassandra 开源,此后,由于 Cassandra 良好的 可扩展性,被 Digg、Twitter 等知名 Web 2.0 网站所采纳,成为了一种流行的分布式结构化数据存储方案。简单来说,就是一个分布
2020-05-21 09:15:32 767
原创 Confluence简介和使用
一、简介Atlassian Confluence(简称Confluence)是一个专业的wiki程序。它是一个知识管理的工具,通过它可以实现团队成员之间的协作和知识共享。Confluence不是一个开源软件,非商业用途可以免费使用。Confluence使用简单,但它强大的编辑和站点管理特征能够帮助团队成员之间共享信息,文档协作,集体讨论。目前,Confluence被用于广泛地用于项目团队,开发团队,市场销售团队。二、Confluence的优势企业级的安全性;安装简单,易于管理;简洁,友好的用
2020-05-20 20:22:05 23663
原创 docker 沙箱(沙盒)简介
引言:沙箱虚拟化是一种资源的管理技术,将计算机中的实体资源,进行抽象,然后呈现出来,目的是为了打破实体结构之间的不可分割障碍,使用户以更好的组态使用资源。例如:anaconda 就是以沙盒环境,针对的是Python环境。搭建django过程中的virtualenv 就是python的虚拟环境。一、docker简介docker使用集装箱的思想,在开发过程中犹豫每个人的教育背景,个人习惯不同,代码水平不一致。有的程序写在linux环境,有的代码写在windows环境,在开过程中没有问题,但是项目部署
2020-05-20 19:33:12 3253
原创 Apache NiFi简介
一、什么是NiFiNiFi是美国国家安全局开发并使用了8年的可视化数据集成产品,2014年NAS将其贡献给了Apache社区,2015年成为Apache顶级项目。官方给的解释如下:简言之:一个基于Web图形界面,通过拖拽、连接、配置完成基于流程的编程,实现数据采集等功能的数据处理与分发系统。说明:Apache NiFi 是为数据流设计。它支持高度可配置的指示图的数据路由、转换和系统中介逻辑,支持从多种数据源动态拉取数据。NiFi原来是NSA的一个项目,目前已经代码开源,是Apache基金会的顶
2020-05-20 19:06:58 1574
原创 沙箱机制(Sandboxie)
一、沙箱是什么?沙箱是一个虚拟系统程序,沙箱提供的环境相对于每一个运行的程序都是独立的,而且不会对现有的系统产生影响。开发测试阶段,应用需要在沙箱环境进行开发,开发完成后可选择正式环境测试。二、沙箱的应用(1)搭建测试环境。沙箱的应用只能访问自己的应用访问目录,而不能应用之间的资源进行共享,这样就形成了一个相对安全的机制,由于沙箱具有非常良好的独立性、隔离性,所以能够搭建一些具有高风险的软件进行测试。 (2)应用容器的利用,如Docker就是完全使用沙箱机制,这样使得应用组件经过Docker的封装
2020-05-20 16:16:58 1583
原创 Spring、Spring Boot、Spring Cloud 、Spring Framework区别
SpringSpring是一个生态体系(也可以说是技术体系),是集大成者,它包含了Spring Framework、Spring Boot、Spring Cloud等(还包括Spring Cloud data flow、spring data、spring integration、spring batch、spring security、spring hateoas),可以参考链接:https://spring.io/projects,如下图所示(部分截图):Spring BootSpring Bo
2020-05-19 19:45:46 662
原创 Java常用框架简介
一、SpringMVCSpring Web MVC是一种基于Java的实现了Web MVC设计模式的请求驱动类型的轻量级Web框架,即使用了MVC架构模式的思想,将web层进行职责解耦,基于请求驱动指的就是使用请求-响应模型,框架的目的就是帮助我们简化开发,Spring Web MVC也是要简化我们日常Web开发的。**模型(Model )**封装了应用程序的数据和一般他们会组成的POJO。**视图(View)**是负责呈现模型数据和一般它生成的HTML输出,客户端的浏览器能够解释。**控制器(Co
2020-05-19 19:35:25 375
原创 产品经理告诉你什么是PMF?什么是MVP?
一、什么是PMF?PMF指的是产品与市场匹配的产品1.如何判断PMF的临界点?1、留存:30%的新用户次日留存2、新增用户DAU:大于1003、用户数:10万用户数DAU:单日活跃用户量,反应产品短期用户活跃度2.PMF几种类型1、更好体验的产品,如美图秀秀2、抓住细分市场,如uber、P2P3、全新的市场,如微博的@4、综合体,如Airbnb二、什么是MVP?MVP指的是对用户有价值的最小可用产品MVP打造阶段:对用户有价值的最小可用产品,从功能列表中定位出产品的核心功能,.
2020-05-19 19:20:33 12175
原创 API是什么?(读完你就明白)
阅读编程资料时经常会看到API这个名词,都在说API,那API到底是什么?对于很多非IT人士而言,API ≈ 听不懂。如果你喜欢百度百科,看一下高大上的解释估计放倒了一批初学者。初学者看到下面这一段话可能就有点头痛了。API(Application Programming Interface,应用程序编程接口)是一些预先定义的函数,目的是提供应用程序与开发人员基于某软件或硬件得以访问一组例程的能力,而又无需访问源码,或理解内部工作机制的细节。——百度百科从一个故事说起什么是API?我们不妨用一个
2020-05-19 19:08:05 7566 5
原创 Kettle使用中的20个常见问题
Kettle源码下载地址:https://github.com/pentaho/pentaho-kettleKettle软件下载地址:https://sourceforge.net/projects/pentaho/files/Data%20Integration一、Linux中如何部署kettle:(以root用户操作为例)1、将window中正常使用的kettle的data-integration文件夹压缩成tar包;2、将tar包上传到linux的指定文件夹中去;3、利用tar命令将ta
2020-05-18 19:41:45 14897 3
原创 kettle环境变量的配置(永久+临时)
首先我们有两种方式去改变这个环境变量,一种是永久性,一种是临时性,一、 永久性配置永久性是在我们的C盘的,用户,用户名称下面的.kettle文件夹里面的kettle.properties配置基本上就是kv形式的 ,所以就没那么麻烦。前面就是我们的 k也就是需要代替的 IP地址截图示意一下、ok这个配置就完成,保存退出.重启spoon!务必重启!我们重启之后,再去建立与数据库的链接 ,那么这个问题 ,解决了,二、临时性配置下面是关于 一次性的配置,比较轻松简单,但是调用都是一样的
2020-05-18 18:28:37 2472
原创 mysql-connector-java各种版本下载地址
mysql-connector-java下载地址:http://mvnrepository.com/artifact/mysql/mysql-connector-java选择对应版本点击jar开始下载
2020-05-17 20:16:35 1012
原创 安装两个不同版本的jdk的环境变量配置
这里以windows中安装java7和java8为例。一、JDK安装先安装好JDK1.7和1.8:在这就不说明了。二、配置环境变量1.创建JAVA_HOME创建三个JAVA_HOME。分别是JAVA7_HOME,JAVA8_HOME和JAVA_HOME。JAVA7_HOME,存放JDK7的安装路径。JAVA8_HOME,存放JDK8的安装路径。JAVA_HOME,如果需要jdk7版本变量值设为%JAVA7_HOME%,如果需要jdk8版本变量值设为%JAVA8_HOME%,便于切换。2.配置C
2020-05-17 19:48:53 2803 3
原创 大数据常用非关系型数据库汇总(NoSQL)
通常数据库分为关系型数据库和非关系型数据库,关系型数据库的优势到现在也是无可替代的,比如MySQL、Oracle、SQL Server、DB2、SyBase、Informix、PostgreSQL以及比较小型的Access等等数据库,这些数据库支持复杂的SQL操作和事务机制,适合小量数据读写场景;但是到了大数据时代,人们更多的数据和物联网加入的数据已经超出了关系数据库的承载范围。大数据时代初期,随着数据请求并发量大不断增大,一般都是采用的集群同步数据的方式处理,就是将数据库分成了很多的小库,每个数据库的数
2020-05-17 18:55:36 7386
原创 Impala的invalidate metadata与refresh 区别
在Impala中,invalidate metadata与refresh语句都可以用来刷新表,但它们本质上还是不同的。一、Impala on Hive介绍我们一般会采用传统的MySQL或PostgreSQL数据库作为Hive的Metastore(元数据存储)组件。在CDH中默认是MySQL,我们可以通过show tables in hive语句清晰地看到Hive Metastore中的各个表。mysql> show tables in hive;+-----------------------
2020-05-17 16:39:33 1250
原创 Hive文件存储格式(建表stored as 的五种类型)
一、综述1.建表规范我们知道hive建表的完成格式如下: CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name [(col_name data_type [COMMENT col_comment], ...)] [COMMENT table_comment] [PARTITIONED BY(col_name data_typ
2020-05-17 16:10:37 29770 2
原创 win10系统,右键打开方式时,没有选项“始终使用此应用打开×文件”怎么办
一般这种情况百是安全卫士自带的软件管家的原因,比度如腾讯的电脑管家-软件管理,打开以后选择“设知置”选择“其他设置”,把“当您打开道未知文件时,为您推荐合适软件专”对勾去属掉再右键选择打开方式,就会出现了。其他软件管家也有类似设置,取消就可以了...
2020-05-16 13:40:04 21732 5
原创 三类可视化工具总结(纯可视化、BI类、开发类)
一、纯可视化图表生成类——适合开发,工程师Echart一个纯Javascript的数据可视化库,百度的产品,常应用于软件产品开发或网页的统计图表模块。可在Web端高度定制可视化图表,图表种类多,动态可视化效,各类图表各类形式都完全开源免费。能处理大数据量和3D绘图也不逊色,据说结合百度地图的使用很出色。AntVAntV又是蚂蚁金服出品(阿里系)的一套数据可视化语法,貌似是国内第一个采用The grammar Of Graphics这套理论的可视化库。antv带有一系列的数据处理API,简单数据的数
2020-05-14 20:01:40 3294
原创 十大BI报表可视化工具
一、Tableau自助式BI典型的代表,目前在国内也还有许多代理商,Tableau也算是众多国外BI产品中,目前在国内还比较有竞争力的国外BI厂商吧。因其操作简单,无右键设计,设计一张报表就只需真正意义上的托拖拽拽就可快速完成报表的设计。加上其对界面的色调做了优化,使得整体UI风格的展现不错,整张报告看起来非常舒服。不足就是这是一款面向商业分析师的桌面可视化分析工具,更适用个人用户、小型工作室、独立部门,没有大数据的处理能力,需要对接其他公司的数据仓库产品。至于实施服务,如果代理商能做就自己做了,不能做
2020-05-14 19:53:14 10107
原创 版本控制工具—TortoiseSVN使用
TortoiseSVN 是 Subversion 版本控制系统的一个免费开源客户端,可以超越时间的管理文件和目录。一、安装下载地址:https://tortoisesvn.net/downloads.html, 页面里有语言包补丁的下载链接。运行下载的 TortoiseSVN 安装程序正确安装后,应该进行一次的重开机,以确保 TortoiseSVN 的正确无误。修改 TortoiseSVN 默认语言TortoiseSVN 安装完后默认的界面是英文的,我们可以通过设置修改成已安装语言二、建
2020-05-14 19:35:52 393
原创 版本控制工具—SVN安装部署
一、windows安装下载地址1:https://tortoisesvn.net/downloads.zh.html地址2:https://sourceforge.net/projects/win32svn/下载完成后,在相应的盘符中会有一个Setup-Subversion-1.8.16.msi的文件,或者TortoiseSVN-1.13.1.28686-x64-svn-1.13.0文件点击安装后,在windows下的SVN安装完成。鼠标右击会显示SVN的命令。二、CentOS部署[root
2020-05-14 19:02:27 331
原创 版本控制工具—SVN简介
Subversion(SVN) 是一个开源的版本控制系統, 也就是说 Subversion 管理着随时间改变的数据。 这些数据放置在一个中央资料档案库(repository) 中。 这个档案库很像一个普通的文件服务器, 不过它会记住每一次文件的变动。 这样你就可以把档案恢复到旧的版本, 或是浏览文件的变动历史。相关概念repository(源代码库): 源代码统一存放的地方Checkout(提取): 当你手上没有源代码的时候,你需要从repository checkout一份Commit(提交):当
2020-05-14 18:49:03 360
原创 解决windows删除桌面文件需要刷新才会消失的问题
方法一:1、首先点击电脑桌面上左下角的“开始”按钮,在菜单中选择“运行”选项,在对话框中输入“regedit”,回车确定打开注册表编辑器;2、在注册表编辑器的左侧中依次展开“HKEY_LOCAL_MACHINE\System\CurrentControlSet\Control\Update”分支;3、然后在窗口的右侧找到一个名为“UpdateMode”的DWORD值,鼠标双击“UpdateMode”,在出现的窗口中将其值修改为“0”就可以了,如何没有的话在Control下新建一个Update项,右侧也
2020-05-13 13:50:01 11877 1
Airflow安装配置和web端插件安装
2020-07-01
navicat 连接oracle 11g驱动包
2020-05-28
陀螺仪调度部署和使用(美云智数).rar
2020-05-14
azkaban安装包(web+excutor)
2020-03-27
集群搭建手册_CDH5.13.1版.docx
2020-03-11
TensorFlow.xmind
2020-01-13
Day10-决策树与贝叶斯.xmind
2020-01-13
Day9-LinearRegression线性回归与逻辑斯蒂回归.xmind
2020-01-13
Day8-KNN.xmind
2020-01-13
Day7-pandas-Ⅳ:数据加载与透视表.xmind
2020-01-13
Day6-matplotlib.xmind
2020-01-13
Day5-Scipy.xmind
2020-01-13
Day4-pandas-Ⅲ.xmind
2020-01-13
Day3-pandas-Ⅱ.xmind
2020-01-13
Day2-pandas-Ⅰ.xmind
2020-01-13
Day1-IPython与Numpy.xmind
2020-01-13
机器学习03--决策树01
2018-11-08
机器学习01--机器学习入门知识(数据科学 5 机器学习介绍)
2018-11-08
数据分析--matplotlib绘图和可视化
2018-11-08
MySQL性能优化之参数配置
2018-11-08
python面试笔试题(现场应聘收集)
2018-10-18
笨办法学python
2018-10-18
MySQL数据库学习之DDL学习
2018-09-08
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人