- 博客(43)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 Kettle插入/更新组件的功能实现
功能：和oracle里面merger into的功能一样。符合条件则更新，不符合条件则插入。表和插入数据的sql。源表1create table test_update(id varchar(11),name varchar(11),card_no varchar(25));insert into test_update values(‘1’,‘lihua’,‘110’);insert into test_update values(‘2’,‘tom’,‘240’);目标表
2022-02-02 18:29:48
2599
原创 A+B+++ 只要 A+B； A+B+C++++ 只要 A+B+C
数据准备CREATE TABLE test22 ( a VARCHAR2(100)); INSERT INTO test22 VALUES('aa+bb+ds+aa++++'); INSERT INTO test22 VALUES('aa+bb+++++'); INSERT INTO test22 VALUES('aa++++++'); COMMIT;原始数据：sql方案：SELECT regexp_replace(s.a,'[+]{2,}','') FROM test22
2021-08-30 09:42:48
1029
原创 将某文件夹下多个execel文件合并成一个excel文件
import pandas as pddataframe = []dates = ["1.xlsx","2.xlsx","3.xlsx"]for date in dates: dataframe.append(pd.read_excel(date))df = pd.concat(dataframe)df.to_excel('merge.xlsx', index=False)测试文件：测试文件下载地址（免费下载使用）...
2021-04-28 18:06:31
244
原创 MySQL8之CTE
需求：shopname begin_time end_timeA 1 22B 18 20C 10 19要求输出：shopname idA 1A 2A 3A 22-1数据准备：CREATE TABLE test ( shopname varchar(100) , b
2021-04-27 16:55:39
103
原创 基于Oracle的字符串分割
需求：字段值含有“+”，以"+“将字段值分开。将下述样例中A字段，拆分成六个字段（即6列），因为值中”+"最多为5个。需求样例： A1 86.2800x012++86.5900x0062 49.1200+17.98330+49.39063 49.1200+49.3901+17.982204 79.3904+17.972A0+78.13005 8.4902+08.5900x0056 79.3401+83.2900x002+79.6400+39.5900x024+04.75
2021-04-27 11:42:13
1377
1
原创 Oracle-Mysql中字段数据含有空值时的like处理
需求：入下图数据库表名为test1，含有两个字段（A,B）。要求找出B字段不含有bc的值 A B 1 abcd 2 3 4 5 6 一.以Oracle数据库为例子。Oracle版本：Oracle Database 11g实验开始：1.建表：create table test1(a varchar2(10),b varchar2(10));2.向表中插入数据insert into test1 (A, B)values ('1', 'abcd');
2021-04-27 10:01:00
729
原创 Mysql异常捕获并记录
先上代码CREATE TABLE test_insert ( id int, name varchar(20) , PRIMARY KEY (id));CREATE TABLE log(code varchar(10),message varchar(50),time timestamp);CREATE DEFINER=`root`@`%` PROCEDURE `transexceptionlog`(IN in_id INT,IN in_name VARCHAR
2021-04-23 17:58:44
982
原创 Mysql存储过程中统计insert的行数
先上代码CREATE DEFINER=`shiwu`@`%` PROCEDURE `idn`()BEGIN DECLARE rows INT; INSERT INTO log VALUES('1','1',CURRENT_TIME),('2','2',CURRENT_TIME),('3','3',CURRENT_TIME); SELECT ROW_COUNT();ENDrow_count()函数是捕获insert了多少条数据。这里要特别注意的是inse
2021-04-23 17:03:11
1501
原创 Oracle
1、熟悉oracle数据库原理（例如表空间、索引、分区表等概念） 表空间：Oracle表空间之基本概念ORACLE数据库被划分成称作为表空间[1]的逻辑区域——形成ORACLE数据库的逻辑结构。一个ORACLE数据库能够有一个或多个表空间,而一个表空间则对应着一个或多个物理的数据库文件。表空间是ORACLE数据库恢复的最小单位,容纳着许多数据库实体,如表、视图、索引、聚簇、回退段和临时...
2021-04-16 16:45:22
70
原创 五.递归与尾递归案例
递归的缺点：效率低，容易出现栈溢出尾递归的思想：每次都利用调用参数传回的值去计算案例： // 递归 def factorial(n:Int):Int= if(n<=0) 1 else n*factorial(n-1) factorial(5) //尾递归 @annotation.tailrec def factorial(n:Int,m:Int) :Int= if (n<=0) m else factorial(n-1, m*n) factoria
2021-04-16 16:37:32
82
原创 四.柯里化
柯里化(Currying)指的是将原来接受两个参数的函数变成新的接受一个参数的函数的过程。新的函数返回一个以原有第二个参数为参数的函数。定义一个函数：def add(x:Int,y:Int)=x+y函数柯里化：def add(x:Int)(y:Int) = x + y案例： // 函数 def curriedAdd1(a:Int,b:Int) = a+b //> curriedAdd1: (a: Int, b: Int)Int curriedAdd1(1,2)
2021-04-16 16:30:40
78
原创 三.try与match表达式
object worksheet_p3 {/* try{} try在java中是语句，在scala中是表达式，会返回一个值 catch{} finaly{}*/ val result_try = try{ // 把dog转成int,这时候，会抛出异常 Integer.parseInt("dog") }catch{ // 这里的意思是：抛出异常之后，进入到catch，catch接收， case _ => 0 // catch有case
2021-04-16 16:23:13
247
原创 二.try与if中的 for comprehension和collection
object worksheet_p2 { val l = List("alice","bob","cathy") //> l : List[String] = List(alice, bob, cathy) for( s <- l )println(s) //> alice //| bob
2021-04-16 16:21:30
81
原创 一.函数与代码块
// 函数与代码块object func_examples { // hello是函数的名字 name是函数的参数 第一个String是参数的类型 第二个string的意思是函数返回的类型 def hello(name:String):String = { // 字符串插值 s"Hello,${name}" } //> hello: (name: String)St
2021-04-16 16:19:47
395
原创 二.try与if中的 for comprehension和collection
object worksheet_p2 { val l = List("alice","bob","cathy") //> l : List[String] = List(alice, bob, cathy) for( s <- l )println(s) //> alice //| bob .
2021-04-16 16:18:08
71
原创 leetcode
1、找出每个部门工资前三高的员工。该题用到row_number() over()分析函数 select department,employee,salary from (select d.name as department, e.name as employee, e.salary as salary, ...
2018-05-27 18:14:10
214
1
原创 Linux常见问题
1.如何切换至root用户打开终端，方法1.输入：sudo 输入密码后，就进入root用户了 方法2.输入：sudo -i 输入密码，就进入root用户了。2.putty或XSehll连接linux，提示拒绝。 在乌班图系统下，常出席这种问题。因为，乌班图系统，默认的情况下，是没有安装ssh服务的。详情见：https://www.linuxidc.com...
2018-04-04 23:32:11
833
原创 数据仓库
1.什么是数据仓库2.数据仓库的结构和建立过程3.OLTP应用与OLAP应用 OLTP应用：联机事务处理。注意下事务的特点。eg:银行转账 OLAP应用：联机分析处理。eg：商品推荐系统4.数据仓库的模型： 星型模型；雪花模型。星型模型：雪花模型：...
2018-03-30 16:31:41
292
原创 Hadoop
一、Hadoop的两个核心组成： 1、HDFS：分布式文件系统，存储海量的数据。 特点：数据冗余，硬件容错。 流式的数据访问。 一次写入，多次读取，顺序读写。不支持多用户并发写相同文件 存储大文件 2、MapReduce：并行处理框架，实现任务分解和调度。二、[...
2018-03-30 14:34:29
160
原创 Oracle用户
1.新建oracle用户 CREATE USER username IDENTIFIED BY password2.给用户创建sessionGRANT CREATE SESSION TO username;3.给用户赋予权限赋予创建表的权限GRANT CREATE TABLE TO username;赋予dba的权限GRANT DBA TO username;...
2018-03-29 19:32:49
139
原创 Pl/Sql developer免安装版的配置及使用
1.下载Instant Client 32位下载地址：http://www.oracle.com/technetwork/topics/winsoft-085727.html2.下载Pl/Sql developer免安装版软件3.打开Pl/Sql developer，在首选项，添加Client目录及Client/oci.dll...
2018-03-23 09:56:51
648
原创 Navicat Premium的使用
1.安装Navicat Premium软件 32位Navicat Premium软件下载地址：http://www.navicat.com.cn/products/navicat-premium2.下载Instant Client 32位下载地址：http://www.oracle.com/technetwork/topics/winsoft-085727.html3.解压Instant Cli...
2018-03-21 22:57:19
424
原创 Oracle补充知识点
1.nvl函数，去除空值。 nvl函数与coalesce函数。coalesce比nvl好用 nvl(字段名,0)nvlSQL> select ename,sal,comm,NVL(comm,0)+sal from emp;ENAME SAL COMM NVL(COMM,0)+SAL---------- ---------- ---------- -...
2018-03-18 17:15:47
375
原创 Oracle表空间系列
--查询表空间select tablespace_name from dba_tablespaces--创建表空间create tablespace data datafile 'data.file.dbf' size 10m;--设置默认存储的表空间alter user system default tablespace data;--查询默认表空间select default_tablespa...
2018-03-18 14:10:39
195
原创 github的使用。上传、克隆、更新
github汇总1.https://github.com 申请账号2.https://git-scm.com/downloads 在官网上下载git工具并安装3.新建知识仓库4.点击git bash在本地硬盘创建一个本地仓库，我是在F盘下的Git文件新建的。设计命令cd mkdir5.执行git init命令,在F盘就会多一个.git文件改文件是隐藏的，让它显示即可。6.为了把本地的仓库上传到...
2018-03-03 12:38:22
279
原创 MySQL使用
一、SQL分类 1.DDL(Data Definition Languages)语句：数据定义语言，这些语句定义了不同的数据段、数据库、表、列、索引等数据库对象。常用的语句关键字主要包括：create、drop、alter等。 2.DML(Data Control Language)语句：数据操纵语句，用于添加、删除、更新和查询数据库记录，并检查数据完整性。常用的语句关键主要包括ins...
2018-02-28 17:02:21
175
原创 xadmin的安装与使用
一.安装方法：1.在虚拟环境下，使用pip安装。pip install xadmin.这样可以顺带着安装所需要的包。2.在https://github.com/sshwsfc/xadmin该处下载源码，进行导入。安装完毕之后，将其迁移到数据库。二.项目配置setting配置INSTALLED_APPS = [ 'django.contrib.admin', 'django.cont...
2018-02-27 10:55:20
541
原创 Python+Django问题汇总
1. degree = models.CharField(verbose_name=u"难度",choices=(("cj","初级"),("zj","中级"),("gj","高级")),max_length=2)为了在前端界面不显示'cj'/'zj'/'gj'。可使用{{ hot_course.get_degree_display }}...
2018-02-19 22:11:25
204
原创 探索NumPy库
1.Numpy的引用import numpy as np (np为引入模块的别名)2.N维数组对象：ndarray数组对象可以去掉元素间运算所需的循环，使一维向量更像单个数据。设置专门的数组对象，经过优化，可以提升这类应用的运算速度。例：计算A^2 + B^3，其中，A和B是一维数组。传统python语言写法： 1 def pySum(): 2 a = [0,1,2,3,4] 3 ...
2018-02-09 10:06:17
149
转载 django1.9+xadmin设置主题功能失败的解决方法（含xadmin的源码下载地址）
PythonWeb项目环境：1.django1.92.源码安装xadmin。下载地址：https://github.com/sshwsfc/xadmin在该环境下设置：class BaseSetting(object): #设置主题功能 enable_themes = True use_bootswatch = True无法选择主题。解决方法：
2018-02-06 00:48:49
1347
3
原创 xadmin的安装与使用
一.安装方法：1.在虚拟环境下，使用pip安装。pip install xadmin.这样可以顺带着安装所需要的包。2.在https://github.com/sshwsfc/xadmin该处下载源码，进行导入。安装完毕之后，将其迁移到数据库。二.项目配置setting配置INSTALLED_APPS = [ 'django.contrib.admin'
2018-02-06 00:33:58
1525
1
原创 数据分析之制作世界人口地图
数据分析之制作世界人口地图 Pygal提供了图表类型Worldmap ，可帮助你制作呈现各国数据的世界地图。使用Pygal库，获取国别码时需用到i18n模块，其字典COUNTRIES包含的键和值分别为两个字母的国别码和国家名。其中遇到了两个问题。第一个：导入i18n的时候报错， from pygal.i18n import COUNTRIES 报错如下：I
2018-02-05 22:44:34
1532
原创 数据读取与写入
open()在文件处理时是个不错的方法。现根据实例总结如下：文件是一个文本或字符串给出的名称（和路径 如果该文件不在当前工作目录中） 被打开或文件的整数文件描述符为 包裹。 （如果给出了一个文件描述符，那么它将被关闭 返回的I / O对象是关闭的，除非closefd被设置为False。） mode是一个可选字符串，指定文件的模式
2018-02-05 16:44:37
1527
原创 PythonWeb初始入门
1、在cmd下安装virtualenvpip install virtualenv安装virtualenv超时的解决方法：设置默认安装有效时间pip --default-timeout=100 install -U pip接着在cmd下安装virtualenvwrapper，win系统下安装pip install virtualenvwrapper-win2、activate.bat 进入虚拟环境...
2018-01-31 22:47:55
268
原创 Oracle存储过程和自定义函数
Oracle存储过程和自定义函数Oracle数据库开发必备利器之存储过程自定义函数一、概述存储过程和存储函数指存储在数据库中供所有用户程序调用的子程序叫存储过程、存储函数。子程序由plsql写成的程序。 存储过程和存储函数的相同点：完成特定功能的程序。存储过程和存储函数的区别：是否用return语句返回值二、存储过程的创建和调用2.1创建和使用存储过程用CREA
2018-01-31 22:41:19
267
原创 Oracle学习笔记
Oracle学习笔记一、Oracle安装1. Oracle下载地址：http://www.oracle.com/technetwork/database/enterprise-edition/downloads/index.html2. 安装win8系统安装Oracle 11g报错：[INs-13001]环境不满足最低要求--解决办法 ：http://blog.csdn.n
2018-01-28 01:00:06
350
原创 Oracle数据库开发利器之函数
Oracle数据库开发利器之函数一、概述1.函数的作用a) 方便数据的统计b) 处理查询结果2.函数的分类a) 数值函数b) 字符函数c) 日期函数d) 转换函数3.在查询中使用函数a) 将小写字母转换成大写b) 查询时间间隔c) 四舍五入二、数值函数2.1四舍五入round(n[,m]) n表示四舍五入；m表示保留小数点后几位或者
2018-01-28 00:38:09
308
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人