- 博客(12)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 oozie web_ui中文化处理过程
oozie web_ui中文化处理过程 mysql数据默认latin1,修改成utf8的 如下步骤： 1 做一个数据库全库。 全库备 mysqldump --all-databases > all.bak.sql 单库备： mysqldump db_name > backup-file.sql 2 做一个不带数据的表备份（建表语句） ...
2018-11-16 16:36:59
461
1
原创 Pandas读Excel写oracle
#!/usr/bin/python # -*- coding: utf-8 -*- # File Name: test # Created on 2018/11/6 0006 # @author: Ethan import os import pandas as pd from common import database import time start = time.time() d...
2018-11-07 18:11:36
913
原创 cx_Oracle链接oracle数据库
#!/usr/bin/python # -*- coding: utf-8 -*- # Created on 2018-1-20 # @author: Ethan import base64 import os import cx_Oracle import writelog _get_abs_path = lambda path: os.path.normpath(os.path.join...
2018-11-07 18:05:54
416
原创 Sqoop抽取数据
#!/bin/bash :<<EOF 程序运行参数： 1：数据库密码 2：开始日期 3：截止日期 create table Hive数据库名.表名 ( id int, name string ) PARTITIONED BY(dt string) ROW FORMAT DELIMITED; ALTER TABLE 数据库名.表名 ADD IF NOT EXISTS...
2018-10-18 17:33:12
986
原创 shell编程学习
#!/bin/bash :<<EOF 多行注释 EOF hello="Hello" echo "===================================${hello} World! \"hello\"长度="${#hello}=================================== # 数组测试 array_test=(1 2 "3") echo '打...
2018-10-18 17:07:32
149
原创 MapReduce测试数据计算补全
package xxx.hadoop; import java.io.DataInput; import java.io.DataOutput; import java.io.IOException; import java.util.HashMap; import java.util.Iterator; import java.util.Set; import or
2017-03-28 12:55:11
357
原创 Hadoop练习wordcout+多文件输出
package xxx.hadoop; import java.io.IOException; import java.util.StringTokenizer; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop
2017-03-25 14:39:56
391
原创 Hadoop的配置
package xxx.bigdata.common; import java.io.FileNotFoundException; import java.io.IOException; import java.util.Properties; import org.apache.hadoop.conf.Configuration; /** * Hadoop连接配置
2017-03-25 14:32:04
300
原创 Pycharm+Spark开发配置
1.安装py4j: pip install py4j。 2.python安装目录下site-packages下新建pyspark.pth文件，内容为： C:\spark-1.6.2-bin-hadoop2.6\python\。 3.配置环境变量：SPARK_HOME，值为“C:\spark-1.6.2-bin-hadoop2.6”。 重新打开PyCharm。 既能运行Spark
2016-10-21 19:00:40
418
原创 Mvn工程解决severlet版本冲突问题
ERROR spark.SparkContext: Errorinitializing SparkContext. java.lang.SecurityException: class"javax.servlet.ServletRegistration"'s signer information does notmatch signer information of other class
2016-10-14 13:15:35
681
原创 用Pydev快速搭建Django应用
<br />一、安装Python2.6<br />二、配置Pydev<br />三、安装Mysql，创建空数据库mystie<br />四、安装MySQL-python-1.2.3.win32-py2.6.exe<br />五、下载并安装Django<br />六、前面都是为了配置开发环境的，接下来是步入正题——用Pydev快速构建Django应用：<br /> <br />1.创建工程：打开Eclipse，选择File->New->Project->Pydev->Pydev Django Project
2010-09-26 14:58:00
1323
原创 IP地址批量查询
<br /> <br /><br /><br /># E:/devspace/python/test/spider/ip.py<br /># -*- coding: GBK -*-<br />from binascii import b2a_hex<br /> <br /># Hex to int<br />def Hex2Int(data):<br /> i0 = int(b2a_hex(data[0]), 16)<br /> i1 = int(b2a_hex(data[1]), 16)<br
2010-09-20 11:32:00
3338
ckeditor的数学公式编辑插件
2011-04-26
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人