- 博客(7)
- 收藏
- 关注
原创 python问题总结
1. python写入csv,在服务器上查看不乱码,下载到windows乱码修改前:new_effect.to_csv("Native.csv")(乱码)new_effect.to_csv("Native.csv",encoding = "utf-8")(乱码)修改后:new_effect.to_csv("Native.csv",encoding='utf_8_sig')...
2018-05-18 09:22:42 246
原创 Hadoop异常总结
hadoop的日志目录(/opt/sxt/hadoop-2.6.5/logs)hadoop启动不正常用浏览器访问namenode的50070端口,不正常,需要诊断问题出在哪里:第一步:在服务器的终端命令行使用jps查看相关进程(namenode1个节点 datanode3个节点 secondary namenode1个节点)第二步:如果已经知道了启动失败的服务进程,
2017-08-19 20:25:15 294
原创 Sqoop
Apache Sqoop是用来实现结构型数据(如关系数据库)和Hadoop之间进行数据迁移的工具。它充分利用了MapReduce的并行特点以批处理的方式加快数据的传输,同时也借助MapReduce实现了容错。sqoop支持的数据库:Databaseversion--direct support?connect string matches
2017-08-19 20:22:57 278
原创 自定义UDF函数应用异常
定义函数PlatformConvert:实现传入hive表中string类型字段,通过查询中间表,返回int类型主键id值publicclass PlatformConvertextends UDF{ public IntWritable evaluate(Texts)throws Exception{ if(s==null){
2017-08-19 20:19:21 3507
原创 Hadoop之HDFS
HDFS介绍HDFS(HadoopDistributed File System )Hadoop分布式文件系统。是根据google发表的论文翻版的。什么是分布式文件系统分布式文件系统(Distributed File System)是指文件系统管理的物理存储资源不一定直接连接在本地节点上,而是通过计算机网络与节点相连。分布式文件系统的设计基于客户机/服务器模式。[优点]
2017-07-09 15:48:21 431
原创 Hadoop问题之mapreduce运行时异常
当输入命令: hadoop jar mr.jar cn.hadoop.mr.MyJob /mr/wc/inputstream /mr/wc/outpustream 时出现异常
2017-07-06 19:41:23 446
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人