- 博客(7)
- 收藏
- 关注
RSS订阅原创 python问题总结
1. python写入csv，在服务器上查看不乱码，下载到windows乱码修改前：new_effect.to_csv("Native.csv")（乱码）new_effect.to_csv("Native.csv",encoding = "utf-8")(乱码）修改后：new_effect.to_csv("Native.csv",encoding='utf_8_sig')...
2018-05-18 09:22:42
235
原创 Hadoop异常总结
hadoop的日志目录（/opt/sxt/hadoop-2.6.5/logs）hadoop启动不正常用浏览器访问namenode的50070端口，不正常，需要诊断问题出在哪里：第一步：在服务器的终端命令行使用jps查看相关进程（namenode1个节点 datanode3个节点 secondary namenode1个节点）第二步：如果已经知道了启动失败的服务进程，
2017-08-19 20:25:15
283
原创 Sqoop
Apache Sqoop是用来实现结构型数据（如关系数据库）和Hadoop之间进行数据迁移的工具。它充分利用了MapReduce的并行特点以批处理的方式加快数据的传输，同时也借助MapReduce实现了容错。sqoop支持的数据库：Databaseversion--direct support?connect string matches
2017-08-19 20:22:57
263
原创 自定义UDF函数应用异常
定义函数PlatformConvert：实现传入hive表中string类型字段，通过查询中间表，返回int类型主键id值publicclass PlatformConvertextends UDF{ public IntWritable evaluate(Texts)throws Exception{ if(s==null){
2017-08-19 20:19:21
3492
原创 Hadoop之HDFS
HDFS介绍HDFS（HadoopDistributed File System ）Hadoop分布式文件系统。是根据google发表的论文翻版的。什么是分布式文件系统分布式文件系统（Distributed File System）是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连。分布式文件系统的设计基于客户机/服务器模式。[优点]
2017-07-09 15:48:21
402
原创 Hadoop问题之mapreduce运行时异常
当输入命令： hadoop jar mr.jar cn.hadoop.mr.MyJob /mr/wc/inputstream /mr/wc/outpustream 时出现异常
2017-07-06 19:41:23
433
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人