大数据开发
专注大数据开发
微信:zytbft
不管男女,欢迎来撩
展开
-
JAVA ssh远程连接centos或suse系统报错:密码认证失败 java.io.IOException: Password authentication failed
报错描述:JAVA 远程连接centosh或suse报错:密码认证失败 java.io.IOException: Password authentication failed错误原因:linux服务器中的ssh服务被禁用。 解决:OpenSUSE系统开启ssh服务。打开命令控制台/xshell/CRT等,类似windows下的cmd窗口,操作如下:1、修改sshd_config文件,命令为:vi /etc/ssh/sshd_config2、将#PasswordAuthenticatio.原创 2021-01-13 14:31:11 · 1228 阅读 · 0 评论 -
Maven系列--"maven-compiler-plugin"的使用
Maven系列--"maven-compiler-plugin"的使用maven是个项目管理工具,如果我们不告诉它我们的代码要使用什么样的jdk版本编译的话,它就会用maven-compiler-plugin默认的jdk版本来进行处理,这样就容易出现版本不匹配的问题,以至于可能导致编译不通过的问题。例如代码中要是使用上了jdk1.7的新特性,但是maven在编译的时候使用的是jdk1.6的版本...转载 2018-07-18 15:01:34 · 366 阅读 · 0 评论 -
使用javaAPI操作hdfs
使用javaAPI操作hdfs欢迎到https://github.com/huabingood/everyDayLanguagePractise查看源码。一.构建环境 在hadoop的安装包中的share目录中有hadoop所有你能想象到的内容。 进入安装包下的share文件夹你会看到doc和hadoop文件夹。其中doc中是hadoop的整个docume...转载 2018-07-18 22:03:34 · 1049 阅读 · 0 评论 -
Hadoop大数据组件安装 史上最详细教程 手把手教会你安装
Hadoop安装--大数据组件安装--史上最完整教程--手把手教会你安装——彻底揭开大数据技术的面纱,让小白彻底进入大数据技术领域安装的Hadoop的生态圈组件有如下几个(以后会不断补充完善起来了)。(1)Hadoop(单机模式独立,伪分布式伪分布式,全分布式全分布式)(2)Zookeeper(单机模式,全分布式)(3)Hadoop的HA模式(4)Hive(5)HBa...原创 2018-11-22 18:04:35 · 1515 阅读 · 0 评论 -
crontab定时任务入门总结
一.crontab命令介绍crontab命令的功能是给定的计划周期内执行给定的命令。crontab命令的参数:Options: -u <user> define user #用来设定某个用户的crontab服务,例如,“-u abc”表示设定abc用户的crontab服务,此参数一般有root用户来运行。crontab -u abc -e -e edi...转载 2018-11-25 21:21:00 · 460 阅读 · 0 评论 -
centos7 无法联网可能的解决方案-vmware14 centos7 无法联网,ping 百度www.baidu.com 不通,无线图标消失,network中的wired不见了
最佳解决方案如下。目前共遇到5种方法。1.检查了VMWare的的的的服务已经全开了。使用窗口窗口图标搜索“服务”二字,即可打开服务设置。2.确保vmware14的NAT模式连接网络,各种配置没问题。当然你可以使用桥接模式。3.centos7中进入根用户,打开的的ifcfg-ens33网络配置文件,确保各种配置没问题。vi / etc / sysconfig / network-scr...原创 2018-11-25 22:41:37 · 1977 阅读 · 2 评论 -
大数据采集工具,除了Flume,还有什么工具?
随着大数据越来越被重视,数据采集的挑战变的尤为突出。今天为大家介绍几款数据采集平台:Apache Flume Fluentd Logstash Chukwa Scribe Splunk Forwarder大数据平台与数据采集任何完整的大数据平台,一般包括以下的几个过程:数据采集-->数据存储-->数据处理-->数据展现(可视化,报表和监控)其中,数...转载 2018-11-24 23:51:05 · 23176 阅读 · 2 评论 -
技术书阅读方法论
技术书阅读方法论一.速读一遍(最好在1~2天内完成)人的大脑记忆力有限,在一天内快速看完一本书会在大脑里留下深刻印象,对于之后复习以及总结都会有特别好的作用。对于每一章的知识,先阅读标题,弄懂大概讲的是什么主题,再去快速看一遍,不懂也没有关系,但是一定要在不懂的地方做个记号,什么记号无所谓,但是要让自己后面再看的时候有个提醒的作用,看看第二次看有没有懂了些。二.精读一遍(在2周内看...转载 2018-12-25 16:59:19 · 1180 阅读 · 0 评论 -
问题解决:eclipse 的apache-tomcat-8.5.15\nexus\logs\nexus.log (拒绝访问。)
(1)本人是win10,找到tomcat的安装目录apache-tomcat-8.5.15,右击-属性-安全-选中当前用户(前面有一个人的图标,见图)-编辑(2)将当前用户的权限,全部选中,如图所示。出现提示框,选择是。等待设置完成后,依次单击确定。...原创 2019-01-14 11:02:26 · 1685 阅读 · 0 评论 -
centos7 无法联网可能的解决方案
如果出现无法联网的问题 然后输入 systemctl stop NetworkManagersystemctl disable NetworkManagerservice network restart原创 2018-07-12 09:33:36 · 1191 阅读 · 5 评论 -
CentOS7图形界面与命令行界面(Terminal)切换
CentOS7图形界面与命令行界面(终端)切换(1)CentOS7在图形界面进入dos界面 :ctrl+alt+F6dos界面进入图形界面:ctrl+alt+F2(2)CentOS7以前的版本图形界面进入dos界面 :ctrl + alt + F2dos界面进入图形界面:startx...原创 2018-07-12 09:24:45 · 15009 阅读 · 0 评论 -
大数据开发 岗位需要的知识——写给大数据开发初学者的话
经常有初学者在博客和QQ问我,自己想往大数据方向发展,该学哪些技术,学习路线是什么样的,觉得大数据很火,就业很好,薪资很高。如果自己很迷茫,为了这些原因想往大数据方向发展,也可以,那么我就想问一下,你的专业是什么,对于计算机/软件,你的兴趣是什么?是计算机专业,对操作系统、硬件、网络、服务器感兴趣?是软件专业,对软件开发、编程、写代码感兴趣?还是数学、统计学专业,对数据和数字特别感兴趣转载 2018-02-08 00:25:57 · 13192 阅读 · 11 评论 -
深入浅出解析大数据平台架构
目录:什么是大数据Hadoop介绍-HDFS、MR、Hbase大数据平台应用举例-腾讯公司的大数据平台架构“就像望远镜让我们能够感受宇宙,显微镜让我们能够观测微生物一样,大数据正在改变我们的生活以及理解世界的方式……”。大数据的4V特征-来源公司的“大数据”随着公司业务的增长,大量和流程、规则相关的非结构化数据也爆发式增长。比如:1、业务系统现在平均每天存储20万张图片,磁盘空间每天消耗100G;...转载 2018-02-13 17:00:45 · 3166 阅读 · 2 评论 -
大数据平台的软件有哪些?
查询引擎一、Phoenix简介:这是一个Java中间层,可以让开发者在Apache HBase上执行SQL查询。Phoenix完全使用Java编写,代码位于GitHub上,并且提供了一个客户端可嵌入的JDBC驱动。Phoenix查询引擎会将SQL查询转换为一个或多个HBase scan,并编排执行以生成标准的JDBC结果集。直接使用HBase API、协同处理器与自定义过滤器,对于简单转载 2018-02-13 23:55:51 · 61344 阅读 · 0 评论 -
大数据平台解决方案
第1章 华数大数据分析平台方案介绍1.1 华数大数据平台总体架构1.1.1 华数大数据平台应用架构 应用架构图基于华数多年来的开发经验,并借鉴行业大数据分析平台的实施、管理和应用方面的成功经验,结合禾丰牧业实际信息化情况,我们将禾丰大数据平台实际为三层架构,其中:l基础数据源层:目前禾丰牧业所应用的数据主要来源于业务系统(EAS)与平面文本文件转载 2018-02-14 00:07:54 · 58093 阅读 · 0 评论 -
大数据开发需要哪些工具?大数据开发必备工具汇总
大数据研究的出现,为企业、研究机构、政府决策提供了新的行之有效思路和手段,想要做好大数据的管理和分析,一些大数据开发工具的使用是必不可少的,以下是大数据开发过程中常用的工具:1. Apache HiveHive是一个建立在Hadoop上的开源数据仓库基础设施,通过Hive可以很容易的进行数据的ETL,对数据进行结构化处理,并对Hadoop上大数据文件进行查询和处理等。 Hive提供了一种简...转载 2018-02-14 00:12:06 · 4145 阅读 · 0 评论 -
大数据开发常用算法
无论是机器学习,模式识别,数据挖掘,统计学习,计算机视觉,语音识别,自然语言处理都涉及到算法。1.树:决策树(决策树)是在已知各种情况发生概率的基础上,通过构成决策树来求取净现值的期望值大于等于零的概率,评价项目风险,判断其可行性的决策分析方法,是直观运用概率分析的一种图解法。由于这种决策分支画成图形很像一棵树的枝干,故称决策树。在机器学习中,决策树是一个预测模型,他代表的对象属性与对象值之间的一...转载 2018-06-12 10:17:13 · 11067 阅读 · 0 评论 -
centos7怎样更新Yum源
1. 备份原来的yum源$sudo cp /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.bak 2.设置aliyun的yum源$sudo wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Cent...原创 2018-07-23 13:43:38 · 17426 阅读 · 0 评论 -
[转]maven中GroupID和ArtifactID怎么写
groupId :the unique identifier of the organization or group that created the project artifactId :unique base name of the primary artifact being generated by this project GroupID 是项目组织唯一的标识符,实际对应JAVA...转载 2018-07-17 18:25:43 · 519 阅读 · 0 评论