大数据开发

报错描述：JAVA 远程连接centosh或suse报错：密码认证失败 java.io.IOException: Password authentication failed错误原因：linux服务器中的ssh服务被禁用。 解决：OpenSUSE系统开启ssh服务。打开命令控制台/xshell/CRT等，类似windows下的cmd窗口，操作如下：1、修改sshd_config文件，命令为：vi /etc/ssh/sshd_config2、将#PasswordAuthenticatio.

1.问题：在控制台kafka-console-consumer消费者消费数据，参数zookeeper 和 bootstrap-server遇到问题，使用zookeeper可以消费数据，使用bootstrap-server不能读取数据。我的zookeeper版本 是3.4.10，kafka版本是kafka_2.11-0.11.0.0。2.解决：兄滴们啊，确保：kafka安装目录/config/server.properties里面的参数offsets.topic.replication.fac

nginx报错：nginx: [emerg] bind() to 0.0.0.0:80 failed (10013: An attempt was made to access a socket in a way forbidden by its access permissions)原因：nginx启动端口默认是80端口，出现这个错误，多半是80端口已经被占用。解决：在nginx的安...

Chrome 程序包无效： CRX_HEADER_INVALID 问题 解决问题如图所示：解决：将 crx 文件扩展名更改为 zip，然后拖拽到扩展程序，进行安装

Eclipse 修改 更换 SVN用户名和密码Eclipse想更换SVN账号密码，但是新建SVN资源库，自动登录了之前的帐户密码，解决方法如下：查看Eclipse 使用的SVN Interface （SVN 接口）是哪一种windows > preference > Team > SVN 右侧找到SVN Interface如果使用JavaHL...

eclipse导入导出配置（设置）、复制工程的配置，方便在新打开的eclipse中使用方法：将workspace/.metadata/.plugins/org.eclipse.core.runtime中的.settings文件夹拷贝出来，里面就是所有的配置文件，新建工作空间的时候将该.settings文件夹替换掉新工作空间中的.settings文件夹即可。然后重启eclipse...

HttpURLConnection的用法，什么是HttpURLConnection，HttpURLConnection怎么用一、创建HttpURLConnection对象[java]view plaincopyprint?URLurl=newURL("http://localhost:8080/TestHttpURLConnectionPro/index.jsp");...

 1. 将 Tomcat 和 Eclipse 相关联（重新操作一遍）Eclipse-选择菜单栏Windows-->preferences-->sever-->Runtime Environments ，弹出如下界面： 上图中，点击"add"的添加按钮，弹出如下界面： 在选项中，我们选择对应的 Tomcat 版本，接着点击 "Next"，选择 Tom...

（1）本人是win10，找到tomcat的安装目录apache-tomcat-8.5.15，右击-属性-安全-选中当前用户（前面有一个人的图标，见图）-编辑（2）将当前用户的权限，全部选中，如图所示。出现提示框，选择是。等待设置完成后，依次单击确定。...

技术书阅读方法论一.速读一遍（最好在1~2天内完成）人的大脑记忆力有限，在一天内快速看完一本书会在大脑里留下深刻印象，对于之后复习以及总结都会有特别好的作用。对于每一章的知识，先阅读标题，弄懂大概讲的是什么主题，再去快速看一遍，不懂也没有关系，但是一定要在不懂的地方做个记号，什么记号无所谓，但是要让自己后面再看的时候有个提醒的作用，看看第二次看有没有懂了些。二.精读一遍（在2周内看...

技术书阅读方法论一.速读一遍（最好在1~2天内完成）人的大脑记忆力有限，在一天内快速看完一本书会在大脑里留下深刻印象，对于之后复习以及总结都会有特别好的作用。对于每一章的知识，先阅读标题，弄懂大概讲的是什么主题，再去快速看一遍，不懂也没有关系，但是一定要在不懂的地方做个记号，什么记号无所谓，但是要让自己后面再看的时候有个提醒的作用，看看第二次看有没有懂了些。二.精读一遍（在2周内看...

SQL语句在线练习 http://sample.jimstone.com.cn/xsql/ SQL语句测验 http://www.w3school.com.cn/quiz/quiz.asp?quiz=sql sql语句练习50题(Mysql版)  https://blog.csdn.net/fashion2014/article/details/78826299/ htt...

最佳解决方案如下。目前共遇到5种方法。1.检查了VMWare的的的的服务已经全开了。使用窗口窗口图标搜索“服务”二字，即可打开服务设置。2.确保vmware14的NAT模式连接网络，各种配置没问题。当然你可以使用桥接模式。3.centos7中进入根用户，打开的的ifcfg-ens33网络配置文件，确保各种配置没问题。vi / etc / sysconfig / network-scr...

一.crontab命令介绍crontab命令的功能是给定的计划周期内执行给定的命令。crontab命令的参数:Options: -u <user> define user #用来设定某个用户的crontab服务，例如，“-u abc”表示设定abc用户的crontab服务，此参数一般有root用户来运行。crontab -u abc -e -e edi...

随着大数据越来越被重视，数据采集的挑战变的尤为突出。今天为大家介绍几款数据采集平台：Apache Flume Fluentd Logstash Chukwa Scribe Splunk Forwarder大数据平台与数据采集任何完整的大数据平台，一般包括以下的几个过程：数据采集-->数据存储-->数据处理-->数据展现(可视化，报表和监控)其中，数...

在数据仓库构建中，ETL贯穿于项目始终，它是整个数据仓库的生命线，包括了从数据清洗，整合，到转换，加载等的各个过程，如果说数据仓库是一座大 厦，那 么ETL就是大厦的根基，ETL抽取整合数据的好坏直接影响到最终的结果展现。所以ETL在整个数据仓库项目中起着十分关键的作用，必须摆到十分重要的位 置。一、什么是ETLETL是数据抽取（Extract）、转换（Transform）、加载（Load ）...

HashTable和HashMap的区别，HashTable的底层原理。https://blog.csdn.net/zytbft/article/details/84447167     

Java面试必备1.1 HashMap底层实现原理/HashMap与HashTable区别/HashMap与HashSet区别①HashMap的工作原理HashMap基于hashing原理，我们通过put()和get()方法储存和获取对象。当我们将键值对传递给put()方法时，它调用键对象的hashCode()方法来计算hashcode，让后找到bucket位置来储存值对象。当获取对象...

Hadoop安装--大数据组件安装--史上最完整教程--手把手教会你安装——彻底揭开大数据技术的面纱，让小白彻底进入大数据技术领域安装的Hadoop的生态圈组件有如下几个（以后会不断补充完善起来了）。（1）Hadoop（单机模式独立，伪分布式伪分布式，全分布式全分布式）（2）Zookeeper（单机模式，全分布式）（3）Hadoop的HA模式（4）Hive（5）HBa...