大数据开发

报错描述：JAVA 远程连接centosh或suse报错：密码认证失败 java.io.IOException: Password authentication failed错误原因：linux服务器中的ssh服务被禁用。 解决：OpenSUSE系统开启ssh服务。打开命令控制台/xshell/CRT等，类似windows下的cmd窗口，操作如下：1、修改sshd_config文件，命令为：vi /etc/ssh/sshd_config2、将#PasswordAuthenticatio.

1.问题：在控制台kafka-console-consumer消费者消费数据，参数zookeeper 和 bootstrap-server遇到问题，使用zookeeper可以消费数据，使用bootstrap-server不能读取数据。我的zookeeper版本 是3.4.10，kafka版本是kafka_2.11-0.11.0.0。2.解决：兄滴们啊，确保：kafka安装目录/config/server.properties里面的参数offsets.topic.replication.fac

nginx报错：nginx: [emerg] bind() to 0.0.0.0:80 failed (10013: An attempt was made to access a socket in a way forbidden by its access permissions)原因：nginx启动端口默认是80端口，出现这个错误，多半是80端口已经被占用。解决：在nginx的安...

Chrome 程序包无效： CRX_HEADER_INVALID 问题 解决问题如图所示：解决：将 crx 文件扩展名更改为 zip，然后拖拽到扩展程序，进行安装

Eclipse 修改 更换 SVN用户名和密码Eclipse想更换SVN账号密码，但是新建SVN资源库，自动登录了之前的帐户密码，解决方法如下：查看Eclipse 使用的SVN Interface （SVN 接口）是哪一种windows > preference > Team > SVN 右侧找到SVN Interface如果使用JavaHL...

eclipse导入导出配置（设置）、复制工程的配置，方便在新打开的eclipse中使用方法：将workspace/.metadata/.plugins/org.eclipse.core.runtime中的.settings文件夹拷贝出来，里面就是所有的配置文件，新建工作空间的时候将该.settings文件夹替换掉新工作空间中的.settings文件夹即可。然后重启eclipse...

HttpURLConnection的用法，什么是HttpURLConnection，HttpURLConnection怎么用一、创建HttpURLConnection对象[java]view plaincopyprint?URLurl=newURL("http://localhost:8080/TestHttpURLConnectionPro/index.jsp");...

 1. 将 Tomcat 和 Eclipse 相关联（重新操作一遍）Eclipse-选择菜单栏Windows-->preferences-->sever-->Runtime Environments ，弹出如下界面： 上图中，点击"add"的添加按钮，弹出如下界面： 在选项中，我们选择对应的 Tomcat 版本，接着点击 "Next"，选择 Tom...

（1）本人是win10，找到tomcat的安装目录apache-tomcat-8.5.15，右击-属性-安全-选中当前用户（前面有一个人的图标，见图）-编辑（2）将当前用户的权限，全部选中，如图所示。出现提示框，选择是。等待设置完成后，依次单击确定。...

技术书阅读方法论一.速读一遍（最好在1~2天内完成）人的大脑记忆力有限，在一天内快速看完一本书会在大脑里留下深刻印象，对于之后复习以及总结都会有特别好的作用。对于每一章的知识，先阅读标题，弄懂大概讲的是什么主题，再去快速看一遍，不懂也没有关系，但是一定要在不懂的地方做个记号，什么记号无所谓，但是要让自己后面再看的时候有个提醒的作用，看看第二次看有没有懂了些。二.精读一遍（在2周内看...

技术书阅读方法论一.速读一遍（最好在1~2天内完成）人的大脑记忆力有限，在一天内快速看完一本书会在大脑里留下深刻印象，对于之后复习以及总结都会有特别好的作用。对于每一章的知识，先阅读标题，弄懂大概讲的是什么主题，再去快速看一遍，不懂也没有关系，但是一定要在不懂的地方做个记号，什么记号无所谓，但是要让自己后面再看的时候有个提醒的作用，看看第二次看有没有懂了些。二.精读一遍（在2周内看...

SQL语句在线练习 http://sample.jimstone.com.cn/xsql/ SQL语句测验 http://www.w3school.com.cn/quiz/quiz.asp?quiz=sql sql语句练习50题(Mysql版)  https://blog.csdn.net/fashion2014/article/details/78826299/ htt...

最佳解决方案如下。目前共遇到5种方法。1.检查了VMWare的的的的服务已经全开了。使用窗口窗口图标搜索“服务”二字，即可打开服务设置。2.确保vmware14的NAT模式连接网络，各种配置没问题。当然你可以使用桥接模式。3.centos7中进入根用户，打开的的ifcfg-ens33网络配置文件，确保各种配置没问题。vi / etc / sysconfig / network-scr...

一.crontab命令介绍crontab命令的功能是给定的计划周期内执行给定的命令。crontab命令的参数:Options: -u <user> define user #用来设定某个用户的crontab服务，例如，“-u abc”表示设定abc用户的crontab服务，此参数一般有root用户来运行。crontab -u abc -e -e edi...

随着大数据越来越被重视，数据采集的挑战变的尤为突出。今天为大家介绍几款数据采集平台：Apache Flume Fluentd Logstash Chukwa Scribe Splunk Forwarder大数据平台与数据采集任何完整的大数据平台，一般包括以下的几个过程：数据采集-->数据存储-->数据处理-->数据展现(可视化，报表和监控)其中，数...

在数据仓库构建中，ETL贯穿于项目始终，它是整个数据仓库的生命线，包括了从数据清洗，整合，到转换，加载等的各个过程，如果说数据仓库是一座大 厦，那 么ETL就是大厦的根基，ETL抽取整合数据的好坏直接影响到最终的结果展现。所以ETL在整个数据仓库项目中起着十分关键的作用，必须摆到十分重要的位 置。一、什么是ETLETL是数据抽取（Extract）、转换（Transform）、加载（Load ）...

HashTable和HashMap的区别，HashTable的底层原理。https://blog.csdn.net/zytbft/article/details/84447167     

Java面试必备1.1 HashMap底层实现原理/HashMap与HashTable区别/HashMap与HashSet区别①HashMap的工作原理HashMap基于hashing原理，我们通过put()和get()方法储存和获取对象。当我们将键值对传递给put()方法时，它调用键对象的hashCode()方法来计算hashcode，让后找到bucket位置来储存值对象。当获取对象...

Hadoop安装--大数据组件安装--史上最完整教程--手把手教会你安装——彻底揭开大数据技术的面纱，让小白彻底进入大数据技术领域安装的Hadoop的生态圈组件有如下几个（以后会不断补充完善起来了）。（1）Hadoop（单机模式独立，伪分布式伪分布式，全分布式全分布式）（2）Zookeeper（单机模式，全分布式）（3）Hadoop的HA模式（4）Hive（5）HBa...

问题如下：[root@qf01 ~]# hadoop jar testHBase-1.0-SNAPSHOT.jar com.qf.hbase.hbasewordcount.HBaseWordCountApp /tmp/hbase-root/hbase/data/default/wordcount /outdata/hbasewordcountException in thread "main...

1.查看操作系统版本。[root@localhost etc]# cat /etc/redhat-releaseCentOS release 6.5 (Final)2.列出所有版本信息。[root@localhostetc]# lsb_release -aLSB Version:    :base-4.0-amd64:base-4.0-noarch:core-4.0-amd64...

1. 备份原来的yum源$sudo cp /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.bak 2.设置aliyun的yum源$sudo wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Cent...

使用javaAPI操作hdfs欢迎到https://github.com/huabingood/everyDayLanguagePractise查看源码。一.构建环境        在hadoop的安装包中的share目录中有hadoop所有你能想象到的内容。        进入安装包下的share文件夹你会看到doc和hadoop文件夹。其中doc中是hadoop的整个docume...

Maven系列--"maven-compiler-plugin"的使用maven是个项目管理工具，如果我们不告诉它我们的代码要使用什么样的jdk版本编译的话，它就会用maven-compiler-plugin默认的jdk版本来进行处理，这样就容易出现版本不匹配的问题，以至于可能导致编译不通过的问题。例如代码中要是使用上了jdk1.7的新特性，但是maven在编译的时候使用的是jdk1.6的版本...

groupId ：the unique identifier of the organization or group that created the project artifactId ：unique base name of the primary artifact being generated by this project GroupID 是项目组织唯一的标识符，实际对应JAVA...

如果出现无法联网的问题 然后输入 systemctl stop NetworkManagersystemctl disable NetworkManagerservice network restart

CentOS7图形界面与命令行界面（终端）切换（1）CentOS7在图形界面进入dos界面 ：ctrl+alt+F6dos界面进入图形界面：ctrl+alt+F2（2）CentOS7以前的版本图形界面进入dos界面 ：ctrl + alt + F2dos界面进入图形界面：startx...

1.在CentOS7中（1）（2）2.win7中成功！

synchronized使用的内置锁和ReentrantLock这种显式锁在java6以后性能没多大差异，在更新的版本中内置锁只会比显式锁性能更好。这两种锁都是独占锁，java5以前内置锁性能低的原因是它没做任何优化，直接使用系统的互斥体来获取锁。显式锁除了CAS的时候利用的是本地代码以外，其它的部分都是Java代码实现的，在后续版本的Java中，显式锁不太可能会比内置锁好，只会更差。使用显式锁的...

JAVA多线程和并发基础面试问答　　原文链接：http://ifeve.com/java-multi-threading-concurrency-interview-questions-with-answers/　　多线程和并发问题是Java技术面试中面试官比较喜欢问的问题之一。在这里，从面试的角度列出了大部分重要的问题，但是你仍然应该牢固的掌握Java多线程基础知识来对应日后碰到的问题。（校对注...

本文主要整理博主遇到的Java多线程的相关知识点，适合速记，故命名为“小抄集”。本文没有特别重点，每一项针对一个多线程知识做一个概要性总结，也有一些会带一点例子，习题方便理解和记忆。1. interrupted与isInterrupted的区别interrupted()：测试当前线程是否已经是中断状态，执行后具有状态标志清除为false的功能。isInterrupted()：测试线程Thread对...

本文主要介绍以下两块内容的执行顺序，熟悉的大虾可以直接飘过。     一.JAVA中执行顺序 静态块块构造器父类构造器     二.JAVA中赋值顺序       静态块直接赋值      块直接赋值      父类继承的属性已赋值      静态变量声明时赋值      成员变量声明时赋值      构造器赋值    第一部分很好测试，我们只需要写一个子类，类中定义一个静态块，一个普通块，一个构...

                           结合框架体系应该最重要的是如何灵活利用三种接口，设置，地图，列表，他们如何遍历，各有什么特征，怎么样去处理，这是关键，在这个基础上再去掌握在什么场合用什么类型的接口。比如说列表和设置，设置是无序的一个空袋子，当我们只需要放入取出，这个接口当然是最实用的，但是如果我们需要按序取出，这个方法就不能用了，而要用到列表，地图接口就有个特点，它有一个特定...

如果对什么是线程、什么是进程仍存有疑惑，请先Google之，因为这两个概念不在本文的范围之内。用多线程只有一个目的，那就是更好的利用cpu的资源，因为所有的多线程代码都可以用单线程来实现。说这个话其实只有一半对，因为反应“多角色”的程序代码，最起码每个角色要给他一个线程吧，否则连实际场景都无法模拟，当然也没法说能用单线程来实现：比如最常见的“生产者，消费者模型”。很多人都对其中的一些概念不够明确，...

无论是机器学习，模式识别，数据挖掘，统计学习，计算机视觉，语音识别，自然语言处理都涉及到算法。1.树：决策树（决策树）是在已知各种情况发生概率的基础上，通过构成决策树来求取净现值的期望值大于等于零的概率，评价项目风险，判断其可行性的决策分析方法，是直观运用概率分析的一种图解法。由于这种决策分支画成图形很像一棵树的枝干，故称决策树。在机器学习中，决策树是一个预测模型，他代表的对象属性与对象值之间的一...

现在编程的主流语言基本上都是面向对象的。如C＃，C ++，JAVA。我们在使用时，已经构造了一个个的类。但是往往由于我们在类内部或外部的设计上存在种种问题，导致尽管是面向对象的语言，却是面向过程的逻辑，甚至维护起来异常困难。每次增加或修改功能都要改动很多的代码，如履薄冰。而面向对象的六大原则主要的目的，就是我们如何设计类，更能很好的利用面向对象的特性。1）单一职责原则一个类永远只有一个职责。　　一...

大数据研究的出现，为企业、研究机构、政府决策提供了新的行之有效思路和手段，想要做好大数据的管理和分析，一些大数据开发工具的使用是必不可少的，以下是大数据开发过程中常用的工具：1. Apache HiveHive是一个建立在Hadoop上的开源数据仓库基础设施，通过Hive可以很容易的进行数据的ETL,对数据进行结构化处理,并对Hadoop上大数据文件进行查询和处理等。 Hive提供了一种简...

第1章 华数大数据分析平台方案介绍1.1 华数大数据平台总体架构1.1.1 华数大数据平台应用架构  应用架构图基于华数多年来的开发经验，并借鉴行业大数据分析平台的实施、管理和应用方面的成功经验，结合禾丰牧业实际信息化情况，我们将禾丰大数据平台实际为三层架构，其中：l基础数据源层：目前禾丰牧业所应用的数据主要来源于业务系统（EAS）与平面文本文件

查询引擎一、Phoenix简介：这是一个Java中间层，可以让开发者在Apache HBase上执行SQL查询。Phoenix完全使用Java编写，代码位于GitHub上，并且提供了一个客户端可嵌入的JDBC驱动。Phoenix查询引擎会将SQL查询转换为一个或多个HBase scan，并编排执行以生成标准的JDBC结果集。直接使用HBase API、协同处理器与自定义过滤器，对于简单

目录：什么是大数据Hadoop介绍-HDFS、MR、Hbase大数据平台应用举例-腾讯公司的大数据平台架构“就像望远镜让我们能够感受宇宙，显微镜让我们能够观测微生物一样，大数据正在改变我们的生活以及理解世界的方式……”。大数据的4V特征-来源公司的“大数据”随着公司业务的增长，大量和流程、规则相关的非结构化数据也爆发式增长。比如：1、业务系统现在平均每天存储20万张图片，磁盘空间每天消耗100G；...

经常有初学者在博客和QQ问我，自己想往大数据方向发展，该学哪些技术，学习路线是什么样的，觉得大数据很火，就业很好，薪资很高。如果自己很迷茫，为了这些原因想往大数据方向发展，也可以，那么我就想问一下，你的专业是什么，对于计算机/软件，你的兴趣是什么？是计算机专业，对操作系统、硬件、网络、服务器感兴趣？是软件专业，对软件开发、编程、写代码感兴趣？还是数学、统计学专业，对数据和数字特别感兴趣

请注意：此教程是在他人基础上修改的，部分内容需要自己调整。——这也是学习使用vim的必经之路。目录1.1 vim配置（.vimrc配置）1.2 vim操作技巧1.VIM文本替换命令2. 在VIM中进行文本替换3.vim官方教程1.1 vim配置（.vimrc配置）1.下载vim（略）。让vi命令也可以使用vim的配置，需要修改 vi /etc/bashrc 增加如下...

mac  book air，Python3.6.1， 使用pip3安装 requests，在终端输入$ pip3 install requests

 初学者在windows环境下安装Python。本文希望提供傻瓜式的教程，能够令读者成功安装Python和pip。（1）我们先来安装Python，博主选择的版本是最新的3.4.2版本。windows下面的Python安装一般是通过软件安装包安装而不是命令行，所以我们首先要在Python的官方主页上面下载最新的Python安装包。下载地址是：https://www.python.org/do...