- 博客(69)
- 资源 (10)
- 收藏
- 关注
RSS订阅转载 Hadoop Shell命令
命令基本格式:hadoop fs -cmd 1.lshadoop fs -ls /列出hdfs文件系统根目录下的目录和文件hadoop fs -ls -R /列出hdfs文件系统所有的目录和文件2.puthadoop fs -put local file > file >hdfs file的父目录一定要存在，否则命令不会执行
2017-12-15 10:17:55
170
转载 inux命令：ps命令
Linux中的ps命令是Process Status的缩写。ps命令用来列出系统中当前运行的那些进程。ps命令列出的是当前那些进程的快照，就是执行ps命令的那个时刻的那些进程，如果想要动态的显示进程信息，就可以使用top命令。要对进程进行监测和控制，首先必须要了解当前进程的情况，也就是需要查看当前进程，而 ps 命令就是最基本同时也是非常强大的进程查看命令。使用该命令可以确定有哪些进程正在
2017-12-15 10:10:15
213
转载 使用国内maven源编译java以及sbt
java项目依赖管理如果用了maven就so easy,但是maven默认连接国外的maven源,非常慢,最近几天试着用了不同的源,总结一下1. 使用内网源如果公司内部有靠谱的源,用内网速度最快了,没的说,but 如果内网源不给力,就悲剧了2. os china 源os china 貌似曾经是国内最好的maven源,but现在http://maven.oschina.net/help.ht
2017-12-14 17:16:50
407
转载 使用Intellij Idea编写Spark应用程序（Scala+SBT）
对Scala代码进行打包编译时，可以采用Maven，也可以采用SBT，相对而言，业界更多使用SBT。之前有篇博客我们介绍了使用Intellij Idea编写Spark应用程序(Scala+Maven)，采用的是Maven工具。今天这篇博客同样是使用Intellij Idea编写Spark应用程序，但是使用的是SBT工具。下面开始我们的教程。运行环境Ubuntu 16.04S
2017-12-14 16:11:28
3669
转载 spark的安装和使用
spark最近出了2.0版本，其安装和使用也发生了些许的变化。笔者的环境为：centos7. 该文章主要是讲述了在centos7上搭建spark2.0的具体操作和spark的简单使用，希望可以给刚刚接触spark的朋友一些帮助。 按照惯例，文章的最后列出了一些参考文献，以示感谢。下面我们就来看一下spark的安装。spark的依赖环境比较多，需要Java JDK、hadoop的支持
2017-12-14 10:02:15
278
转载 Java用webSocket实现tomcat的日志实时输出到web页面
1.场景需求后台攻城狮和前端攻城狮一起开发时，经常受到前端攻城狮的骚扰，动不动就来一句，那谁，帮我看一下接口访问出什么错了。。。我刚刚上传的参数过来了吗。。。你返回的是什么。。。我请求过去了吗。。。 好吧，就是这样的一种情况，然后我希望让他们自己去看后台日志，而又不想给他们登陆服务器的权限TAT。那就想办法把访问日志实时输出到web页面，这样他们打开页面就可以了。2.特别鸣谢
2017-12-12 10:16:35
732
转载 Flume NG 简介及配置实战
Flume 作为 cloudera 开发的实时日志收集系统，受到了业界的认可与广泛应用。Flume 初始的发行版本目前被统称为 Flume OG（original generation），属于 cloudera。但随着 FLume 功能的扩展，Flume OG 代码工程臃肿、核心组件设计不合理、核心配置不标准等缺点暴露出来，尤其是在 Flume OG 的最后一个发行版本 0.94.0 中，日志传输
2017-12-11 15:24:16
365
转载 Hadoop安装教程_单机/伪分布式配置_CentOS6.4/Hadoop2.6.0
本教程适合于在 CentOS 6.x 系统中安装原生 Hadoop 2，适用于Hadoop 2.7.1, Hadoop 2.6.0 等版本，主要参考了官方安装教程，步骤详细，辅以适当说明，相信按照步骤来，都能顺利在 CentOS 中安装并运行 Hadoop。本 Hadoop 教程由给力星出品，转载请注明。环境本教程使用 CentOS 6.4 32位 作为系统环境，请自行
2017-12-08 17:18:21
306
转载 《ApacheFlume教程》第九章 如何配置Flum
摘要: 我们要配置源，信道，并使用在配置文件中下沉的conf文件夹中。这一章中给出的示例使用阿帕奇水槽提供一个实验源名为Twitter的1％流水内存通道和HDFS下沉。 Twitter1％Firehose来源 这个源是高度实验性的。 ... 我们要配置源，信道，并使用在配置文件中下沉的conf文件夹中。这一章中给出的示例使用阿帕奇水槽提供一个实验源
2017-12-08 16:42:03
354
转载 《ApacheFlume教程》第八章 Flum中HDFS如何启动
摘要: 因为我们将数据存储在HDFS中，我们需要安装/验证Hadoop。启动Hadoop并在其中创建一个文件夹来存储Flume数据。配置Flume之前，请按照以下步骤操作。 步骤1：安装/验证Hadoop 安装Hadoop的。如果系统中已经 ... 因为我们将数据存储在HDFS中，我们需要安装/验证Hadoop。启动Hadoop并在其中创建一个文件
2017-12-08 16:38:37
313
转载 《ApacheFlume教程》第七章 Flume如何启动代理
摘要: 配置后，我们必须启动Flume代理。它做到如下- 其中- 代理?-命令启动水槽剂 --conf，-cCONF?-在conf目录使用配置文件 -f文件?-指定配置文件路径，如果失踪 --name，-n名?-Twitter的代理的名称 ... 配置后，我们必须启动Flume代理。它做到如下- 其中-
2017-12-08 16:33:02
584
转载 《Apache Flume教程》第六章 Flum的配置和使用方法
摘要: 安装水槽后，需要使用配置文件，该文件是具有Java属性文件来配置它的键值对。我们需要将值传递给文件中的键。 在Flume配置文件中，我们需要- 命名当前代理的组件。 描述/配置源。 描述/配置接收器。 ... 安装水槽后，需要使用配置文件，该文件是具有Java属性文件来配置它的键值对。我们需要将值传递给文件中的键。 在Fl
2017-12-08 16:30:48
495
转载 《Apache Flume教程》第五章 Flume的使用环境
摘要: 我们已经在前一章讨论了Flume的架构。在本章中，让我们看看如何下载和设置ApacheFlume。 在继续进行之前，您需要在系统中有一个Java环境。因此，首先，确保您在系统中安装了Java。对于本教程中的一些示例，我 ... 我们已经在前一章讨论了Flume的架构。在本章中，让我们看看如何下载和设置ApacheFlume。 在
2017-12-08 16:15:18
430
转载 《Apache Flume教程》第四章 Flume数据库数据流
摘要: Flume是一个用于将日志数据移动到HDFS的框架。通常，事件和日志数据由日志服务器生成，并且这些服务器具有在其上运行的Flume代理。这些代理从数据生成器接收数据。 在这些试剂中的数据将通过被称为中间节点收 ... Flume是一个用于将日志数据移动到HDFS的框架。通常，事件和日志数据由日志服务器生成，并且这些服务器具有在
2017-12-08 11:58:35
370
转载 《Apache Flume教程》第三章 Flume是如何组成的？
摘要: 下图说明了Flume的基本架构。正如图中所示，数据生成器（如Facebook，Twitter等）产生它获取由个体水槽收集的数据代理在其上运行。此后，数据收集器（这也是一个代理）收集从其中被聚合并推入集中存储诸如HDFS或 ... 下图说明了Flume的基本架构。正如图中所示，数据生成器（如Facebook，Twitter等）产生它获取由个体水槽
2017-12-08 11:55:17
251
转载 《Apache Flume教程》第二章 Hadoop中的数据传输
摘要: 大数据，因为我们知道，是不能用传统的计算技术来处理大型数据集的集合。大数据在分析时给出了宝贵的结果。Hadoop的是一个开源框架，允许存储和跨中使用简单的编程模型的计算机集群的分布式环境中处理大数据。 ... 大数据，因为我们知道，是不能用传统的计算技术来处理大型数据集的集合。大数据在分析时给出了宝贵的结果。Hadoop的是一
2017-12-08 11:51:44
235
转载 《Apache Flume教程》第一章 Flume 的简介
摘要: Flume是一个标准，简单，强大，灵活和可扩展的工具，用于从各种数据生产者（网络服务器）到Hadoop的数据摄取。在本教程中，我们将使用简单和说明性的示例来解释ApacheFlume的基本知识以及如何在实践中使用它。 ... Flume是一个标准，简单，强大，灵活和可扩展的工具，用于从各种数据生产者（网络服务器）到Hadoop的数据摄取。在本
2017-12-08 11:45:43
429
转载 基于Docker搭建Hadoop集群之升级版
一. 项目介绍将Hadoop打包到Docker镜像中，就可以快速地在单个机器上搭建Hadoop集群，这样可以方便新手测试和学习。如下图所示，Hadoop的master和slave分别运行在不同的Docker容器中，其中hadoop-master容器中运行NameNode和ResourceManager，hadoop-slave容器中运行DataNode和NodeManager。
2017-12-07 17:09:26
346
转载 Nginx、tomcat访问日志准实时分析统计--goaccess
需求：及时得到线上用户访问日志分析统计结果，以便给开发、测试、运维、运营人员提供决策！找了各种工具，最终还是觉得goaccess不仅图文并茂，而且速度快，每秒8W 的日志记录解析速度，websocket10秒刷新统计数据，站在巨人肩膀上你也会看得更远…先上图： 具体方案如下步骤： 一、linux上安装goaccess（版本 1.1.1，一般安装在nginx所在机器上的/op
2017-12-05 14:46:27
559
原创 mavne spring 打包jar 执行
现在基本上都是采用maven来进行开发管理，我有一个需求是需要把通过maven管理的java工程打成可执行的jar包，这样也就是说必需把工程依赖的jar包也一起打包。插件名称为：maven-shade-plugin，shade插件打包时在对spring.schemas文件处理上，它能够将所有jar里的spring.schemas文件进行合并，在最终生成的单一jar包里，spring.schemas
2017-11-24 10:44:30
484
转载 最新 Spring 4.2.2 集成 Quartz Scheduler 2.2.2 任务调度示例
本文将演示如何通过 Spring 使用 Quartz Scheduler 进行任务调度。Spring 为简化 Quartz 的操作提供了相关支持类。本文示例使用的相关工具如下：Spring 4.2.2 (发布于 2015 年 10 月)Quartz Scheduler 2.2.2 (发布于 2015 年 10 月)Maven 3JDK 1.7Eclipse Luna Service
2017-11-15 17:54:55
248
转载 Mac OS安装Scrapy
个人觉得掌握简单的爬虫知识非常有用，特别是想要从一些特定网站自动地下载一些资源或者统计一些数据，非常的有用。对于产品经理来说，如果要了解竞争产品、替代产品的价格，可以写一个爬虫脚本从各大电商网站爬取相关的资料，避免人工处理的麻烦。Python写爬虫可以从简单的Scrapy框架入手。对于Mac OS系统来说，由于系统本身会引用自带的python2.x的库，因此默认安装的包是不能被删除的。如果
2017-11-08 11:41:21
225
转载 Docker 加速器
Docker加速器使用时不需要任何额外操作。就像这样下载官方Ubuntu镜像实际操作(添加镜像源）：在 /etc/sysconfig/docker下添加两条命令123other_args="--registry-mirror=http://74ecfe5d.m.daocloud.io"OPTIO
2017-10-17 18:22:27
353
转载 使用nginx与nginx-rtmp-module搭建流媒体服务器
本次搭建流媒体使用的环境是centos 7.0+nginx；让我们一起开始奇妙的流媒体之旅吧！1、下载nginx-rtmp-module：nginx-rtmp-module的官方github地址：https://github.com/arut/nginx-rtmp-module使用命令：[php] view pla
2017-10-17 15:57:18
265
转载 CentOS6.x 安装 Docker 和 Docker Compose
零、前言本来，对于 CentOS 系列，Docker 官方要求要 CentOS7.0 及以上系统版本，但是有时候迫不得已，还是要在已有的 CentOS6.x 的系统上安装。比如我遇到的：要在一台已有的 CentOS6.5 的服务器上部署一个 Java 应用，该 Java 应用基于 Java8 和 Mysql5.6 开发，都用到了相应的特性。但是，已有的 CentOS6.5 上已经在
2017-10-17 15:51:45
362
原创 使用 Docker 一步搞定 ZooKeeper 集群的搭建
背景原来学习 ZK 时, 我是在本地搭建的伪集群, 虽然说使用起来没有什么问题, 但是总感觉部署起来有点麻烦. 刚好我发现了 ZK 已经有了 Docker 的镜像了, 于是就尝试了一下, 发现真是爽爆了, 几个命令就可以搭建一个完整的 ZK 集群. 下面我简单记录一下使用 Docker 搭建 ZK 集群的一些步骤.镜像下载hub.docker.com 上有不少 ZK 镜像,
2017-10-13 11:53:09
3779
转载 CentOS 7.0安装配置vsftp服务器
一、配置防火墙，开启FTP服务器需要的端口CentOS 7.0默认使用的是firewall作为防火墙，这里改为iptables防火墙。1、关闭firewall：systemctl stop firewalld.service #停止firewallsystemctl disable firewalld.service #禁止firewall开机启动2、安装i
2017-09-12 16:52:39
265
转载 liunx WordPress 安装（超详细）
需要一台服务器（文章介绍了购买vultr服务器的流程，如果已买服务器请忽略）一个域名，直接通过ip访问好傻好傻的样子，哈哈。linux知识肯折腾具体步骤购买服务器以Xshell为例。下载安装Xshell，官网链接。安装完成后新建会话（Alt+N）。依次填写图中信息。名称可以是Vultr或者其他，协议选择SSH，主机填写之前的IP Address，端口号选择22。
2017-09-12 14:34:12
3792
4
jaspersoft4.5.0教程
2012-11-14
ireport jaspersoft4.5
2012-11-14
MongoDB应用设计（高清PDF）
2017-09-20
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人