hadoop 源代码
文章平均质量分 51
手把手教你学AI
sss
展开
-
flink-1.12(一)flink-1.12 搭建
Flink-1.12(一)flink-1.12 搭建 - 简书原创 2021-11-18 00:44:34 · 912 阅读 · 0 评论 -
64位Windows下安装Redis教程
转载于:http://www.itxuexiwang.com/a/shujukujishu/redis/2016/0216/104.html?1455868495Redis对于Linux是官方支持的,安装和使用没有什么好说的,普通使用按照官方指导,5分钟以内就能搞定。详情请参考: http://redis.io/download 但有时候又想在windows下折腾下Redis,可以从re...原创 2016-03-10 14:06:28 · 100 阅读 · 0 评论 -
Redis批量删除KEY的方法
Redis 中有删除单个 Key 的指令 DEL,但好像没有批量删除 Key 的指令,不过我们可以借助 Linux 的 xargs 指令来完成这个动作。代码如下:redis-cli keys “*” | xargs redis-cli del//如果redis-cli没有设置成系统变量,需要指定redis-cli的完整路径//如:/opt/redis/redis-cli k...原创 2016-02-26 17:24:35 · 163 阅读 · 0 评论 -
Redis总结笔记(二):C#连接Redis简单例子
转载于:http://www.itxuexiwang.com/a/shujukujishu/redis/2016/0216/113.html?1455860686注:C#在调用Redis是不要使用ServiceStack.Redis驱动的4.0版本,因为这个版本已经商业化了,会出现每小时6000条数据的限制1、引用驱动代码如下: using ServiceStack.R...原创 2016-02-26 17:24:07 · 209 阅读 · 0 评论 -
Redis中5种数据结构的使用场景介绍
转载于:http://www.itxuexiwang.com/a/shujukujishu/redis/2016/0216/108.html?1455861435一、redis 数据结构使用场景原来看过 redisbook 这本书,对 redis 的基本功能都已经熟悉了,从上周开始看 redis 的源码。目前目标是吃透 redis 的数据结构。我们都知道,在 redis 中一共有5种数据...原创 2016-02-25 13:27:11 · 125 阅读 · 0 评论 -
redis中使用redis-dump导出、导入、还原数据实例
转载于:http://www.itxuexiwang.com/a/shujukujishu/redis/2016/0216/109.html?1455861283redis的备份和还原,借助了第三方的工具,redis-dump1、安装redis-dump代码如下:[root@localhost tank]# yum install ruby rubygems ruby-d...原创 2016-02-25 13:26:52 · 160 阅读 · 0 评论 -
NoSQL和Redis简介及Redis在Windows下的安装和使用教程
转载于:http://www.itxuexiwang.com/a/shujukujishu/redis/2016/0216/103.html?1455869099NoSQL简介介绍redis前,我想还是先认识下NoSQL,即not only sql, 是一种非关系型的数据存储,key/value键值对存储。现有Nosql DB 产品: Redis/MongoDB/Memcached/Hb...原创 2016-02-23 11:28:42 · 238 阅读 · 0 评论 -
Redis数据库的安装配置方
转载于:http://www.itxuexiwang.com/a/shujukujishu/redis/2016/0216/100.html?1455869650redis 是一个高性能的key-value数据库。 redis的出现,很大程度补偿了memcached这类keyvalue存储的不足,在部 分场合可以对关系数据库起到很好的补充作用。它提供了Python,Ruby,Erlang,P...原创 2016-02-23 11:27:48 · 183 阅读 · 0 评论 -
aRedis教程(十五):C语言连接操作代码实例
转载于:http://www.itxuexiwang.com/a/shujukujishu/redis/2016/0216/143.html在之前的博客中已经非常详细的介绍了Redis的各种操作命令、运行机制和服务器初始化参数配置。本篇博客是该系列博客中的最后一篇,在这里将给出基于Redis客户端组件访问并操作Redis服务器的代码示例。然而需要说明的是,由于Redis官方并未提供基于C接口...原创 2016-02-19 11:35:59 · 161 阅读 · 0 评论 -
redis启动流程介绍
转载于:http://www.itxuexiwang.com/a/shujukujishu/redis/2016/0216/114.html?14558605621. 准备运行环境* 设置oom handler,zmalloc分配内存失败时调用* 初始化随机种子,用于生成随机数* 将server参数初始化为默认值 * 创建命令与处理函数的映射表2. 解析命令行参数、lo...原创 2016-03-10 14:07:28 · 119 阅读 · 0 评论 -
Redis教程(一):Redis简介
转载于:http://www.itxuexiwang.com/a/shujukujishu/redis/2016/0216/130.html?1455808419一、简介:在过去的几年中,NoSQL数据库一度成为高并发、海量数据存储解决方案的代名词,与之相应的产品也呈现出雨后春笋般的生机。然而在众多产品中能够脱颖而出的却屈指可数,如Redis、MongoDB、BerkeleyDB和...原创 2016-03-11 12:12:08 · 112 阅读 · 0 评论 -
黑马程序员_java08_多线程
转载于:http://www.itxuexiwang.com/plus/view.php?aid=148线程是程序中可以并行执行的任务。 java运行系统总是选当前优先级最高的处于就绪状态的线程来执行。如果几个就绪线程有相同的优先级,将会用时间片方法轮流分配处理机。 进程与线程的区别 进程属于一个独立的运行程序,线程是程序里面的一个分支。许多个线程组成一个程序的运行。 创建线程的两种方式 (1...原创 2016-03-13 13:01:57 · 140 阅读 · 0 评论 -
Redis教程(十):持久化详解
转载于:http://www.itxuexiwang.com/a/shujukujishu/redis/2016/0216/137.html一、Redis提供了哪些持久化机制: 1). RDB持久化: 该机制是指在指定的时间间隔内将内存中的数据集快照写入磁盘。 2). AOF持久化: 该机制将以日志的形式记录服务器所处理的每一个写操作,在...原创 2016-03-15 15:44:55 · 121 阅读 · 0 评论 -
Redis教程(七):Key操作命令详解
转载于:http://www.itxuexiwang.com/a/shujukujishu/redis/2016/0216/134.html?1455807040一、概述: 在该系列的前几篇博客中,主要讲述的是与Redis数据类型相关的命令,如String、List、Set、Hashes和Sorted-Set。这些命令都具有一个共同点,即所有的操作都是针对与Key关联的V...原创 2016-03-15 15:44:25 · 139 阅读 · 0 评论 -
Redis教程(二):String数据类型
转载于:http://www.itxuexiwang.com/a/shujukujishu/redis/2016/0216/131.html?1455808279一、概述: 字符串类型是Redis中最为基础的数据存储类型,它在Redis中是二进制安全的,这便意味着该类型可以接受任何格式的数据,如JPEG图像数据或Json对象描述信息等。在Redis中字符串类型的Value...原创 2016-03-15 15:44:15 · 123 阅读 · 0 评论 -
Redis教程(十三):管线详解
转载于:http://www.itxuexiwang.com/a/shujukujishu/redis/2016/0216/141.html一、请求应答协议和RTT: Redis是一种典型的基于C/S模型的TCP服务器。在客户端与服务器的通讯过程中,通常都是客户端率先发起请求,服务器在接收到请求后执行相应的任务,最后再将获取的数据或处理结果以应答的方式发送给客户端。在此过程中...原创 2016-03-15 15:43:50 · 127 阅读 · 0 评论 -
Redis教程(八):事务详解
转载于:http://www.itxuexiwang.com/a/shujukujishu/redis/2016/0216/135.html?1455806987一、概述: 和众多其它数据库一样,Redis作为NoSQL数据库也同样提供了事务机制。在Redis中,MULTI/EXEC/DISCARD/WATCH这四个命令是我们实现事务的基石。相信对有关系型数据库开发经验的...原创 2016-03-14 16:03:53 · 105 阅读 · 0 评论 -
Redis配置文件详解
转载于:http://www.itxuexiwang.com/a/shujukujishu/redis/2016/0216/126.html?1455853164果认为Redis是一个key value存储, 可以使用它来代替MySQL;如果认为它是一个可以持久化的cache, 可能只是用它保存一些频繁访问的临时数据(代替Memcached);除此之外,还可以把Redis当做一个轻量级的...原创 2016-03-14 16:03:44 · 98 阅读 · 0 评论 -
在Mac OS上安装Vagrant和Docker的教程
转载于:http://www.itxuexiwang.com/a/shujukujishu/redis/2016/0216/128.html?1455808640当听到很多人在说Docker是多么多么的棒,很多新潮的孩子都在使用它时,我决定在我的开发环境上也来尝试下。在下面的这篇文章中,我将讲解在Mac OS X怎样建立Postgres,Elasticsearch和Redis。什么...原创 2016-03-14 16:03:18 · 146 阅读 · 0 评论 -
Redis教程(四):Hashes数据类型
转载于:http://www.itxuexiwang.com/a/shujukujishu/redis/2016/0216/132.html?1455807574一、概述: 我们可以将Redis中的Hashes类型看成具有String Key和String Value的map容器。所以该类型非常适合于存储值对象的信息。如Username、Password和Age等。如果H...原创 2016-03-14 16:02:49 · 142 阅读 · 0 评论 -
Redis教程(九):主从复制配置实例
转载于:http://www.itxuexiwang.com/a/shujukujishu/redis/2016/0216/136.html一、Redis的Replication: 这里首先需要说明的是,在Redis中配置Master-Slave模式真是太简单了。相信在阅读完这篇Blog之后你也可以轻松做到。这里我们还是先列出一些理论性的知识,后面给出实际操作的案例。...原创 2016-02-19 11:35:35 · 122 阅读 · 0 评论 -
Redis教程(六):Sorted-Sets数据类型
转载于:http://www.itxuexiwang.com/a/shujukujishu/redis/2016/0216/133.html一、概述: Sorted-Sets和Sets类型极为相似,它们都是字符串的集合,都不允许重复的成员出现在一个Set中。它们之间的主要差别是Sorted-Sets中的每一个成员都会有一个分数(score)与之关联,Redis正是通过分数来为...原创 2016-02-19 11:35:22 · 133 阅读 · 0 评论 -
使用Redis实现用户积分排行榜的教程
转载于:http://www.itxuexiwang.com/a/shujukujishu/redis/2016/0216/129.html?1455808528排行榜功能是一个很普遍的需求。使用 Redis 中有序集合的特性来实现排行榜是又好又快的选择。一般排行榜都是有实效性的,比如“用户积分榜”。如果没有实效性一直按照总榜来排,可能榜首总是几个老用户,对于新用户来说,那真是太令...原创 2016-02-19 11:35:13 · 186 阅读 · 0 评论 -
WritableComparable
官方给例子 做hadoop开发的都知道 WritableComparable没有自己的方法体。 public class MyWritableComparable implements WritableComparable { // Some data private int counter; private long times...原创 2014-05-06 16:53:02 · 215 阅读 · 0 评论 -
Comparable 接口
一般和wirtable联合使用Comparable所在包为java.lang 所有实现了comparable接口的对象和玉和自身类型相同的对象比较大小。public int compareTo(T o)该方法用于this 对象和对象o进行比较 如果小于对象o返回负数 如果相同 返回0; 如果大于 则返回正数。这个很奇异 大于和小于 有什么区别。反正是不相同。...原创 2014-05-06 16:45:23 · 128 阅读 · 0 评论 -
Open Declaration org.apache.hadoop.io.Writable
]Writable序列化和反序列化。 void write(DataOutput out) throws IOException;该方法用于将对象转换为字节流并写入到输出流out void readFields(DataInput in) throws IOException;该方法用于从输入流In中读取字节流并反序列化为对象。...原创 2014-05-06 16:37:05 · 204 阅读 · 0 评论 -
dfs.datanode.failed.volumes.tolerated
protected long capacity; 数据结点的总容量 protected long dfsUsed;已经使用的空间 protected long remaining;未使用的空间 protected long lastUpdate;数据结点最后的更新时间 protected int xceiverCount; 数据结点的活动的连接数量...原创 2014-05-05 23:54:49 · 434 阅读 · 0 评论 -
HDFS如何使用多个磁盘
dfs.name.dir 与 dfs.data.dir dfs.name.dir 备多份dfs.data.dir 轮循1 fs.default.nameTo run HDFS, you need to designate (指派)one machine as a namenode. In this case, theproperty fs.default.nam...原创 2014-05-05 23:12:56 · 431 阅读 · 0 评论 -
DFSClient Packet dfs.write.packet.size
HBase 里面调用DFSOutputStream的方法常用的是:write、sync write会往当前Packet里面写数据,sync会强制生成一个Packet。在DFSClient Packet里面每次都会new 一个 big byte array,size 是65557(more than 64K,data+checksum+head),由于sync会强制生成P...原创 2014-05-05 08:50:35 · 477 阅读 · 0 评论 -
HDFS------block,packet,chunk的关系
在看hdfs时,经常会碰到block,packet,chunk等概念,下面做个简要介绍:block是最大的,默认为:"fs.local.block.size", 32 * 1024 * 1024=32mpacket其次, 默认为:"dfs.write.packet.size", 64*1024=64kchunksize 默认为:"io.bytes.per.checksum"=512B...原创 2014-05-05 00:02:54 · 231 阅读 · 0 评论 -
DatanodeID
DatanodeID public String name; /// 内容存放 :“hostname:portNumber” 也可以没有端口///name 的值配置在这个 hdfs-site.xml的{dfs.datanode.address}public String storageID; /// 存放介质 不同机器存放不同介质。protected in...原创 2014-05-04 15:32:08 · 234 阅读 · 0 评论 -
org.apache.hadoop.io.RawComparator
对Comparator这个 类补充。提供了更高效的比较方法。对应m至关重要。key和key 的比较也是在排序阶段完成的。该接口允许其实现直接比较数据量中的的记录。 无需发序列化对象。该方法提供了在字节层次的比较。从而减少了序列化和反序列化带来的代价。方法名称: public int compare(byte[] b1, int s1, int l1, byte[...原创 2014-05-06 17:28:53 · 569 阅读 · 0 评论 -
WritableComparator
看完这个类,感觉设计这个类的哥们思维不清晰,有点脑残。这个类进程类RawComparator的意思是说,提供了一个两个方法 1.个是通过类比较,1个是通过类的字符流比较。当然侧重后者。 你看看里面管七八糟的方法,如果这个类别不用的方法,马上麻烦设计的大哥能不能设置成私有方法。 还有 如果通过流比较 还要把构造函数 第二参数 设置成true. 只是要备注说明吧。 ...原创 2014-05-07 15:02:00 · 564 阅读 · 0 评论 -
set hive.exec.mode.local.auto=true
0.7版本后Hive开始支持任务执行选择本地模式(local mode)。大多数的Hadoop job是需要hadoop提供的完整的可扩展性来处理大数据的。不过,有时hive的输入数据量是非常小的。在这种情况下,为查询出发执行任务的时间消耗可能会比实际job的执行时间要多的多。对于大多数这种情况,hive可以通过本地模式在单台机器上处理所有的任务。对于小数据集,执行时间会明显被缩短。 ...原创 2014-05-08 18:38:09 · 2624 阅读 · 0 评论 -
Infinispan 8 中新的 Redis 缓存存储实现
转载于:http://www.itxuexiwang.com/a/shujukujishu/redis/2016/0216/147.htmlnfinispan 8 包含了一个新的在 Redis k/v 服务器中存储缓存数据的 cache store。这个 cache store 可以把缓存数据存储在一个集中的 Redis 中,所有的 Infinispan 客户端都可以访问。Cache st...原创 2016-02-18 17:39:48 · 181 阅读 · 0 评论 -
黑马程序员_java08_多线程
转载于:http://www.itxuexiwang.com/plus/view.php?aid=148线程是程序中可以并行执行的任务。 java运行系统总是选当前优先级最高的处于就绪状态的线程来执行。如果几个就绪线程有相同的优先级,将会用时间片方法轮流分配处理机。进程与线程的区别进程属于一个独立的运行程序,线程是程序里面的一个分支。许多个线程组成一个程序的运行。...2016-02-18 16:59:35 · 234 阅读 · 0 评论 -
java框架篇---spring aop两种配置方式(1)
转载于:http://www.itxuexiwang.com/a/shujukujishu/2016/0206/81.html第一种:注解配置AOP注解配置AOP(使用 AspectJ 类库实现的),大致分为三步: 1. 使用注解@Aspect来定义一个切面,在切面中定义切入点(@Pointcut),通知类型(@Before, @AfterReturning,@After,@After...原创 2016-02-06 23:02:37 · 126 阅读 · 0 评论 -
深入理解JVM之内存区域与内存溢出
转载于:http://www.itxuexiwang.com/a/liunxjishu/2016/0205/75.html文章目录1. Java内存区域与内存溢出异常1.1. 运行时数据区域1.1.1. 程序计数器1.1.2. java虚拟机栈1.1.3. 本地方法栈1.1.4. Java堆(Java Heap)1.1.5. 方法区...原创 2016-02-05 21:52:33 · 112 阅读 · 0 评论 -
JVM 并发性: Java 和 Scala 并发性基础(1)
转载于:转载于:[url]http://www.itxuexiwang.com/a/javajishu/jvm_jdk_yuanmafenxi/2016/0129/50.html?1454076380[/url]处理器速度数十年来一直持续快速发展,并在世纪交替之际走到了终点。从那时起,处理器制造商更多地是通过增加核心来提高芯片性能,而不再通过增加时钟速率来提高芯片性能。多核系统现在成为了从...原创 2016-01-29 22:07:34 · 213 阅读 · 0 评论 -
UDF 底层实现
用户自定义函数继承UDF,重写evaluate方法即可 以 length 为例例子如下import org.apache.hadoop.hive.ql.exec.UDF;public class MD5Hash extends UDF {public String evaluate(String in) {// 请在此实现}}hive 怎么调用呢h...原创 2017-01-04 00:03:20 · 367 阅读 · 0 评论