- 博客(15)
- 资源 (1)
- 收藏
- 关注
原创 docker:nodejs :git:EC2:ubuntu <网站发布!>
How to Set Up a Node.js Web Server on Amazon EC2 【under ubuntu of EC2】 ssh-keygen -C "**@**.com" ssh -T git@github.com mkdir zhcwebsite ssh -T git@github.com git config --global user.name "**" gi
2015-09-29 15:43:05
434
原创 docker 构建网站初探
1: 查看已有镜像 docker images 2: 运行已有镜像【这里必须是 双斜线】 docker run --rm -ti ubuntu //bin/bash 开启新的一个docker terminal, ipconfig //查看host ip docker ps //查看运行的container docker inspect |grep Gateway //得到
2015-09-28 15:08:00
371
原创 Docker on Windows--Installation Problems
【1】 Failed to start machine boot2docker-vm exit status:1a) Enabled VT-x in your BIOS b) Replace uxtheme.dll under windows\system32 if your win7 OS are not legal copy. see here【2】start.sh: line 36: cd
2015-09-22 22:03:18
1466
翻译 hadoop/Spark Locality
以Spark为例,我们调用hadoopRDD = sc.textFile(path)告诉Spark开始读取path中的数据。这个path可能是一个本地文件路径,更常见的是HDFS路径。 为了分布式 处理的要求,hadoopRDD通常情况下是被切分的。那么,其partition的信息来自何处呢?答案就是HDFS中的split,更确切的说是 FileSplit,其在FileInputFormat中被用
2015-09-22 02:21:45
497
翻译 架构基础
代理服务器是介于客户端和Web服务器之间的另一台服务器; 代理服务器对外就表现为一个反向代理服务器; 当客户机向站点提出请求时,请求将转到代理服务器。 然后,代理服务器通过防火墙中的特定通路,将客户机的请求发送到内容服务器。 内容服务器再通过该通道将结果回传给代理服务器app.get相当于在服务器注册了一个监听get请求事件的侦听器,当请求的URL满足第一个参数时,执行后面的回调函数,该过程是异步
2015-09-04 01:34:54
350
翻译 基础知识 -- (编程语言)
1.同步与异步 同步和异步关注的是消息通信机制 (synchronous communication/ asynchronouscommunication); 同步需要等待返回结果才能继续, 异步不必等待,一般需要监听异步的结果 所谓同步,就是在发出一个调用时,在没有得到结果之前,该调用就不返回。但是一旦调用返回,就得到返回值了。 换句话说,就是由调用者主动等待这个调用的结果 var output
2015-09-01 06:54:40
376
翻译 SVM基础及java源码实现
当权重向量是单位向量时,几何间隔就是函数间隔! 最速下降法/steepest descent,牛顿法/newton,共轭方向法/conjugate direction,共轭梯度法/conjugate gradient 及其他 【1】最速下降法(或:梯度法) 最速下降法(梯度下降法)只用到了梯度信息,即目标函数的一阶导数信息, 【2】牛
2015-05-24 11:50:00
4349
1
原创 HBase 批量导入测试
导入方法1. 采用mapreduce, 在mapper里按行产生Put, 然后用HTable.put, 不用reducer. 测试性能不忍直视, 直接排除。 导入方法2. 采用mapreduce, 先生成HFile, 再用LoadIncrementalHFiles. 用时1小时50分钟,才完成map 100% reduce 48%,实在不想跑下去了。 过程中map task共有152个, 但r
2015-04-22 02:49:02
552
翻译 分布式 文件管理系统
基础知识篇: 文件储存在硬盘上,硬盘的最小存储单位叫做"扇区"(Sector)。每个扇区储存512字节(相当于0.5KB), 操作系统读取硬盘的时候,是一次性读取一个"块"(block)。这种由多个扇区组成的"块",是文件存取的最小单位。"块"的大小,最常见的是4KB,即连续八个 sector组成一个 block。 储存文件元信息的区域就叫做inode,中文译名为"索引节点"。包含:
2015-04-10 07:28:14
867
翻译 DataBase 基础知识
Hash Join 在Oracle中的操作如下: 1. 首先,由于内存无法放下所有的hash table内容,那么就会导致有的hash bucket放在内存里,有的hash bucket放在磁盘上,但不管放在哪里,Oracle使用一个bitmap结构来反应这些bucket的状态,包括位置和是否有数据在里面。
2015-03-19 15:07:50
461
翻译 Spark Streaming 再学习
Hadoop的批处理系统是这样的: Apache Flume基于最优的HDFS块大小(64MB)将文件写入到每小时的桶中每天定时执行MapReduce (Scalding) 任务N次Apache Sqoop将结果移入数据仓库延迟是~1小时之后,加上Hadoop的处理时间 Spark流式数据处理解决方案: Flume将点击流数据写入HDFSSpark每5秒钟从HDFS上读取数据输出到一
2015-03-18 14:55:06
258
翻译 Scala 学习杂记
Java 中 静态成员是对应类的,所以既可以通过对象名,也可以通过类名访问,但不能访问非静态方法或变量;位于“数据区”,无论多少个对象该变量在内存中都只有一份; Java中非静态成员是对应对象的,每个对象都会有一个,所以只能通过对象名引用;位于“堆空间”,每new一个对象创建一份,因此有多少个对象该变量在内存就有多少份; scala中没有静态方法和属性,全部由singleton object(
2015-02-17 00:37:56
367
转载 读 【99%的海量数据处理面试题】 个人理解与归纳
处理海量数据六大方法【原文】: 分而治之/hash映射 + hash统计 + 堆/快速/归并排序;双层桶划分Bloom filter/Bitmap;Trie树/数据库/倒排索引;外排序;分布式处理之Hadoop/Mapreduce 【0】从set/map谈起得基本数据结构类型、分类与特点 STL(Standard Template Library): 序列容器:
2014-12-07 22:30:15
425
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人