- 博客(13)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 DL research motivation
Hal Daume III wrote a great piece about this issue. Here's an excerpt:[...] There are lots of ways to be better than such a baseline, and so "beating" it does not teach me anything. I always tell st...
2017-06-24 16:29:16
208
原创 2015impala roadmap
2015impala 发表的论文提到impala的roadmap1.新增SQL支持，包括minus、intersect；rollup和grouping set操作；动态分区裁剪；date、time、datetime类型的支持；增加对structs, arrays, maps等复杂类型的支持。2.性能增强。节点内部的join并行、聚合、排序，以及更为广泛的利用运行时代码生成（LLVM）技术来...
2016-03-07 16:58:57
228
原创 hive二级分区
几年前的工作了，放在草稿箱2，3年了，整理一下吧。内容主要是扩展了hive的分区方式，原生的hive支持多字段等值分区，对于很有用的range、hash、list等数据库传统的分区方式不支持，因此这个做了二级的多类分区的扩展。这里只是antlr的定义，显然你还需要在查询、存储层做更多的工作来支持这种分区工作，量还是不小的，我们的工作不具参考性，这里只列一下sql解析的修改，给大家做...
2016-03-04 15:43:24
1158
原创 vldb2015 Balazinska关于大数据研究的报告
2015 vldb会议上，华盛顿大学的Magdalena Balazinska 做了一篇报告，主题很有意思，是关于学术界如何继续大数据研究的问题。报告列列举了VLDB历年会议上传统数据库领域经典问题的论文，说出了目前大多数做研究的人的感觉：好像问题都被研究完了，让工业界接手做好工程实现就好了。作者否认了这个观点，并且认为学术界可以在基础层面做更多的研究贡献。一个很大的问题是几乎所有...
2016-03-04 15:34:44
244
原创 reahat下tora的安装
安装tora需要先安装oracle client（或者oracle）其次tora的编译还需要安装：qt：包括qscintilla，qscintilla-designer，qscintilla-levellibutempter：包括libutempter，libutempter-devel以上资源可以通过下面的链接获得：http://rpm.pbone.net/index.php3/...
2016-03-04 14:39:47
214
原创 ubuntu 安装thrift0.9
首先到：http://archive.apache.org/dist/thrift/0.9.0/下载thrift-0.9.0.tar.gz 解压安装依赖：[code="java"]sudo apt-get install python-dev automake libtool flex bison pkg-config g++[/code]配置：[code="jav...
2013-09-13 10:46:59
208
原创 Stinger
Hortonworks 3月发布了其产品 Stinger ，其中最重要的一个特性就是对Hive做了性能优化。测试表明，其速度是原生Hive的45倍。 Stinger 建立在Hadoop2.0基础上，采用了两类技术提高性能：1.Apache Tez：Tez是Apache的一个通用、高可定制的编程框架，可以同时优化对小规模、低延迟和大规模、高吞吐的作业负载的处理过程，效率提升超过Hive和...
2013-06-25 23:00:18
575
原创 thrift嵌套编译错误
定义[code="java"]struct FieldSchema { 1: string name, // name of the field 2: string type, // type of the field. primitive types defined above, specify list, map for lists & maps 3: string ...
2013-05-05 09:58:47
1605
原创 ANTLR的一些错误解决方案
antlr书写和编译的典型错误：[b]错误1：[/b][code="java"]2013-04-27 16:34:53,116 ERROR ql.Driver (SessionState.java:printError(401)) - FAILED: RewriteEmptyStreamException token valueListorg.antlr.runtime.tree....
2013-04-27 17:19:36
1830
原创 运维工程师新人培训材料（zz）
作为师兄，给刚毕业的新人整理的新人培训材料。主要包括四个部分：OS、Web、JVM和Biz，请参考： 1 OS相关参考资料《Red Hat Enterprise Linux系统管理》 SA必读，里面的知识务必掌握，实验也都敲一边。更多参考资料：1) 《sed与awk》里面脚本可以大大提高工作效率。 参考URL：http://vdisk.we...
2012-03-23 13:23:20
393
原创 LSH Algorithm and Implementation
LSH Algorithm and Implementation (E2LSH)Locality-Sensitive Hashing (LSH) is an algorithm for solving the (approximate/exact) Near Neighbor Search in high dimensional spaces. On this webpage, you w...
2012-03-14 00:09:46
218
原创 hive中antlr语法文件的编译
最近项目需要想用到hive中antlr的sql语法解析做二次开发，之前看hive源码的时候编译过，也遇到不少问题，现在居然忘了，看来好记性不如烂笔头，差记性就更加得多写写了。编译是在windows xp环境下进行的，下载所需要的文件如下：[list]antlr-2.7.7.jarantlr-3.0.1.jarstringtemplate-3.1b1.jar...
2012-01-31 15:55:17
784
2011年终总结
已经是2011的最后一天，对过去日子的得失总需要总结：1.技术成长有限，虽然也看了很多东西，缺乏系统和周期性的梳理总结，这样比较吃亏，很多知识需要这样的累积过程才会有质变，新的一年坚持写技术文章，多思考；2.毕业找工作定了，准备很中途笔面试的过程中学到很多东西，基础方面数据结构、算法、语言通过和面试官的交流有一些提高，通过面试不同领域的公司也大概了解各个公司的发展方向、技术特点、企业文化。...
2011-12-31 11:46:42
107
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人