云计算
数据饕餮
高级数据产品专家,人工智能等前沿技术领域探索者,15年+一线IT行业经验,主要从事金融、互联网广告和电商行业数据产品建设。
展开
-
大数据应用之Windows平台Hbase客户端Eclipse环境搭建-Java版
大数据的场景下,NoSql型数据库的优势不言而喻,但是涉及NoSQL数据库的实际动手开发的东西多是Linux平台,大多语焉不详,至于Windows平台介绍的东西就更少了,而且大多无法运行。本文就Windows平台基于Eclipse搭建Hbase环境客户端开发环境做一个介绍。另外基于Thrift实现的Windows版本Hbase客户端库也做了封装,有需要的可以留言索取。原创 2013-07-18 09:22:30 · 1776 阅读 · 2 评论 -
Hadoop文件系统支持释疑之S3
Hadoop版本提供了对多种文件系统的支持,但是这些文件系统是以何种方式实现的,其实现原理是什么以前并没有深究过。今天正好有人咨询我这个问题:Hadoop对S3的支持原理是什么?特此总结一下原创 2014-01-03 17:24:10 · 4916 阅读 · 0 评论 -
Hadoop高级培训课程大纲-管理员版
一、课程概述本次培训课程主要面向大数据系统管理人员和开发设计人员,基于开源社区大数据应用最活跃的Hadoop和HBase技术框架。围绕分布式文件存储(HDFS)、分布式并行计算(Map/Recue)和非关系型数据库(NoSql)三个大数据核心应用展开,旨在帮助培训对象建立起完整的大数据理论基础框架和实践操作能力。主要课程内容包括:1.大数据应用发展史;2.分布式文件系统HDFS原理与架原创 2013-12-24 10:27:36 · 1103 阅读 · 0 评论 -
Hadoop高级培训课程大纲-开发者版
一、课程概述本次培训课程主要面向大数据系统管理人员和开发设计人员,基于开源社区大数据应用最活跃的Hadoop和HBase技术框架,围绕分布式文件存储(HDFS)、分布式并行计算(Map/Recue)和非关系型数据库(NoSql)三个大数据核心应用展开,旨在帮助培训对象建立起完整的大数据理论基础框架和实践操作能力。主要课程内容包括:1.大数据应用发展史;2.分布式文件系统HDFS原理与架原创 2013-12-24 10:28:23 · 1408 阅读 · 0 评论 -
通用网络信息采集器(爬虫)设计方案
Heritrix3.X与1.X版本变化比较大,基于此带来的Extractor定向扩展方法也受到影响,自定义扩展方面因为接口的变化受阻,从而萌生了通用网络信息采集器设计的想法。一直没有一个好的网络信息采集器,必须能够适应下载对象的多样性和下载内容的复杂性。比如需要同时下载100多家主流媒体的新闻信息,并解析入库等。本文围绕通用网络信息采集器的设计展开。原创 2014-01-08 15:20:15 · 2652 阅读 · 0 评论 -
大数据工具篇之Hive与MySQL整合完整教程
Hive元数据存储可以放到RDBMS数据库中,本文以Hive与MySQL数据库的整合为目标,详细说明Hive与MySQL的整合方法。原创 2014-01-10 13:13:02 · 2369 阅读 · 0 评论 -
Hadoop专业解决方案-第一章 大数据和Hadoop生态圈
本章节由《Hadoop专业解决方案群:313702010》翻译小组完成,为小组校验稿,已经通过小组内部校验通过,特此面向网络征集意见,如果对本章节内容有任何异议,请在评论中加以说明,说明时,请标明行号,也可以以修订的方式,发送给我。非常感谢。原创 2014-01-21 17:11:34 · 2786 阅读 · 0 评论 -
论战大数据----胖子哥的PK之旅(一)
胖子哥(1106110976) 9:35:36 http://www.cnblogs.com/hadoopdev/p/3531963.htmlnosqlt数据库-肖(380594863) 9:38:05 理论啊,没啥干货。10:49:04彼岸蔷薇加入本群nosqlt数据库-肖(380594863) 10:51:11 寂静的群啊厂商联盟李光伟(7854251) 1原创 2014-01-24 12:37:18 · 1626 阅读 · 0 评论 -
Hadoop专业解决方案-第13章 Hadoop的发展趋势
一、前言: 非常感谢Hadoop专业解决方案群:313702010,兄弟们的大力支持,在此说一声辛苦了,经过两周的努力,已经有啦初步的成果,目前第13章 Hadoop的发展趋势小组已经翻译完成,在此对:hbase-深圳-18361、旅人AQUARION表示感谢。二、意见征集: 本章节由《Hadoop专业解决方案群:313702010》翻译小组完成,为小组校验稿,已经通过小组内部校验原创 2014-01-20 10:24:48 · 2267 阅读 · 0 评论 -
胖子哥的大数据之路(四)- VisualHBase功能需求框架
大数据在结构化数据存储方面的应用需求越来越明确,但是大数据环境下辅助开发工具的不完善,给数据库管理人员和开发人员带来的不变难以言表,基于此创建了开源项目VisualHBase,同时创建了VisualHBase的开发群:263505724,希望能够借助社区的力量,解决大数据企业实施的瓶颈。原创 2014-02-20 11:51:25 · 1450 阅读 · 0 评论 -
断篇-大数据金融行业企业应用几点思考
一、数据挖掘的价值体现 任何数据分析或者挖掘的项目都不会直接产生经济价值和意义,分析出的数据结果既不能给企业直接带来一个客户,也不能帮助企业卖出一件产品。数据分析的价值体现在于业务部门根据分析结果制定相关的经营策略并贯彻执行。二、大数据之困-通道 大数据之困-如何打通底层数据存储到上层数据服务的通道问题,讲成为制约大数据发展的关键因素。当越来越多的人意识到大数据的未来在应用的时候,原创 2013-12-17 07:43:42 · 1045 阅读 · 0 评论 -
互联网已死-大数据的未来在哪里?
1.互联网已死。2.大数据应用演进路线图。3.传统行业的数据优势。4.大数据的落地实施。大数据必须走一条与传统行业相结合的道路,具体涉及到实施和项目落地,最为关键的一点,就是要一个大数据技术思维+传统行业的业务思维来做实施。结合和改进传统BI的思维方式。大数据的实施,不走寻常路,只是因为脚崴了;回归现实才是天使,无论她是脸着地,还是脚着地,她都是天使。原创 2013-11-26 07:22:41 · 1799 阅读 · 0 评论 -
Hadoop专业解决方案之构建Hadoop企业级应用
1.传统应用的基础设施是基于传统数据库访问模式设计的,它不支持Hadoop;2.数据存储在Hadoop之上,实时访问集群中部分数据是可行的;3.Hadoop大数据存储能力使得你可以存储数据集的多个版本,来挑战传统覆写数据方式。原创 2013-11-23 08:27:29 · 1866 阅读 · 0 评论 -
大数据应用之双色球算奖平台总体设计数据规模估算篇
到底什么是大数据呢?选择双色球算奖作为大数据应用的切入点是否合适呢?然后就是让我诧异的1分钟理论很是吓了我一跳的。 说一下自己的理解吧,大数据是指那些很大的数据集,大到传统的数据库软件工具已经无法采集、存储、管理和分析。大数据既有存储规模方面的考虑,同时也涉及到分析计算规模的考虑。之所以选择双色球算奖平台作为大数据应用的案例,也正是考虑到这两个方面的问题。其一,历史投注明细信息的存储,如果采用传统的关系型数据库,肯定是不合适,无论是分区还是分表,都无法解决根本问题。其二、当前投注规模的情况下,进行快速算原创 2013-07-18 09:26:11 · 3000 阅读 · 0 评论 -
基于Hadoop开发网络云盘系统架构设计方案第一稿
云计算技术的发展,各种网络云盘技术如雨后春笋,层出不穷,百度、新浪、网易都推出了自己的云盘系统,本文基于开源框架Hadoop设计实现了一套自己的网络云盘系统,方案为初步设计方案,不断完善中。原创 2013-08-28 16:07:36 · 3381 阅读 · 2 评论 -
基于Hadoop开发网络云盘系统客户端界面设计初稿
本文是《基于Hadoop开发网络云盘系统架构设计方案》的第二篇,针对界面原型原本考虑有两个方案:1、类windows模式,文件夹、文件方式,操作习惯完全按照Windows方式进行,提供右键菜单管理命令。2.浏览列表式,提供常规界面按钮式命令。本文采用的方式是文件清单列表式,至于第一种方式,另列专题进行说明。原创 2013-09-02 17:51:04 · 1665 阅读 · 0 评论 -
HBase Shell输入命令无法删除问题解决技巧
HBase Shell输入命令无法删除问题解决技巧原创 2013-10-08 17:10:42 · 4435 阅读 · 1 评论 -
大数据应用之HBase数据插入性能优化实测教程
大数据应用之HBase数据插入性能优化实测教程原创 2013-10-09 09:35:29 · 5067 阅读 · 0 评论 -
大数据应用之HBase数据插入性能优化之多线程并行插入测试案例
上篇文章提起关于HBase插入性能优化设计到的五个参数,从参数配置的角度给大家提供了一个性能测试环境的实验代码。根据网友的反馈,基于单线程的模式实现的数据插入毕竟有限。通过个人实测,在我的虚拟机环境下,单线程插入数据的值约为4w/s。集群指标是:CPU双核1.83,虚拟机512M内存,集群部署单点模式。本文给出了基于多线程并发模式的,测试代码案例和实测结果,希望能给大家一些启示。原创 2013-10-10 23:09:21 · 3042 阅读 · 1 评论 -
Java技术专题之JVM逻辑内存回收机制研究图解版
(1)JVM内存回收的触发机制是什么?(2)JVM内存回收真的是安全的吗?(3)JVM会出现内存泄露吗?原创 2013-10-13 11:29:55 · 1485 阅读 · 0 评论 -
一张图测试你的Hadoop能力-Hadoop能力测试图谱
大数据是一种信仰,我们一起努力吧。相信这两张图,能改变很多Hadoop从业者的命运。好文要顶,看贴要回,动手测一次吧,这是一次可以改变你命运的机会,张开双臂,让我来迎接大数据时代吧。--谨以此文,献给那些真正懂得大数据的人!原创 2013-10-30 12:45:36 · 1629 阅读 · 0 评论 -
《Hadoop专业解决方案》中文版目录篇
《Wrox.Professional.Hadoop.Solutions》中文版目录篇,中文名称《Hadoop专业解决方案》,翻译稿持续更新中,敬请关注。原创 2013-11-20 20:02:23 · 2120 阅读 · 0 评论