![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据学习
文章平均质量分 65
zihan_809
这个作者很懒,什么都没留下…
展开
-
HDFS读数据过程笔记
对程序代码段的理解:Configuration conf = new Configuration();//先定义环境变量,默认将HDFS工程的两个配置文件加载进来hdfs-site.xml和core-site.xml获取重要参数fs.defaultFSFileSystem fs = FileSystem.get(conf);//定义文件变量实例fs一共存在七步。...原创 2018-12-05 13:27:26 · 233 阅读 · 0 评论 -
Hadoop的优化和发展
HDFS HA 高可用版本:提供名称节点热备份机制,解决单点故障问题。并不能解决可扩展性、系统性能和隔离性。HDFS Federation:存在多名称节点,多个名称节点之间存在的是联盟关系不是备份关系,各个名称节点还是会存在单点故障问题,每个名称节点负责管理自身的命名子空间。(会给其中每一个名称节点进行热备份)YARN:MapReduce 1.0中的资源管理调度功能...原创 2018-12-19 16:25:59 · 412 阅读 · 0 评论 -
NoSQL的四大类型
键值数据库相关产品:Redis Memcached SimpleDB数据模型:键是一个字符串对象,值可以是任意类型的数据,比如整型、字符型、数组、列表、集合等典型应用:涉及频繁读写,拥有简单数据模型的应用,内容缓存,如会话、配置文件、参数、购物车等,存储配置和用户数据星系等移动应用。优点:扩展性好,灵活性高,大量写操作性能高缺点:无法存储结构化信息,条件查询效率较低不适用情...原创 2018-12-09 14:30:10 · 2810 阅读 · 0 评论