大数据组件
文章平均质量分 89
谷德白麻酱
来备忘的
展开
-
es
一个分布式的实时文档存储,每个字段可以被索引与搜索。 一个分布式实时分析搜索引擎。 能胜任上百个服务节点的扩展,并支持 PB 级别的结构化或者非结构化数据。 官网对Elasticsearch的介绍是Elasticsearch 是一个分布式、可扩展、近实时的搜索与数据分析引擎。我们通过一些核心概念来看下Elasticsearch 是如何做到分布式,可扩展和近实时搜索的。 数据节点负责数据的存储和相关的操作,例如对数据进行增、删、改、查和聚合等操作,所以数据节点(data节点)对机器配置要求比较高,...原创 2021-04-08 17:06:40 · 118 阅读 · 0 评论 -
HDFS总结点
参考链接:https://blog.csdn.net/qq_24140237/article/details/81206963 HDFS构架原则: 元数据与数据分离:文件本身的属性(即元数据)与文件所持有的数据分离 主/从架构:一个HDFS集群是由一个NameNode和一定数目的DataNode组成 一次写入多次读取:HDFS中的文件在任何时间只能有一个Writer。当文件被创建,接着写入数据,最后,一旦文件被关闭,就不能再修改 移动计算比移动数据更划算:数据运算,越靠近数据(为了尽量减小全局带宽的消耗.原创 2021-04-02 10:51:09 · 118 阅读 · 1 评论