- 博客(10)
- 收藏
- 关注
RSS订阅原创 Redis数据库为什么这么快？
Redis内存数据库运算性能是非常优良的，接下来分析一下Redis数据库性能的几大优势：1、完全基于内存，绝大部分请求是纯粹的内存操作，非常快速。数据存在内存中，类似于 HashMap，HashMap 的优势就是查找和操作的时间复杂度都是O(1)；2、数据结构简单，对数据操作也简单，Redis 中的数据结构是专门进行设计的；3、采用单线程，避免了不必要的上下文切换和竞争条件，也不存在多进程或者多线程导
2020-12-24 19:19:48
246
1
原创 Linux编辑文件时三种模式指令
Linux在编辑文件时需要进行三种模式的切换，以下分别说明了每个模式常用的命令操作：一、一般模式： 以vi\vim打开一个文件就直接进入一般模式了（这是默认的模式）。在这个模式中， 你可以使用『上下左右』按键来移动光标，你可以使用『删除字符』或『删除整行』来处理档案内容， 也可以使用『复制、贴上』来处理你的文件数据----->>>具体命令：二、编辑模式： &nbs
2020-12-17 18:19:30
2543
原创 NoSQL数据库概念与NoSQL数据库家族
什么是NoSQL数据库？NoSQL数据库即为not noly sql 数据库，意为不仅仅是SQL数据库，泛指非关系型数据库:----->>>NoSQL 不拘泥于关系型数据库的设计范式，放弃了通用的技术标准，为某一领域特定场景而设计，从而使性能、容量或者扩展性都打到了一定程度的突破。NoSQL数据库特点：1.它不遵循SQL标准2.它不支持ACID3.它在某个领域远超于SQL的性能(我们不能绝对的说NoSQL数据库的性能远超于SQL数据库的性能，一定是在某个特定的场合)NoSQ
2020-12-16 14:51:27
610
原创 HBaes数据库简介||与MySQL数据库的对比
HBase数据的简介：HBase是一个分布式，可伸缩，存储海量数据的Hadoop数据库简单说明一下HBbase的优势所在：—>>> HBase目前作为Hadoop的子项目来开发维护，用于支持结构化的数据存储—>>> 从功能上看，HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统—>>> 利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群—>>> HBase的目标是存储并处理大型的数据，更具
2020-12-10 17:28:22
838
原创 配置log4j.properties文件:将运行的日志打印在控制台上
配置log4j.properties文件我们一般在利用IDEA运行Java程序时，一旦报错，在没有配置执行过程日志的情况下，会不知道中间的错误根源，因此配置控制台打印日志，会更好的知道问题的根源所在首先在项目中的resources目录下处创建log4j.properties文件，如图：创建完毕后，往这个文件中添加如下代码：代码：log4j.rootCategory= INFO, consolelog4j.appender.console=org.apache.log4j.ConsoleA
2020-12-10 17:14:16
1934
原创 Scala中的抽象(abstract)
**抽象**先明确Scala中的抽象有哪些？抽象类、抽象方法、抽象属性1.Scala中将一个不完整的类叫做抽象类：—>抽象类不能被实例化；—>如果一个类继承了抽象类，那么这个类必须必须实现抽象类中的所有抽象属性和抽象方法；如果这个类本身也是一个抽象类，那么可以不去实现；—>抽象类本身可以没有抽象方法，但是这个类如果存在抽象属性或抽象方法，那么这个类就必须是抽象类；—>抽象类中可以有实现的方法abstract class Person { //抽象类}
2020-12-03 18:32:05
480
原创 讨论Spark中RDD四种转换聚合算子的区别（源码角度）
首先，让我们先思考一个问题：reduceByKey、foldByKey、aggregateByKey、combineByKey的区别？解释：1.reduceByKey: 相同key的第一个数据不进行任何计算，分区内和分区间计算规则相同2.foldByKey: 相同key的第一个数据和初始值进行分区内计算，分区内和分区间计算规则相同3.AggregateByKey：相同key的第一个数据和初始值进行分区内计算，分区内和分区间计算规则可以不相同4.CombineByKey:当计算时，发现数据结构不满足
2020-12-03 17:21:30
302
原创 Spark计算引擎(框架)关于是否完全基于内存计算的分析：
开始先声明一点：Spark并不是一个完全基于内存计算的引擎在一般的概念中，都会说Spark是完全基于内存计算的、快速的、通用的、可扩展的大数据计算引擎---->>>对此我的理解为：---------如果计算不涉及当前节点与其他节点进行数据及信息间的交换，那么Spark 可以在内存中一次性完成这些操作，如此一来就不需要中间的Shuffle阶段的落盘操作，进而减少了磁盘 IO 的操作---->>>但如下这种情况很好的说明了Spark并不是完全基于内存计算的：1.当S
2020-11-25 23:00:54
584
原创 硬盘与内存的区别，CPU与二者有什么关联？
硬盘与内存都是存储器，只不过内存是在所谓的内部存储，而硬盘(磁盘)是在所谓的外部存储内存与硬盘的区别是很大的：1.内存是计算机的工作场所，而硬盘是存放计算机暂时不需要的数据及信息的场所2.内存中的信息会随着断电而造成数据丢失，而硬盘中的信息可以长久保存3.内存是半导体材料制作，硬盘是磁性材料制作4.内存的速度比硬盘快很多，之所以引入内存的概念是因为硬盘的速度不够快。但所有的数据都在内存里面读取就又太慢了，所以为了加快速度，就只把一些需要和cpu交互的数据读取到内存里面来内存与硬盘的联系也非常密
2020-11-25 22:26:26
868
原创 虚拟机集群关机脚本
集群关机脚本当我们使用虚拟机的数量过多时候，一一关机未免显得太过麻烦，所以这里设计了一个简单的Shell集群关机脚本：这里以三台为例：hadoop102、hadoop103、hadoop04（名称随意）#!/bin/bash#虚拟机群体关机脚本for host in hadoop104 hadoop103 hadoop102doecho “==================== $host关机 ===================”ssh $host “sudo shutdown -h
2020-11-23 13:52:56
882
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人