文章目录
数据库系统基础知识笔记
数据库(DataBase,DB)是指长期储存在计算机内的、有组织的、可共享的数据集合。数据库系统(DataBase Systern,DBS)从广义上讲是由数据库、硬件、软件和人员组成,管理的对象是数据。数据库管理系统(DataBnse Managemont System,DBMS)是一种操纵和管理数据库的大型软件,用于建立、使用和维护数据库。
主要功能:
- 数据定义
- 数据库操作
- 数据库运行管理
- 数据组织
- 存储和管理
- 数据库的建立与维护
- 其他功能
DBMS通常分为三类:
- 关系型数据库系统(Relation DataBase Systems, RDBS)
- 面向对象的数据库系统(Object-Oriented DataBase system, OODBS)
- 对象关系数据库系统(Object-Oriented Relation DataBase system, ORDBS)
关于数据库的一些概念可以参考这篇文章:
关系型数据库基础
数据库系统三级模式结构:
关系数据模型由以下3大要素组成:
- 关系数据结构
- 关系操作集合
- 关系完整性约束
实体-联系(E-R)模型
模型中最常用的方法为实体-联系方法,简称E-R方法,主要概念要实体、联系和属性。E-R图的主要构件如下表所示:
数据规范化
数据依赖是通过一个关系中属性间值的相等与否体现出来的数据间的相互关系,是现实世界属性间联系和约束的抽象,是数据内在的性质,是语义的体现。函数依赖则是一种最重要、最基本的数据依赖。
关系模型的规范化是指把一个低一级范式的关系模式转换成若干个高一级范式的关系模式的过程。关系数据库设计的方法之一就是设计满足适当范式的模式,并通过判断分解后的模式达到第几范式来评价模式规范化的程度。
事物管理
事务是一个操作序列,这些操作"要么都做,要么都不做",事务是数据库环境中不可分割的逻辑工作单位。事务和程序是两不同的概念,一般一个程序可包含多个事务。
事务的4个特性(ACID性质):
- 原子性(atomicity): 原子性是指事务是一个不可再分割的工作单元,事务中的操作要么都发生,要么都不发生。
- 一致性(consistency): 一致性是指在事务开始之前和事务结束以后,数据库的完整性约束没有被破坏。这是说数据库事务不能破坏关系数据的完整性以及业务逻辑上的一致性。
- 隔离性(isolation): 多个事务并发访问时,事务之间是隔离的,一个事务不应该影响其它事务运行效果。
- 持久性(durability): 这是最好理解的一个特性:持久性,意味着在事务完成以后,该事务所对数据库所作的更改便持久的保存在数据库之中,并不会被回滚。(完成的事务是系统永久的部分,对系统的影响是永久性的,该修改即使出现致命的系统故障也将一直保持)
关系数据库设计
相关数据库设计的一些概念可以参考下面的文章:数据库系统—数据库设计
数据库设计特点有:
- 从数据结构即数据模型开始,并以数据模型为核心墨开,这是教据库设计的一个主要特点;
- 静态结构设计与动态行为设计分离;
- 试探性设计;
- 反复性和多步性设计;
数据库设计方法有:
- 直观设计法;
- 规范设计法;
- 计算机辅助设计法;
- 自动化设计法;
常用的设计方法有:
- 基于3NF的设计方法;
- 基于实体联系模型的数据库设计方法;
- 基于视图概念的数据库设计方法;
- 面向对象的关系数据库设计方法;
- 计算机辅助数据库设计方法;
- 敏捷数据库设计方法;
数据库设计基本步骤有:
- 需求分析: 在需求分析中,通过自顶向下,逐步分解的方法分析系统。分析的结果用数据流图(Data Flow Diagram, DFD)进行图形化描述,并用一些规范的表格对数据分析结果和描述做补充,最后形成需求说明书。
- 概念结构设计: 数据库概念结构设计的策略通常是自顶向下、自底向上、逐步扩张、混合策略,最常用的是自底向上的策略。最著名最常用的方法是——实体-联方法。
- 逻辑结构设计: 逻辑结构设计阶段的主要任务是确定数据模型、将E-R图转换为指定的数据模型、确定完整性约束、确定用户视图。
- 物理结构设计: 要做的工作有存储记录的格式设计、存储结构设计、存取方法设计和确定系统配置。
- 应用程序设计:要做的工作有选择设计方法、制定开发计划、选择系统架构、设计安全性策略。
- 运行维护: 要做的工作主要有数据库的转储和恢复、数据库的安全性和完整性控制,数据库性能的监督、分析和改造、数据库的重组和重构。
分布式数据库系统
- 集中控制性
- 数据独立性
- 数据冗余可控性
- 场地自治性
- 存取有效性
分布式数据库的体系结构
商业智能
商业智能(Business Interlligence, BI)是企业对商业数据的搜集、管理和分析的系统过程,目的是使企业的各级决策者获得知识或洞察力,帮助他们对企业做出更有利的决策。它是数据仓库、联机分析处理(Online Analytical Processing,OLAP)和数据挖握等相关技术走向商业应用后形成的一种应用技术。
主要包括的过程有:
- 数据预处理
- 建立数据仓库
- 数据分析
- 数据展现
三大组成部分为:
- 数据仓库
- 联机分析处理
- 数据挖掘技术
数据仓库
数据仓库(Dat Warehouse)是一个面向主题的(Subject Oriented)、集成的(Integrate)、相对稳定的(Non-Volatile),且随时间变化的(Tme Variant)数据集合,支持管理部门的决策过程。
数据仓库的关键特征为面向主题、集成的、非易失的、时变的。
数据仓库的结构
多维分析海量数据分析器 —— OLAP
关于OLAP延伸阅读可以参考:
OLAP系统架构主要分为:
- 基于关系数据库的ROLAP(Relational OLAP)
- 基于多维数据库的MOLAp(Multidimensional OLAP)
- 基于混合数据组织的HOLAP(Hybrid OLAP)
数据挖掘
数据挖掘是从存放在数据库、数据仓库酸其他信息库中的大量数据中挖掘有趣知识的过程。
数据挖掘与传统的数据分析(如查询、报表、联机应用分析)的本质区别是;数据挖掘是在没有朗确假设的前提下夫挖挪信兔、发现知识。数据挖规所得到的信息应具有先知、有效和实用三个特征。
数据挖掘的功能有:
- 自动预测趋势和行为
- 关联分析
- 聚类
- 概念描述
- 偏差检测
计算机网络概述
OSI开放系统互联参考模型
OSI 协议集
广域网
广城网又称远程网,它是指覆盖范阻广,传输速率相对较低,以教据通信为主要目的的数据通信网。它的特点是∶
- 分布范围广
- 数据传输率低
- 数据传输可靠性随着传输介质的不同而不同
- 拓扑结构复杂
目前用于广域传输的协议有:
局域网
局域网是指传输距离有限,传输速度较衡,以共享网络资源为目的的网络系统,它的特点是∶
- 分布范围有限
- 有较高的通信带宽和教据传输率高
- 数据传输可靠误码率低
通常采用同轴电巢或双绞线作为传轴介质,拓扑结构简单简洁,网络的控制一般为分布式,通常被单一组织所拥有和使用。
- 总线拓扑
- 环形拓扑
- 星形拓扑
- 混合型拓扑
常用的网络拓扑结构有:
- 总线型
- 星型
- 环形
- 树型
- 分布式结构
介质访问控制协议: 在局域网和城域网中,所有的设备都共享传输介质,所以需要一种方法能够有效地分配传输介质的使用权。
对总线型、里型和树型拓扑结构最适合的介质访阀控制协议是 CSMA/CD(Carier Sense Multiple Access/Collision Detection)介质访问控制方法有集中式控制和分布式控制两种。
Internet及其应用
Interoet,又称因特网,是世界上规模最大、覆盖面最广且最具影响力的计算机互联网络。它将分布在世界各地的计算机利用开放系统互联协议连接在一起,用来进行数据传输、信息交换和资源共事。
用户接入因特网的方式有:
- 终端方式
- SLIP/PPP方式
- 专线方式(DDN、FR、ISDN专线、网络电缆直连)
- 代理服务器方式
TCP/IP(Transmision Control Protocol /Lnternet Protocol)作为 Imtermet 的核心协议,已被广泛应用于局域网和广域网中,TCP/IP 的主要特性为:
- 逻辑编址
- 路由选择
- 域名解析
- 错误检测
- 流量控制
- 对应用程序的支持
TCP/IP模型
互联网常用的服务包括:
- 域名服务(Domain Name Server, DNS)
- WWW服务
- E-mail电子邮件服务
- FTP文件传输服务
- Telnet远程登录服务
- Gopher
网络管理和网络安全
网络管理OSI定义的五大功能:
- 配置管理
- 性能管理
- 故障管理
- 安全管理
- 计费管理
- 网络规划
- 网络操作人员管理
计算机网络安全
具体内容可以参考两个参考链接:
计算机网络安全是指计算机、树络系统的硬件、软件以及系统中的数据受到保护,不因偶然的或恶意的原因而遭到破坏、更改、泄露,确保系统能连续和可靠地运行,使网络服务不中断。
目前的网络安全措施有:
- 数据加密
- 数字签名
- 身份认证
- 防火墙
- 入侵检测
VPN的解决方案有三种:
- 内联网VPN(Intranet VPN)
- 外联网VPN(Extranet VPN)
- 远程接入VPN(Access VPN)
网络工程
网络工程建设是一项复杂的系统工程,一般可分为网络规划和网络设计阶段、工程组织和实施阶段以及系统运行维护阶段。
存储以及负载均衡技术
RAID技术
RAID(Redundant Array of Inexpensive Disks,磁盘阵列)是一种由多块廉价磁盘构成的冗余阵列。使用磁盘阵列的目的是建立数据冗余、增强容错、提高容量、增进性能。
网络存储技术
网络存储体系结构大致分为三种∶
- 直连式存储(Direct Atached Storage,DAS)
- 网络连接存储(NetworkAtached Storage,NAS)
- 存储区城存储(Storage Area Network,SAN)
负载均衡技术
常用的负载均衡技术有:
- 操作系统自带的负载均衡服务
- 基于特定服务器软件的负载均衡
- 基于DNS的负载均衡
- 反向代理负载均衡
- 基于NAT的负载均衡技术
- 扩展的负载均衡技术
- 硬件方式
多媒体技术及其应用
媒体
媒体的种类:
- 感觉媒体(Perceptioun Medium)是指人们接触值息的感觉形式,如视觉、听觉、触觉、嗅觉和味觉等。
- 表示媒体(Representation Medium)是指信息的表示形式,如文字、图形、图像、动画、音频和视频等。
- 显示媒体(Prescntation Medium)是表现和获取值息的物理设备。如输入显示媒体键盘、鼠标器和麦克风等; 输出显示媒体显示器、打印机和音箱等。
- 存储媒体(Storage Medium)是存储数据的物理设备,如磁盘、光盘和内存等。
- 传输媒体(Transmision Medium)是指传输数据的物理载体,如电缆、光缆和交换设备等。
多媒体
多媒体是数字、文字、声音、图形、图像和动画等各种媒体的有机结合,并与先进的计算机、通信和广播电视技术相结合,形成一个可组织、存储、操纵和控制的多媒体信息集成环境和交互系统。
多媒体技术的特征有多样性、集成性、交互性和实时性。
多媒体技术的应用领域
- 办公自动化
- 电子出版物
- 多媒体通信
- 教育与培训
- 商业与咨询
- 军事与娱乐
系统性能
系统性能是一个系统提供给用户的众多性能指标的集合。它:
- 既包括硬件性能,也包括软件性能;
- 既包括部件性能指标,也包括综合性能指标。
系统性能包含:
- 性能指标
- 性能计算
- 性能设计
- 性能评估
性能指标
性能指标,是软、硬件的性能指标的集成。
在硬件中,包括计算机、各种通信交换设备、各类网络设备等;
在软件中,包括操作系统、协议以及应用程序等。
计算机性能指标
- 时钟频率(主频)
- 运算速度
- 运算精度
- 内存的存储容量
- 存储器的存取周期
- 数据处理速率(Processing Data Rate, PDR)
- 吞吐率
- 各种响应时间
- 各种利用率
- RASIS特性:可靠性(Reliability)、可用性(Availability)、可维护性(Sericeability)、完整性和安全性(Integraity and Security).
- 平均故障响应时间
- 兼容性
- 可扩充性
- 性能价格比
路由器性能指标
- 设备吞吐量
- 端口吞吐量
- 全双工线速转发能力
- 背靠背帧数
- 路由表能力
- 背板能力
- 丢包率
- 时延
- 时延抖动
- 内部时钟精度
- 队列管理机制
- 端口硬件队列数
- 分类业务宽带保证
- RSVP
- IP Diff Serv
- CAR支持
- 冗余
- 热插拔组件
- 路由器冗余协议
- 网管
- 基于Web管理
- 网管类型
- 带外网管支持
- 网管粒度
- 计费能力/协议
- 分组语音支持方式
- 协议支持
- 语音压缩能力
- 端口密度
- 信令支持
交换机性能指标
- 有交换机类型
- 配置
- 支持的网络类型
- 最大 ATM 端口数
- 最大 SONET端口数
- 最大FDDI端口数
- 背板吞吐量
- 缓冲区大小
- 最大MAC地址表大小
- 最大电源数
- 支持协议和标准
- 路由信息协议(RIP)
- RIP2
- 开放式最短路径优先第2 版
- 边界网关协议(BGP)
- 无类别域间路由(CIDR)
- 互联网成组管理协议(IGMP)
- 距离矢量多播路由协议(DVMRP)
- 开放式最短路径优先多播路由协议(MOSPF)
- 协议无关的多播协议(PDM)
- 资源预留协议(RSVP)
- 802.1p优先级标记
- 多队列
- 路由
- 支持第 3 层交换
- 支持多层(4 到7层交换、支持多协议路由
- 支持路由级存
- 可支持最大路由表数
- VLAN
- 最大VLAN 数量
- 网管
- 支持网管类型
- 支持端口镜像
- QoS
- 支持基于策略的第 2 层交换
- 每端口最大优先级队列数
- 支持基于策略的第3层交换
- 支持基于策略的应用级 QoS
- 支持最小/最大带宽分配
- 冗余
- 热交换组件(管理卡,交换结构,接口模块,电源,冷却系统,支持端口链路聚集协议,负载均衡)
网络性能指标
- 设备级性能指标
- 网络级性能指标
- 应用级性能指标
- 用户级性能指标
- 吞吐量
操作系统性能指标
- 系统的可靠性
- 系统的吞吐率(量)
- 系统响应时间
- 系统资源利用率
- 可移植性
数据库管理系统性能指标
- 包括数据库本身和管理系统两个部分
- 数据库的大小
- 数据库中表的数量
- 单个表的大小
- 表中允许的记录(行)数量
- 单个记录(行)的大小
- 表上所允许的索引数量
- 数据库所允许的索引数量
- 最大并发事物处理能力
- 负载均衡能力
- 最大连接数
Web服务器性能指标
- 最大并发连接数
- 响应延迟
- 吞吐量
性能计算
性能计算的方法有:
- 定义法
- 公式法
- 程序检测法
- 仪器检测法
常用的性能指标有:
- 计算过程(Millions of Instructions Per Second, MIPS)的计算方法
- 峰值计算
- 等效指令速度(吉普森(Gibson)法)
性能设计
性能调整
性能调整主要包括:
- CPU/内存使用情况
- 优化数据库设计
- 优化数据库管理以及进程线程状态
- 硬盘剩余空间
- 日志文件大小
- 应用系统的可用性
- 响应时间
- 并发用户数
- 特定应用的系统资源占用
阿姆达尔解决方案
阿姆达尔(Amdahl)定律主要用于系统性能改进的计算中。阿姆达尔定律是指计算机系统中对某一部件采用某种更快的执行方式所获得的系统性能改变程度,取决于这种方式被使用的频率,或所占总执行时间的比例。阿姆达尔定律定义了采用特定部件所取得的加速比。假定我们使用某种增强部件,计算机的性能就会得到提高,那么加速比就是下式所定义的比率∶
加速比 = 不使用增强部件时完成整个任务的时间/使用增强部件时完成任务的时间
性能评估
性能评估是为了一个目的,按照一定的步骤,选用一定的度量项目,通过建模和实验,对一个系统的性能进行各项检测,对测试结果作出解释,并形成一份文档的技术。性能评估的一个目的是为性能的优化提供参考。
- 基准测试程序: 把应用程序中用得最多、最频繁的那部分核心程序作为评价计算机性能的标准程序,称为基准测试程序(benchmark)。
- Web服务器的性能评估: 常见性能评测的方法有,基准性能测试、压力测试和可靠性测试。
- 系统监视:三种方式,一是通过系统本身提供的命令;二是通过系统记录文件查阅系统在特定的时间内的运行状态;三是继承命令、文件记录和可视化技术。
个人格言
用心去感受你自己需要坚持的生活,未来慢慢会给你答案的。