绪论---云计算笔记DAY1

分布式系统：由若干通过网络互联的计算机组成的软硬件系统，且这些计算机互相配合以完成一个共同的目标（通过网络互联，可协作执行某任务的独立计算机集合）

分布式计算：在分布式系统上执行的计算，一个大型任务分成小任务分配给多个计算机处理，最后将计算结果合并得到最终结果（分而治之）
优点：
（1）高可伸缩性：可通过提供额外资源解决需求增加
（2）资源共享
（3）高性价比
（4）容错性：通过备份维持故障情况下资源可用性
（5）超大规模
（6）通用性
缺点：
（1）多点故障：一台或多台计算机故障，一条或多条网络链路故障，都会导致分布式系统出问题
（2）安全性低：为非授权用户攻击提供了更多机会，不利于部署安全策略

云计算包含分布式计算特征：
（1）通过资源调度和组合满足用户的资源请求
（2）对外提供统一的，单一的接口
云计算是分布式计算的发展和新形势

经典项目：

• web（目前最大的分布式系统）
  URI（统一资源标识符）：表示资源
  URL（资源定位器）：维持链路
  HTTP（超文本传输协议）：将资源传给用户
  C/S（客户机/服务器模式）
  -SET I@home（Search for Extra Terrestrial intelligence at Home）寻找外星人计划：
  在屏幕保护下，利用计算机多余的处理器资源，不影响用户使用
• BOINC项目（Berkeley Open Infrastructure for Network Computing）
  采用传统C/S架构
  服务器端配置：数据库服务器，数据处理服务器，资源任务调配服务器，web服务器等子系统
  客户端：设置志愿计算功能服务器的软件
• Climatepredition.net(模拟全球气象变化)
• Quake-Catcher Network（强力地震观测预测网）
• Einstein@Home（寻找脉冲星的引力波）
• …

集中式计算（单机计算）：
①计算机不与任何网络互连，只使用本计算机系统内可被即时访问的所有资源
②并发用户通过分时技术共享单击计算机中资源的计算方式
大型机：提供集中式资源服务的计算机

并行计算：
同时使用多种计算资源解决计算问题的过程
基本思想：多处理器分别处理某问题的一个部分
分类：
时间上并行：流水线技术
空间上并行：多处理器并发地执行计算
并行计算问题的特征：
将工作分离成离散部分，有助于同时解决
随时并及时地执行多个程序指令（多条线同时运行）
多计算资源下载解决问题的耗时要少于单个资源

并行计算与分布式计算区别：
分布式计算是任务分布执行，并行计算是任务并发执行

云计算包含的并行计算特征：
用户资源（单一类型和组合类型）请求的同时处理

云计算分类：
云操作系统和应用服务引擎
按服务对象分：
公有云：面向外部用户需求，通过开放网络提供云计算服务
私有云：大型企业按云计算架构搭建平台，面向企业内部需求提供
混合云：既为企业内部又为企业外部提供
按提供服务类型分;
（1）基础设施（Iaas）：、
以服务形式提供虚拟硬件资源
用于无需购买服务器，网络设备，存储设备，只需通过互联网租赁可搭建自己的应用系统
eg.亚马逊服务器
（2）应用平台（Paas）：多用容器实现
提供应用服务引擎
用户基于该应用服务引擎，可构建
eg.Google
（3）应用软件（SaaS）：
用户通过Internet使用软件。用户不必购买软件，只需按需租用软件
eg.Google Doc,Oracle

网格计算：用互联网把地理上的各种资源连成逻辑上的整体，为用户提供一体化信息服务
区别：
（1）网格计算：任何节点可请求其他节点资源，任何节点都要贡献一定资源给其他节点。（强调资源共享）
云计算：请求或获取的资源为专有，由少数团体提供，使用者不需贡献自己的资源
（2）网格计算：侧重并行的集中性需求，难以自动扩展。
具有局部性问题（时间局部性，空间局部性，算法局部性）
云计算：侧重事务性应用，大量的单独请求，可实现自动或半自动扩展
云计算含网格计算特征：
（1）提供在线计算，存储等服务
（2）超大规模资源组合
（3）资源虚拟化

对等计算（P to P）:
对等计算系统中，每个节点都拥有对等功能与责任，可做服务器向其他节点提供数据或服务，又可作为客户机享用其他节点提供的数据或服务，节点间交互可直接对等，任何节点可随时自由加入或离开系统

预测：可能成为云计算的一个类型，以“对等子云”形式出现在云计算中
依据：云计算对超大规模，多类型资源的统一管理是困难的
对等计算有健壮性，可扩展性，成本，搜素等方面优点，可防止云计算中一些服务长时间宕机。

雾计算：（Cisco提出）
产生原因：向云传数据能耗大，通信网带宽受限，网络数据安全性问题，及时性问题。
概念：
（1）类似于云，如都基于虚拟化技术，从共享式资源池中为多用户提供资源
（2）雾计算与云计算在网络拓扑中的位置不同
雾节点所用设备：
主要使用边缘网络中的设备，可为传统网路设备，或专门部署的本地服务器
原理：
在云与产生数据的地方间，建立雾，数据先到雾先处理存储一下，需要传到云上再传，不需要就直接处理
eg.智能交通灯

边缘计算（Edge Computing）：
产生原因：同雾计算
概念：接近于事物，数据和行动源头处的计算，又称邻近计算或接近计算（Proximity Computing）
边缘网络：
边缘计算让数据在边缘网络处理
基本由终端设备，边缘设备（边界路由器，机顶盒，网桥，基站，无线接入点等），边缘服务器等构成
eg.无人驾驶汽车

云计算，雾计算，边缘计算关系：
边缘和核心网络（核心路由器，区域服务器，广域网路开关等）的组件都可作为雾计算的基础设施
边缘计算依赖于不构成网络的单独节点，需通过云实现孤岛中节点的对等流量传输。
雾计算用几个层次形成网络，节点中具有广泛的对等互连能力
雾计算，边缘计算，云计算共同形成彼此受益的计算模型

大数据计算：
利用分布式计算对海量数据进行在线或离线的实时性或批处理分析计算。
主要模式：
（1）基于MapReduce的批处理计算
将自动分割要执行的问题拆解成Map和Reduce两个函数操作，然后对分块数据并行处理
（2）流式计算
对数据实时进行处理，使数据不积压，不丢失，常用于处理电信，电力等行业应用及互联网访问日志
（3）基于spark的内存计算
由于MapReduce计算过程需要读写HDFS存储（访问磁盘IO），而Spark内存计算在进行大数据分析处理时使用了分布式内存计算，提升了访问速度，数据处理性能提高

笔记为学习清华大学出版社《云计算与大数据技术理论及应用》