大数据系统安全技术实践学习笔记

《大数据系统安全技术实践》是2019年12月电子工业出版社出版的图书，作者是尚涛、刘建伟。

绪论

略

大数据Hadoop的系统组成（介绍大数据各个组件）

Hadoop组件

HDFS、MapReduce、HBase

HDFS（分布式存储）

HDFS由名称节点NameNode和数据节点DataNode组成，共同完成文件的存储和读取

主从模式，NameNode为master，DataNode为slave

NameNode保存整个文件系统元数据（文件名、访问权限和各个块的位置），或者说整个文件系统的命名空间

DataNode保存文件内容，或者说真正存储数据的地方

DataNode定时向NameNode发送心跳，确定自己Active、网络是否断开

else，secondaryNameNode，定期维护名称节点，使NameNode保存的文件不会过大；并保存一份备份，使NameNode宕机使可恢复系统

数据块

存储过程中的数据结构，分成block块

NameNode和DataNode

共同汇总在2.1.1HDFS正文部分

2命令行接口

HDFS向用户提供便捷的命令行接口

MapReduce（分布式应用）

核心可以理解为Map和Reduce。

用户提交计算作业给MapReduce，被MapReduce分成若干个Map，Map完成后输入给Reduce，Reduce汇总输出

MapReduce架构由Client、JobTracker、TaskTracker、Task（Map Task、Reduce Task）组成

用户通过Client查看作业状态

Client向JobTracker提交用户编写的程序

JobTracker负责资源监控（监控TaskTracker和作业状态）和作业调度

TaskTracker接收JobTracker的命令，并定时向JobTracker报告资源情况和任务进度

Map Task将任务分为若干Map，完成后给Reduce Task，汇总后输出

HBase

大数据Hadoop的安全机制

简述大数据各组件安全机制原理（3.1-3.4）

大数据安全架构划分（3.5）

大数据安全架构划分-各部分工具（3.6）

现状或目标

任何人都能提交代码并且执行

任何用户只需要一个命令切换就可以模拟成其他任何用户

合法用户会产生非法的操作

所有用户和程序员对集群内的所有数据都有相同的访问权限

所有任务都能访问集群内的任何数据

所有用户都可能会读取任何数据集

MapReduce没有认证授权的概念，某个合法的用户可能为了自己的任务更快完成，降低其他Hadoop任务的优先级，甚至直接杀死其他任务

目前，Hadoop安全机制仅限于集群中各节点和服务的认证

各节点的数据明文传输，在传输过程易被窃取

NameNode和JobTracker、DataNode和JobTracker之间缺乏安全机制

Hadoop安全机制

基本的安全机制

Simple

这个主要是用户提交作业时的安全机制

用户提交作业时，JobTracker端进行身份验证

检查执行当前代码的用户与JobConf中的user.name是否一致

通过验证后，HDFS或者MapReduce会给用户Delegation token，不同模块有不同的token

Kerberos

认证服务器

Client获取TGT

KDC与Client、Service生成密钥对，CK和SK

Client将TGT和要访问的服务名发给KDC

KDC生成Session Key

KDC：Session Key+用户名+IP+服务名+有效期+时间戳->Service Ticket

KDC：Serveice Ticket使用SK加密，Session Key使用CK加密，这两个都给Client

Client：直接把SK加密的给Service，把CK加密的使用秘钥解开，获得Session Key，使用Session Key将自己的用户名和IP加密再发给Service

Service：使用SK解密Client过来的，获得Serveice Ticket，Service Ticket中有Session Key，再解密Client的用户名和IP，对比

疑问

两者的功能都是身份验证，一个是通过部署Kerberos服务，一个使用JobTracker

是否重复？

是否解决了整个Hadoop中的身份验证问题？

总体的安全机制

RPC

Hadoop客户端通过RPC访问相应的服务，所有的RPC使用SASL连接

HDFS

客户端与NameNode连接时，使用Kerberos协议认证和授权令牌（Delegation token）认证

客户端从DataNode获取block时，先从Datanode获取一个认证令牌，根据令牌从相应的DataNode获取block

MapReduce

MapReduce每个Task均使用用户的身份运行

HDFS-NameNode

HDFS启动时，NameNode进入一个安全模式，检测数据块的最小副本数

HDFS-DataNode

HDFS获取数据时，客户端会检测DataNode的数据块是否损坏

主从的心跳机制

MapReduce中的JobTracker和Task

HDFS中的NameNode和DataNode

Hadoop组件的安全机制

感觉这一章像是对3.2.2展开说的

RPC安全机制

客户端通过RPC调用服务端

RPC使用SASL确定一个权限协议（Kerberos和DIGEST MD5），完成RPC授权

剩下的说的感觉和3.2.1.2差不多

HDFS安全机制

客户端获取NameNode的初始访问认证，Delegation Token

读取某个文件时，客户端与NameNode交互，获取对应数据块的Block Access Token

到相应DataNode上读取各数据块

DataNode初始启动，已向NameNode注册，并获取了这些Token

客户端要从TaskTracker上读取数据块时，需验证Token

Delegation Token

用户使用Kerberos证书想NameNode提交认证，获取Delegation Token

Delegation Token是用户和NameNode之前的共享秘钥，任何人都可以使用Delegation Token假冒用户

Block Access Token

疑问

其实说白了，Delegation Token是给这种主要角色的，如NameNode和JobTracker；Block Access Token是给DataNode

感觉还是在介绍Kerberos的原理，只不过更详细了一层

MapReduce

Hadoop安全性分析

kerberos认证体系的安全问题

优势

认证票据一次性签发，有生成期限
客户端服务器双向身份认证
不同域的域间认证

劣势（安全隐患）

KDC是主题，请求过多会导致认证请求DOS
kerberos时间同步机制易被攻击
票据有效期内，恶意截获票据进行仿冒
KDC被攻破，秘钥也被攻破
用户口令爆破

系统平台的安全问题

KDC性能是系统的瓶颈

每个任务都需要向KDC认证，KDC负载急剧增大

客户端向KDC申请票据，身份信息易被窃取，造成信息泄露

以NameNode为中心的主从模式不够健壮

NameNode职责很广，一旦被攻击，整个集群陷入危险

过于简单的ACL访问控制机制

ACL访问控制列表很容易被高权限用户修改，需要改进访问控制策略

集群节点间数据的明文传输和存储

各节点数据传输，和DataNode的数据存储，都是明文

使用第三方SSL，如Cloudera Hadoop

没有数据的隔离

数据不随着角色进行隔离

Hadoop安全技术架构

根据前四小节，可提出以下10点安全需求

如何强制所有类型的客户端（如Web控制台和进程）上的用户及应用进行身份验证
如何避免流氓服务（流氓TaskTracker和Task，未授权的进程）冒充合法服务（出示ID访问数据块）
如何根据已有的访问控制策略和用户凭证强制数据的访问控制
如何实现基于属性的访问控制或基于角色的访问控制
如何将Hadoop与已有的企业安全服务集成
如何控制用户被授权可以访问、修改和停止MapReduce作业
如何加密网络中的传输数据
如何加密硬盘上的存储数据
如何对事件进行跟踪、审计和溯源
对于架设在网络上的Hadoop集群，采用网络途径保护的最好方法是什么

Hadoop安全技术架构

数据保护

未接入的数据（数据接入大数据平台前）

明确数据隐私保护策略（企业隐私策略、行业规定和政府法规）
明确需要进行安全保护的数据
划分密集

已存在的数据

全面梳理核实是否有安全系数高的敏感数据
业务是否需要访问纳入安全保护的数据？
需要的话脱敏、遮挡或加密

网络安全

边界

采用环形网络拓扑结构，万兆防火墙，网络安全软件Apache Knox Gateway、Httpfs

系统安全

开源集群监控工具Ganglia，系统性能指标
开源网络监视工具Nagios，大数据平台预警

存储安全

NameNode准备配置

主备节点1-2s自动切换
数据保存3个副本，分散存储在不同节点上
选择合适的加密算法
NameNode元数据定时备份到备份服务器上
配置大数据平台垃圾回收站，确保数据可以在一定时间内恢复

计算引擎

采用YARN

认证与授权

认证

Kerberos

授权

网络加密采用Kerberos+Sentry或Sentry，实现用户在使用Hive和Impala接入大数据平台时的安全管控

安全技术工具

系统安全

详细介绍了3.5.3的工具

Ganglia

开源集群监视项目
监控系统性能（CPU、内存、磁盘、I/O、网络流量）
Web展示

Nagios

系统运行状态和网络信息
异常通知

Ambari

Web工具

配置、管理和监视Hadoop集群
支持HDFS、MapReduce、Hive、HCatalog、HBase、Zookeeper、Oozie、Pig和sqoop

认证授权

Apache Sentry

Apache Sentry前的两种机制

粗粒度级的HDFS授权
要么能访问整个文件，要么什么也看不到

咨询授权
用户自己授予自己权限

细粒度级、基于角色的授权及多租户的管理模式
可以和Hive/Hcatalog、Apache Solr和Cloudera Impala集成

能在Hadoop中存储更敏感的数据
保证更多终端用户用于Hadoop数据访问权
创建更多的Hadoop使用案例
构建多用户应用程序
符合规范（SOX、PCI、HIPAA、EAL3）

Apache Sentry后的，一下为满足企业和政府的RBAC需求

安全授权
可控制数据访问

细粒度访问控制
细粒度和元数据

基于角色的管理

多租户管理
委派给不同管理员的不同数据集设置权限

统一平台

Apache Sentry角色

资源
Server、Database、Table或URL（HDFS或本地路径）

权限
访问某个资源的规则

角色
一系列权限的集合

用户和组

Apache Ranger

和Apache Sentry查不多

数据安全

静态加密

加密整个文件，分块存储

直接对数据块解密，数据块解密在MapReduce作业中，并保存解密秘钥

客户端发起请求前，选择上传的文件和加密类型

动态加密

SASL加密框架

eCryptfs

对称加密
FEK随机生成？

eCryptfs使用用户提供的口令（Passphrase）、公开秘钥算法或 TPM的公钥来加密FEK

易部署
易使用
....

Encryption

目标：只有授权用户可以查看、使用或受益于数据集

DataGuise

网络安全

httpfs

Hadoop HDFS的一个http接口

Apache Knox Gateway

基于边缘

其他集成工具

Cloudera Manage

管理部署Hadoop

Zettaset

管理部署Hadoop

Rhino项目

端到端安全保障

大数据安全体系

关键技术和体系框架

概述

Hadoop设计之初未考虑大数据的安全性

相关研究

传统的信息安全体系结构

物理安全
系统安全
网络安全
数据安全
应用安全
安全管理

以此作为大数据安全的基础 

传统信息系统安全体系

安全应用系统
安全计算环境
安全管理中心
安全区域边界
安全通信网络

云数据存储安全架构

终端用户系统
云应用
云数据存储
数据提供商
共享安全服务

PKI

Zburivsky设计的大数据安全架构

认证
授权
数据隐藏
数据加密
网络安全
操作系统安全
应用安全
基础设施安全
系统安全事件监控
安全策略与流程

大数据面临的安全挑战

缺乏必要的认证授权与访问控制机制

只有简单的认证模式，没有完整的授权和访问控制模型
任何人都能提交代码执行
恶意用户可以冒充其他用户对数据或者提交的作业进行攻击
无法根据用户角色的不同对其进行不同的访问控制

缺乏对数据隐私的保护

各节点存储的数据，各节点交互的数据
敏感数据没有特殊的访问控制
分析处理过程的中间数据没有保护

系统与组件存在许多漏洞

Kafka、HIVE等

缺乏可信性保证

数据传播过程中逐渐失真
人工干预数据采集

大数据安全需求

生命周期（采集、传输、存储、应用）

采集
防止对数据采集器的伪造、假冒攻击

传输
如何防止数据被窃取、篡改

存储
可用性与保密性，如何保证数据在存储过程的安全隔离

应用
敏感度处理

系统安全（预警、防护、检测、响应）

预警
如何对系统中的漏洞进行安全预警

防护
集群节点复杂，如何保证节点不被欺诈、重放、DOS

检测
系统、组件与版本，如何进行系统安全的检测

响应
如何对不同用户角色进行行为和影响的检测、溯源

结合现有的安全体系（认证、授权、访问控制、网络安全、数据隐藏与加密、系统与组件安全、系统安全监控、安全审计与管理）

认证
为用户提供单点登录认证功能
提供不同的认证方式：原有静态口令或Kerberos认证

授权
敏感数据访问进行基于角色授权

访问控制
不同用户可以在数据集上做什么操作

网络安全
边界严格把控，大数据系统与其他系统的隔离，私有数据传输通道VPN

数据隐藏与加密
静态与动态加密

系统与组件安全
各种漏洞

系统安全监控
对各类网络设备和安全设备进行日志监控

安全审计与管理
对数据生态系统的任何改变都要进行日志记录，如数据访问活动报告和数据处理活动报告

大数据安全关键技术

认证

客户端认证、集群节点认证、系统组件认证

Kerberos
用户只需要输入一次身份验证信息，即单点登录

只传输票据不传输密码
对称秘钥
服务器不存储客户端相关信息
支持密码或秘钥存储在统一系统

授权与访问控制

用户身份管理、角色授权、功能授权、行列授权

身份统一管理

Sentry、Record Service、Apache Ranger

数据隐藏与加密

用户隐私规则
数据脱敏
磁盘级加密
域/行级加密
文件级加密
中间数据保护
数据隐藏
可信认证

管理员制定数据隐私规则

采集前，脱敏处理
存储时，磁盘级加密、域/行级加密、文件级加密
数据分析前，隐私处理
数据处理过程，中间数据保护
大数据平台加入可信认证

网络安全

数据进出大数据平台，必须经过防火墙审查
用户无法直接访问集群，需要进行统一认证
客户端与集群加密传输、集群内各节点加密传输、系统信息与计算结果加密传输

使用SSL对数据加密
使用apache Knox Gateway进行网络隔离

系统安全

日志/审计
数据监控
流量分析
时间监控

部署安全日志工具，收集各类日志，并定期审计
Ganglia+Nagios

大数据系统安全体系框架

基础安全层

系统安全、网络安全、数据安全、存储安全

系统安全：定期对网络、主机操作系统进行漏扫；及时更新病毒库，打补丁
网络安全：网络边界隔离、入侵检测、防火墙、VPN
数据安全：写入磁盘前加密，读取后解密
存储安全：数据备份

组件安全层

HDFS
MapReduce
Hive
Hbase
Sqoop
Pig

安全服务层

用户服务、认证服务、授权服务、数据服务、审计服务

用户服务
管理用户角色、账户、密码

数据服务
加密传输、敏感数据隐藏

审计服务
日志审计

应用层

略

大数据身份认证技术

介绍Kerberos

示例中命令行需要输入密码

概述

引入Kerberos

Kerberos认证体系结构

服务器到服务器、客户端到服务器，未实现用户级别

密钥分发中心KDC
用户终端
目标服务器

Kerberos原理

身份认证方案

用户认证、获得票据、获取目标服务

感觉还是Kerberos原理

身份认证方案实现

安装kerberos、配置Hadoop使用Kerberos

Kerberos安装和配置具体命令

大数据系统访问控制技术

介绍Sentry

示例中不同角色可对mysql不同表进行读/写

概述

大数据用户量大，所以无法基于用户进行控制

基于角色的访问控制方案
XACML和Sentry

基于角色的访问控制方案

用户对应角色
角色对应权限

MACML语言框架

访问控制框架

PAP：策略管理点
PIP：策略信息点
PEP：策略执行点
PDP：策略决策点

用户向PEP发送访问资源的请求
PEP向PIP请求用户角色和访问资源的属性，封装成XACML，发给PDP
PDP从PAP接收属性策略集与访问规则
PDP将PAP和PIP提供的信息，与PEP送来的信息对比，角色，返回给PEP
PEP对客户端进行回复

策略语言模型

规则
策略
策略集

基于XACML的角色访问控制方案实现

角色访问控制策略描述

用户终端层
服务层
数据节点层

用户终端层
登录认证后，系统根据用户提供的身份信息，从访问控制中的策略集获取该用户对应的角色并分配权限

服务层
用户登录成功后，服务层发出对Hadoop的分布式文件系统的访问请求

数据节点层
NameNode、DataNode

角色访问控制策略实现

引入Sun公司的SUMXACML包

角色访问控制策略测试

对HDFS的commit、read、write进行测试

Sentry开源组件

Sentry与Hadoop的集成主要通过Hive和Impala实现，不直接与HDFS通信

基于Sentry的细粒度访问控制方案

加入环境属性约束的访问控制模型

细粒度体现在：
数据表的细粒度访问
对于用户和用户组角色分发的细粒度访问
SQL命令语言的细粒度访问

MYSQL安装配置

略

Hive安装配置

略

Sentry安装配置

略

细粒度访问控制模块实现

Sentry+Hive+kerberos

大数据系统数据加密技术

网络HTTPS+RPC加密

*存储数据加密

概述

在不影响大数据系统的情况下，对重要数据进行不同等级的加密

透明加密

加解密对客户端透明

原理

客户端在HDFS上通过KMS申请创建一个特殊的文件目录加密区EZ
客户端使用java的keytool创建秘钥EZK并与EZ连接
客户端需要读取或写入某加密区时，向HDFS申请数据加密秘钥DEK，EZK也可以充当DEK，由NameNode发出秘钥，对用户数据进行加密
用户完成数据加密后，系统会向KMS申请随机秘钥来加密DEK，称作EDEK，并存放HDFS中

数据写入流程

数据读出流程

存储数据加密方案实现

7.2和7.3，使用KMS与HDFS的配置，加解密过程对客户端完全透明

SSL协议

SSL协议体系结构

SSL协议工作流程

7.4.1和7.4.2都是HTTPS的补充

Hadoop平台上的SSL协议配置

配置了开启HTTPS

传输数据加密方案实现

传输数据加密需求

Web+RPC

集群内部节点之间数据传输加密配置

修改配置

Hadoop数据块传输加密服务
Hadoop RPC传输加密
选择加密算法

Hadoop总体加密配置

HTTPS

大数据监控技术

引入Ganglia，类似zabbix+grafana

概述

管理员周期性的审计大数据平台
各节点安装日志收集工具
Ganglia或ELK

Ganglia开源工具

感觉跟ELK的工作模式大同小异

Ganglia环境部署

略

Ganglia配置文件

略

基于Ganglia的状态监控方案实现

略

基于Zabbix的监控报警方案实现

略

大数据系统审计技术

引入ELK

概述

各种UI管理界面、编程接口

审计难点：
Hadoop非结构化数据，传统方案无法实现综合监控
Hadoop数据库连接工具多样化，传统方案只能对典型的C/S
Hadoop具有开放的接口和平台，信息网络共享导致数据风险点增加，窃密、泄密渠道增加
安全模型和配置的复杂导致数据流量复杂

审计方案

日志处理流程

开源软件ELK

略

ELK安装配置

略

基于ELK的审计方案实现

略

前两章感受感受

这两章更多的是告诉我们，有Ganglia、zabbix、ELK这种开源的技术，至于具体收集哪类日志，没有详细说明

大数据系统一体化安全管理技术

概述

开发相应的大数据模块
集成各个安全模块，实现对各个模块的同一控制调度
设计安全网络拓扑
提供人性化UI，用户对平台安全的操作交互
各组件框架接口统一管理

网络结构设计

KDC、KMS、防火墙、大数据集群

外部网络与大数据集群通过防火墙隔离
KDC提供身份认证服务，存储用户身份信息
KMS为数据加解密提供秘钥
用户登录网关服务器，通过KDC认证后，才能进行操作

大数据安全管理系统8个安全模块
认证管理
访问控制
存储数据加密
传输数据加密
集群监控
日志管理
集群管理
安全策略

安全模块设计

认证管理模块

身份认证，Kerberos

访问控制模块

角色控制，Sentry

访问规则一旦定义好，这些规则统一作用于多个框架（Hive、Impala、Pig）

存储数据加密模块

加密区，HDFS

传输数据加密模块

Hadoop服务与客户端之间的RPC通信加密

HDFS不同节点间数据块传输加密

集群监控模块

Ganglia

CPU、磁盘利用率、I/O负载，网络状态

Zabbix告警

日志管理模块

ELK

集群管理模块

Hadoop中各组件的UI，统一访问管理

安全策略模块

对不同的安全服务进行级别划分并应用

软件开发架构

采用B/S

软件运行流程

用户访问大数据系统的管理端

用户输入相关信息（用户名、密码）进行认证

认证通过后，可访问各个安全模块

软件界面

读者团队设计的UI

软件测试

测试权限和加密

大数据系统属性基加密关键技术

概述

引入了属性基加密，对身份基加密的改良

预备知识

群知识

一个集合

双线性配对

新算法引入

拉格朗日插值定理

略

访问结构

略

属性基加密方案

理论偏多

属性基加密方案实现

通过调用Hadoop自身提供的HttpFS接口将加密的数据传至HDFS

基于属性的大数据认证加密一体化方案

基于属性的加密方案与对称加密相结合

方案整体架构

授权中心（身份认证、基于属性的加密与解密）
秘钥中心（密钥生成、秘钥管理）
Hadoop平台（数据存储、数据上传与下载）
数据拥有者
数据使用者

身份认证：基于Kerberos协议，用户名和口令对用户身份信息认证
基于属性加密：基于属性基加密算法，通过数据拥有着提供的属性与访问接结构信息对数据加密
基于属性解密：数据使用者提供的属性与私钥对加密数据解密

Hadoop平台：存储加密后的数据，提供数据存储，数据上传与下载

数据拥有着：对数据进行对称加密与上传

数据使用者：对数据进行解密与下载

方案运行流程

系统初始化：生成加密方案中的PK，及PK相关的主密钥MSK
数据拥有着向秘钥中心申请一个AESS对称加密秘钥
秘钥中心生成AES加密秘钥DEK，发给数据拥有着，数据拥有着使用DEK加密文件，得到密文CT
数据拥有着向授权中心发出基于属性加密的请求，并发送属性访问结构S与待加密的DEK
授权中心加密DEK得到密文CD，发给数据拥有着
数据拥有着将密文CT和CD上传到Hadoop平台
数据使用者向授权中心申请解密对称秘钥DEK，用户需要输入用户名口令认证通过后，将自己的属性列表A发给授权中心，授权中心返回私钥SK
数据使用者解密CD，得到DEK

安全性分析

数据机密性

满足了访问控制策略的用户才能解密加密后的秘钥

认证与访问控制

控制了用户对文件的解密权限

功能测试

需要输入用户名和密码进行验证
规定访问结构
用户输入数据后，被加密成不可读的序列化数据
解密

性能测试

混合加密方案时间远小于直接进行基于属性加解密的时间

混合方案更适用

方案总结

略

大数据系统远程数据审计关键技术

概述

大数据平台的硬件问题可能导致文件丢失或损坏，数据使用者需要验证数据的完整性
传统的完整性验证不仅需要本地留存数据备份，还需要将数据下载到本地才能验证，造成网络带宽，计算和存储的浪费
远程审计方案不需要下载

远程数据审计方案

基于两方模型的远程数据审计方案

不断在改善完整性的方案

用户与服务器两方

基于三方模型的远程数据审计方案

用户、服务器、云存储

分布式+云+PKI的审计

远程数据审计方案需求

多用户审计：对不同机构的身份进行认证
动态数据审计
公开审计：公正公平公开
资源消耗少：提高审计效率，减小审计的存储和计算开销

预备知识

密码学基础

同态标签

双线性映射，密码学中一个有用的工具；在属性基加密中提到过

数据结构

平衡更新树
支持动态数据审计

初始化时，用户就计算每个数据块的数据块标签，平衡更新树为空
数据没更新，用户用原始的数据块标签验证数据完整性
数据更新，先修改平衡更新树，计算更新后的数据块标签，并将数据块和标签发送给远程服务器
远程服务器存储数据和数据块标签

ITable
支持动态操作
不适合Hadoop平台

Merkle哈希树
认证结构，检查一系列数据是否完整

分布式计算框架

看到了分布式计算框架，就想到了MapReduce，还真是介绍了一遍MapReduce

系统审计模型

数据拥有者、数据使用者、第三方审计者、大数据平台

大数据平台向数据拥有着和数据使用者提供存储与计算服务
数据拥有者存储
数据使用者使用授权数据
第三方审计者定期审计，验证完整性
数据拥有者和数据使用者定期询问第三方审计者的审计报告

单用户远程动态数据审计方案

利用平衡更新树，实现行级别的更新操作，设计行级别更新与快级别更新之间的映射关系，实现文件中任意位置的行级别插入修改删除

方案描述

方案描述

数据拥有者获取公钥PK、私钥SK
数据拥有者将文件m分成n个相同大小块，生成并公布标签，将m发送给大数据平台
数据拥有着更新数据，生成标签，更新平衡树，大并上传更新数据平台
审计者选择随机秘钥，计算并将挑战值发送给大数据平台
大数据平台生成随机数，计算R，发给审计者
审计者计算并检查

行级别的动态更新

数据拥有者对数据进行动态操作，并相应修改平衡更新树(Line_Insert、Line_Modify、Line_Delete)
数据拥有者向大数据平台发请求更新
大数据平台修改平衡更新树，并存储
两者平衡更新树应相同

行级别与快级别的映射关系

数据块被分为多个行，每行都有一个索引

方案分析

正确性分析

如果数据拥有者和大数据平台诚实，则两者平衡更新树相同

安全性分析

该方案安全，并支持公开验证

性能分析

可计算出时间复杂度

方案对比

略

方案总结

现有的远程数据审计，动态更新是基于块的，本方案是行级别更新，与块级别的映射，支持公共验证和隐私保护，计算和通信开销小

支持并行计算的单用户远程动态数据审计方案

为提高审计效率

方案描述

更新算法描述

并行计算算法设计

方案分析

方案总结

引入数据块索引表支持插入、修改、追加、删除

基于MapReduce审计算法的并行计算

多用户动态数据审计方案

全篇理论，有点难懂

大数据系统隐私保护关键技术

未完待续

apache Metron

apache Spot

DSMM

DCMM

DPO