Kafka系列之：基于Apache Kafka Connect实现端到端topic数据字段级加密的详细方法

一、背景

• 与其他通信工具一样，加密在 Apache Kafka 中很有价值，可以保护数据。
• 希望通过与 Apache Kafka Connect 集成来加密数据来实现这一目标。

二、加密数据降低数据泄露的风险

Kafka 可以利用多种安全功能，从身份验证和授权到基于 TLS 的数据进出 Kafka 主题的线上流量加密。尽管这些措施可以保护传输中的数据，但它们是在 Kafka 内进行的，因此始终存在代理必须查看明文数据并将其暂时保存在内存中的阶段。

这个阶段可以认为是Kafka安全性的盲点。数据可能在磁盘上加密，但 Kafka 代理在存储数据之前会看到明文数据，并在每次从磁盘读回数据时临时解密数据。因此，仅靠磁盘加密无法防止 RAM 抓取和其他巧妙的攻击媒介。

Kryptonite for Kafka 堵住了这个内存漏洞，并提供了额外的复杂性，例如加密结构化数据中特定字段的能力。

三、Kafka 代理外部的加密

让我们想象一个通用的 Kafka Connect 数据集成。假设我们想要加密源自任何数据源的 ConnectRecord 有效负载中发现的敏感字段的特定子集（图 1）。