使用 Amazon Bedrock 护栏保护 DeepSeek 模型部署

前言

生成式AI的快速发展，将DeepSeek-R1等强大的公开可用大语言模型（LLMs）推向了创新前沿。DeepSeek-R1模型现可通过Amazon Bedrock Marketplace和Amazon SageMaker JumpStart访问，其蒸馏版本可通过Amazon Bedrock Custom Model Import使用。据DeepSeek AI介绍，这些模型在推理、编码和自然语言理解方面表现出色。然而，与所有模型一样，在将其部署到生产环境中时需要慎重考虑数据隐私要求、妥善管理输出中的偏差，并且需要建立健全监测和控制机制。

采用DeepSeek-R1等开源、开放权重模型的企业，有机会解决以下几个重要考虑因素：

• 基于OWASP LLM Top 10和MITRE Atlas等资源，加强安全措施以防止潜在滥用。

• 确保敏感信息得到保护。

• 促进负责任的内容生成实践。

• 努力遵守相关行业规定。

特别是在医疗保健、金融和政府服务等高度受监管的行业，数据隐私和内容准确性对其至关重要，上述问题对于这些行业尤为重要。

本文针对使用Amazon Bedrock Guardrails为DeepSeek-R1和其他开放权重模型实施强健安全保护，提供了全面指南，将探讨以下内容。

• 如何使用Amazon Bedrock提供的安全功能来保护数据和应用。

• 如何实施防护机制以防止提示攻击和过滤有害内容。

• 如何实施深度防御策略。

通过本文指南，您将了解如何在保持严格安全控制和促进道德人工智能实践的同时，充分利用DeepSeek模型的先进功能。无论是开发面向客户的生成式AI应用或是开发内部工具，这些实施模式都有助于满足安全、负责任的AI要求。遵循这种循序渐进的方法，企业可以根据人工智能安全和保障的最佳实践，部署DeepSeek-R1等开放权重大语言模型（LLMs）

可通过注册亚马逊云科技官网，了解更多内容。

Amazon Bedrock 上的 DeepSeek 模型和部署

DeepSeek AI是一家专注于开源基础AI模型的公司，近期推出了DeepSeek-R1模型。根据其论文描述，这些模型在行业基准测试中展现出了卓越的推理能力和性能。根据第三方评估，这些模型在质量指数、科学推理与知识、定量推理以及编程（HumanEval）等多个指标上始终位居前三。

DeepSeek AI通过发布基于DeepSeek-R1的六个密集模型来进一步扩充其产品组合，这些模型构建在Llama和Qwen架构之上，并已开源。现在用户可以通过亚马逊云科技生成式AI解决方案访问这些模型：DeepSeek-R1可通过Amazon Bedrock Marketplace和Amazon SageMaker Jumpstart获取，而基于Llama的蒸馏模型则可通过Amazon Bedrock自定义模型导入功能来部署。

Amazon Bedrock 提供全面的安全功能，以帮助安全地托管和运行开源和开放权重模型，同时保持数据隐私和法规合规性。主要功能包括静态和传输中的数据加密、精细访问控制、安全连接选项和各种合规性认证。此外，Amazon Bedrock 还为内容筛选和敏感信息保护提供护栏，以支持负责任的 AI 使用。亚马逊云科技通过广泛的平台范围的安全性和合规性措施来增强这些功能：

• 使用 亚马逊云科技Key Management Service （亚马逊云科技KMS） 对静态和传输中的数据进行加密
• 通过 亚马逊云科技Identity and Access Management （IAM） 进行访问管理
• 通过 Amazon Virtual Private Cloud （Amazon VPC） 部署、VPC 终端节点和用于 TLS 检查和严格策略规则的 亚马逊云科技Network Firewall 实现网络安全
• 用于 亚马逊云科技账户级监管的服务控制策略 （SCP）
• 用于访问限制的安全组和网络访问控制列表 （NACL）
• 合规性认证，包括 HIPAA、SOC、ISO 和 GDPR
• Amazon Bedrock 的 亚马逊云科技GovCloud（美国西部）中的 FedRAMP High 授权
• 通过 Amazon CloudWatch 和 亚马逊云科技CloudTrail 进行监控和日志记录

在部署到生产环境时，组织应根据其特定的合规性和安全需求自定义这些安全设置。作为其安全流程的一部分，亚马逊云科技对所有模型容器进行漏洞扫描，并且只接受 Safetensors 格式的模型，以帮助防止不安全的代码执行。

Amazon 基岩护栏

Amazon Bedrock Guardrails 提供可配置的保护措施，以帮助安全地大规模构建生成式 AI 应用程序。Amazon Bedrock Guardrails 还可以与其他 Amazon Bedrock 工具（包括 Amazon Bedrock 代理和 Amazon Bedrock 知识库）集成，以构建更安全、更可靠的生成式 AI 应用程序，并符合负责任的 AI 策略。要了解更多信息，请参阅 亚马逊云科技负责任的 AI 页面。

核心功能

Amazon Bedrock 护栏可以通过两种方式使用。首先，它可以直接与 InvokeModel 和 Converse API 调用集成，在推理过程中，护栏将应用于输入提示和模型输出。此方法适用于通过 Amazon Bedrock Marketplace 和 Amazon Bedrock 自定义模型导入托管在 Amazon Bedrock 上的模型。或者，ApplyGuardrail API 提供了一种更灵活的方法，允许在不调用模型的情况下独立评估内容。第二种方法可用于评估应用程序各个阶段的输入或输出，以及使用 Amazon Bedrock 外部的自定义或第三方模型。这两种方法都使开发人员能够实施针对其使用案例定制的保护措施，并与负责任的 AI 策略保持一致，从而确保在生成式 AI 应用程序中进行安全合规的交互。

关键的 Amazon Bedrock 护栏策略

Amazon Bedrock Guardrails 提供以下可配置的护栏策略，以帮助安全地大规模构建生成式 AI 应用程序：

1. 内容过滤器

• 可调节有害内容的过滤强度
• 预定义类别：仇恨、侮辱、色情内容、暴力、不当行为和及时攻击
• 包括文本和图像的多模式内容（预览版）

2. 主题筛选器

• 限制特定主题的功能
• 防止在查询和响应中出现未经授权的主题

3. 单词过滤器

• 阻止特定单词、短语和亵渎
• 针对冒犯性语言或竞争对手引用的自定义过滤器

4. 敏感信息筛选器

• 个人身份信息 （PII） 阻止或屏蔽
• 支持自定义正则表达式模式
• 标准格式（如 SSN、DOB 和地址）的概率检测

5. 上下文接地检查

• 通过源接地检测幻觉
• 查询相关性验证

6. 用于预防幻觉的自动推理检查（门控预览版）

其他功能

与模型无关的实现：

• 与所有 Amazon Bedrock 基础模型兼容
• 支持微调模型
• 通过 ApplyGuardrail API 扩展到外部自定义和第三方模型

这个全面的框架可帮助客户实施负责任的 AI，在各种生成式 AI 应用程序中维护内容安全和用户隐私。

解决方案概述

1.防护配置：

• 创建针对您的使用场景定制的特定策略防护，并配置这些策略。

2.与InvokeModel API集成：

• 使用请求中的防护标识符调用Amazon Bedrock InvokeModel API。

• 调用API时，Amazon Bedrock会将指定的防护应用于输入和输出。

3.防护评估流程：

• 输入评估：在将提示发送给模型之前，防护机制根据配置的策略评估用户输入。

• 并行策略检查：为降低延迟，对每个配置的策略进行并行输入评估。

• 输入干预：如果输入违反任何防护策略，将返回预配置的阻止消息，并丢弃模型推理结果。

• 模型推理：如果输入通过了防护检查，则将提示发送到指定的模型进行推理。

• 输出评估：模型生成响应后，防护机制会根据已配置的策略评估输出。

• 输出干预：如果模型响应违反了任何防护策略，则会根据策略的设置，用预配置的信息阻止或屏蔽敏感信息。

• 响应交付：如果输出通过了所有防护检查，则将未经修改的响应返回给应用程序。

准备条件

在利用Amazon Bedrock自定义模型导入功能导入模型，并为其配置防护之前，请确保满足以下准备条件。

1.一个有权访问Amazon Bedrock的亚马逊云科技账户，以及具有所需权限的Amazon IAM角色。为了进行集中式访问管理，建议您使用Amazon IAM Identity Center。

2.确保已使用Amazon Bedrock自定义模型导入功能导入了自定义模型。为便于说明，本例将使用DeepSeek-R1-Distill-Llama-8B，该模型可通过Amazon Bedrock自定义模型导入功能进行导入，部署该模型有两种选择：

• 按照“部署DeepSeek-R1 distilled Llama模型”中的说明，部署DeepSeek的蒸馏Llama模型。

• 使用amazon-samples中提供的说明进行部署。

您可以使用 亚马逊云科技管理控制台创建护栏，如本博客文章中所述。或者，您可以按照此笔记本获取有关如何在此解决方案中创建护栏的编程示例。此笔记本执行以下操作：

• 安装所需的依赖项。
• 使用boto3 API和过滤器创建防护，以满足前述的使用场景需求。
• 为导入的模型配置分词器。
• 使用各种提示测试Amazon Bedrock Guardrails，以展示不同Amazon Bedrock防护过滤的运行效果。

这种方法将防护机制集成到用户输入和模型输出两个阶段，确保了在这两个交互阶段中都能拦截任何潜在的有害或不当内容。对于使用Amazon Bedrock自定义模型导入、Amazon Bedrock Marketplace和Amazon SageMaker JumpStart导入的开放权重蒸馏模型，需要实施的关键过滤器包括用于攻击防护、内容审核、主题限制和敏感信息保护的过滤器。

使用亚马逊云科技服务实施深度防御策略

虽然Amazon Bedrock Guardrails提供了基本的内容和提示安全控制，但在部署任何基础模型，尤其是诸如DeepSeek-R1之类的开放权重模型时，实施全面的深度防御策略至关重要。有关符合OWASP Top 10 for LLMs的深度防御方法的详细指导，请参阅博文《构建安全的生成式AI应用》。

主要亮点包括：

• 从安全开始，培养组织弹性
• 使用 亚马逊云科技服务在安全的云基础上构建
• 跨多个信任边界应用分层防御策略
• 解决 LLM 应用程序的 OWASP 十大风险
• 在整个 AI/ML 生命周期中实施安全最佳实践
• 将 亚马逊云科技 安全服务与 AI 和机器学习 （AI/ML） 特定功能结合使用
• 考虑不同的观点并使安全性与业务目标保持一致
• 准备和缓解风险，例如及时注入和数据中毒

模型级控制措施（护栏）与深度防御策略相结合，可创建强大的安全态势，帮助防范：

• 数据泄露尝试
• 未经授权访问微调模型或训练数据
• 模型实现中的潜在漏洞
• 恶意使用 AI 代理和集成

我们建议在部署任何新的 AI/ML 解决方案之前，使用 亚马逊云科技生成式 AI 工作负载指南进行全面的威胁建模练习。这有助于使安全控制与特定风险场景和业务要求保持一致。

可通过注册亚马逊云科技官网，了解更多内容。

结论

为 LLM（包括 DeepSeek-R1 模型）实施安全保护对于维护安全和合乎道德的 AI 环境至关重要。通过将 Amazon Bedrock Guardrails 与 Amazon Bedrock InvokeModel API 和 ApplyGuardrails API 结合使用，您可以帮助降低与高级语言模型相关的风险，同时仍能利用其强大的功能。但是，重要的是要认识到，模型级保护只是全面安全策略的一个组成部分。

本文中概述的策略解决了使用 Amazon Bedrock 自定义模型导入、Amazon Bedrock Marketplace 和 Amazon SageMaker JumpStart 在 Amazon Bedrock 上托管的各种开放权重模型中常见的几个关键安全问题。这些风险包括提示注入攻击的潜在漏洞、有害内容的生成以及最近评估中发现的其他风险。通过实施这些护栏以及深度防御方法，组织可以显著降低滥用风险，并更好地使其 AI 应用程序符合道德标准和监管要求。

随着 AI 技术的不断发展，优先考虑安全和负责任地使用生成式 AI 至关重要。Amazon Bedrock Guardrails 为实施这些保护措施提供了一个可配置的强大框架，允许开发人员根据其特定使用案例和组织策略自定义保护措施。我们强烈建议您使用 亚马逊云科技指南对您的 AI 工作负载进行全面的威胁建模，以评估安全风险并在整个技术堆栈中实施适当的控制措施。

请记住，不仅要定期审查和更新您的护栏，还要定期审查和更新所有安全控制措施，以解决新的潜在漏洞，并帮助在快速发展的 AI 安全环境中保持对新出现的威胁的保护。虽然今天我们专注于 DeepSeek-R1 模型，但 AI 领域也在不断发展，新模型定期出现。Amazon Bedrock Guardrails 与 亚马逊云科技安全服务和最佳实践相结合，提供了一个一致的安全框架，可以适应在各种开放权重模型中保护您的生成式 AI 应用程序，无论是当前还是将来。通过将安全性视为一个持续的评估、改进和适应过程，组织可以自信地部署创新的 AI 解决方案，同时保持强大的安全控制。