2024学年山东大学创新实训 智能志愿辅助填报系统

实现该项目的重要步骤是利用AI进行数据分析及实现决策，那么如何使用AI是很重要的。在这周的工作中，我学习并了解了直接调用Deepseek API与本地部署Deepseek 蒸馏模型的区别，以便更好地再接下来的工作中使用。

一、直接调用Deepseek API

优点：

• 零部署成本：无需维护服务器或GPU资源，直接通过HTTP请求调用。

• 始终最新模型：API通常提供最新版本的模型（如DeepSeek-V3），性能优秀。

• 高可靠性：由官方保障服务稳定性，适合高并发或突发流量场景。

• 功能完整：支持完整上下文窗口（如128K tokens）和高级功能（文件解析、多轮对话等）。

缺点：

• 持续费用：按调用次数/tokens收费，长期使用成本较高（尤其高频场景）。

• 网络依赖：依赖API可用性和网络延迟（100-500ms级响应），不适合离线场景。

• 数据隐私：敏感数据需传输到第三方服务器，可能不符合合规要求。

适用场景：

• 短期项目或低频使用。

• 需要最新模型能力（如复杂推理）。

• 无本地GPU资源或运维能力。

二、部署Deepseek 蒸馏模型

优点：

• 长期成本低：一次部署后无按量费用，适合高频调用。

• 低延迟：本地推理（尤其GPU加速）可达到10-100ms级响应。

• 数据隐私：数据完全留在本地。

• ※可定制性：可微调（Fine-tune）模型适配特定任务（如领域术语优化）。

缺点：

• 部署复杂度高：需配置GPU服务器（如A100）、CUDA环境及推理框架（vLLM、Transformers）。

• 性能妥协：蒸馏模型体积小但能力弱于原模型（如参数量减少50%+，精度下降5-15%）。

• 维护成本：需监控资源占用、模型更新、扩缩容等。

适用场景：

• 长期/高频使用的生产环境。

• 对延迟或隐私要求严苛的场景。

• 有足够技术团队和硬件资源。

 综合学习过程，部署Deepseek的蒸馏模型将是本项目所采用的方式，预期将部署1.5B的蒸馏模型。