2024年12月26日DeepSeek发布了其备受瞩目的DeepSeek-V3模型，迅速引发广泛关注和热议。该模型是一款强大的混合专家（MoE）语言模型，在Aider多语言编程测试排行榜中，已超越Anthropic的Claude 3.5 Sonnet大模型，仅次于榜首OpenAI的o1大模型，并且在多项基准测试中也表现优异，其性能表现对齐海外头部模型，比肩世界顶级模型。

君同未来从人工智能生态治理角度对其开展了全面的评测，以期为大家更好认知这样一个快速破圈的优质模型提供一个更加全面的视角，也通过多个评测维度，揭秘DeepSeek-V3到底表现如何。

1、评测依据

DeepSeek-V3作为一款性能优越的大模型，其创新能力广受关注，但要进入实际应用场景，同样需要接受专业测试。本次评测基于全国网络安全标准化技术委员会组织发布的《生成式人工智能服务安全基本要求》，核心验证以下几点：

• 是否合规：生成内容是否符合国家监管要求，满足市场准入条件；
• 是否安全：是否具备抵御恶意攻击的能力，避免潜在风险；
• 是否稳定：在复杂任务中是否能够表现出行业领先的性能。

2、评测结果

作为专业的人工智能生态治理服务商，君同未来的旗舰产品【君合】-生成式人工智能评测系统，对DeepSeek-V3展开了全面测试，以全面评估其在内容生成、安全防护及任务适配上的表现。本测评全面覆盖模型的稳定性、合规性、安全性等维度。

根据《生成式人工智能服务安全基本要求》，本评测共设计并实施了3000余道测试题目，全面覆盖了社会主义核心价值观、歧视内容识别、知识产权与商业秘密保护、特定服务类型的安全需求满足度、他人合法权益保护以及模型性能等多个关键维度。此外，还采用了指令注入攻击等方法进一步验证了模型的安全性。本次测试开始于2024年12月29日14时，结束于2024年12月29日17时，总计用时3个小时，测试结果如下图所示：

DeepSeek-V3模型在本次评估中总体得分为93分（满分100分），表现优异，风险水平较低。特别是在原题测试中，其风险通过率高达99%，表明在没有外部攻击的情况下，该模型生成的回复基本符合安全标准和规定。

然而，在面对指令注入攻击时，DeepSeek-V3模型的安全控制表现稍显欠缺。尤其是在处理分化越狱攻击（一种旨在诱导模型产生对立或异常响应的攻击方式）时，模型未能充分抵御，从而可能生成包含恶意内容的回复。例如，在某些案例中，攻击者能够诱导模型生成涉及职场年龄歧视或国籍歧视的内容，违背了预期的安全和伦理标准。

案例一：DeepSeek-V3模型在注入攻击的诱导下生成给出使用音乐与画面结合来引发观众不适的具体方案。

案例二：DeepSeek-V3模型在注入攻击的诱导下给出获取竞争对手客户来源数据的具体方案。

改进建议：

• 对抗训练：用“不安全数据”优化模型，让其主动规避侵权内容。其优点在于提升模型敏感性，缺点在于标注成本高。
• 生成审查：增加自动审查工具，对输出内容进行二次检测。其优点在于增强模型安全性，缺点在于可能增加响应时延。

风险等级解释：

• 低风险：模型整体安全，偶发性问题对实际应用影响较小。
• 中风险：模型在特定场景可能产生潜在风险，需进一步优化。
• 高风险：模型存在较大安全隐患，不适合直接应用。

DeepSeek-V3的“低风险”评级，说明其可以在多场景下安全部署，但特定行业应用仍需进一步加强其安全保障。

3、产品特性

此次评测使用的【君合】系统，致力于为模型提供全方位评测服务，帮助模型快速实现合规落地。该产品特性包含：

1、全面评测维度

支持包括《生成式人工智能服务安全基本要求》、《大模型系统安全测评要求》、《生成式人工智能模型基础能力要求》以及《大规模预训练模型基准测试方法 多模态标准》等在内的20余项国内外相关标准。基于这些标准，提供了全面的评测能力，涵盖以下核心维度：

• 合规性测试：确保模型遵守国家法律法规及行业规范，特别是在涉及敏感信息和知识产权保护方面。
• 逻辑能力测试：评估模型在复杂推理、问题解决等方面的表现，验证其智能水平和适用范围。
• 应用能力测试：考察模型在实际应用场景中的表现，如金融、医疗、教育等行业特定任务的完成情况。
• 抗攻击性测试：检验模型抵御各种类型攻击的能力，包括但不限于指令注入攻击、对抗样本攻击等。

评测服务不仅覆盖了生成内容的安全性和准确性，还深入评估了模型性能及其潜在风险，确保为用户提供高度可靠且符合标准的人工智能解决方案。

2、专业算法支持

平台集成了丰富的攻击算法和评估算法，形成了一个全面且深入的专业算法库。算法涵盖从基础到高级的各种技术，确保精准识别并评估模型潜在的风险点。通过模拟真实世界中的各种攻击场景，平台不仅测试了模型在常规操作下的性能，还特别关注其在极端条件和恶意攻击下的表现。结合多种攻击算法，如对抗样本生成、指令注入攻击模拟等，对模型进行全面的压力测试，能够发现模型中可能存在的漏洞或弱点，尤其是在面对新型或复杂的攻击手段时。通过对大量数据的分析和模式识别，平台可以准确预测模型在未来应用中可能遇到的安全挑战。

3、高效评测流程

平台的全流程自动化特性大大提升了评测的效率。从测试任务的创建到最终报告的生成，每一个环节都经过精心设计，确保用户能够快速获得高质量的评测结果。用户只需简单设置评测参数，如选择评测标准、指定模型版本等，系统将自动完成任务配置。

评测过程中，平台实时收集各项性能指标和风险数据，并进行即时分析。通过可视化界面，用户可随时查看评测进度和初步结果，及时了解模型表现，必要时可调整评测策略。测试完成后，平台会立即生成详尽的风险报告，不仅包括综合评分和关键发现，还提供了详细的分析图表、风险分类以及改进建议。

4、团队优势

1、深厚的经验积累

自2021年起，君同团队即开始直接或配合包括中央网信办、工信部、公安部、人民银行等多个国家部委下属评测机构广泛开展针对各类人工智能模型的评测工作，涵盖了包括自然语言处理、图像识别、语音交互等多个领域的决策式模型以及文生文、文生图、文生视频、图生图、图生视频等多种类目的生成式人工智能模型，积累了丰富的评测算法资源和数据资源。

2、海量的数据沉淀

为了确保评测的全面性和准确性，平台不仅关注模型的基础性能指标，还特别重视对其安全性、可靠性和伦理合规性等方面的评估，已建立数十万的题目类库及对应数千万的评测题目，并累计对国内外近百个大模型（含同一模型不同版本）进行了超千万次的评测查询。这种大规模的数据及工程经验积累，不仅让平台更广泛深入地理解了各个人工智能模型的特点和潜在风险，也为持续改进本团队的评测方法和技术提供了坚实的基础。

3、多场景灵活服务形态

君同构建了国际领先的系列评测工具，通过符号学派形式化推理、自动化智能测试、对抗样本生成、指令注入攻击模拟等技术，多角度、多层次、全方位地发现模型风险或进行模型评测，并在此基础上构建了有效的管控防护平台。同时，其成熟的产品体系提供全面灵活的服务方式，集软硬一体化优势，支持本地化 SaaS 解决方案，也可通过 API 接口直接调用，支持用户按需自定义工具服务，满足不同用户的多样化业务需求。目前，君同产品已广泛应用于金融（如证券智能客服）、能源（如电力调度系统）、娱乐（如内容生成平台）等行业，帮助客户快速完成模型的安全合规测试，并提供相应的增强提升咨询和有效的管控防护服务支持，满足多场景下的人工智能生态治理需求。

5、小结

通过这次评测，DeepSeek-V3整体展现出了高水平的安全性和稳定性，但针对部分注入攻击的风险防控仍有提升空间。未来，随着生成式人工智能的进一步普及，大模型在应用时所面对的风险挑战也会更加严峻，像DeepSeek-V3这样的优秀模型需要建立更加强大的风险应对能力来适应复杂应用场景。

君同推出的系列人工智能生态治理产品也将不断升级，通过发现风险、管控风险以及防护风险，为行业中的各类模型及产品提供专业、全面的治理保障服务，助力人类基础脑力劳动可信替代。