DeepSeek掀起AI大模型热潮，在推动技术迅猛发展以及大模型技术广泛应用的同时，数据泄露、模型偏见、模型幻觉、提示词注入攻击、不可解释等问题带来的生成式人工智能自身风险也引发广泛关注和担忧。

君同创始成员深耕模型可信领域近10年，相继推出国际领先的系列评测工具和防护管控产品，为生成式人工智能从开发到应用全生命周期提供技术领先、场景验证、客户信赖的治理产品方案。

全球现状与监管需求

生成式人工智能以其出色的理解能力和推理能力，越来越多接入各行各业的业务系统。然而在具体应用中，也逐渐暴露出越来越多的风险和隐患，如隐私泄露，越权执行以及违规内容或虚假信息生成等。为此，国内外纷纷推出生成式人工智能相关的标准、体系或行政法规，加强对生成式人工智能的监管。

• 在中国，未按要求进行备案的企业可能面临人工智能产品无法上架或被下架的风险（来源：https://www.cac.gov.cn/2023-07/13/c_1690898327029107.htm）

• 在美国，对传播描绘儿童的淫秽材料的行为进行处罚，其中包括人工智能生成的内容。如果罪名成立，被指控犯有重罪的罪犯将面临重罪处罚（来源：https://www.justice.gov/criminal/criminal-ceos）

• 在欧盟，未遵循《欧盟人工智能法案》，GPAI 模型提供商可被处以最高相当于全球总营业额 3% 或 1500 万欧元的罚款，以较高者为准（来源：https://artificialintelligenceact.eu/the-act/）

• 在西班牙，未标注人工智能生成内容将面临巨额罚款，最高罚3500万欧（来源：数字化转型部长奥斯卡・洛佩斯（Oscar Lopez）在新闻发布会表示加强监管处罚）

大模型风险视图

OWASP 2025 年的 LLM 应用十大安全风险反映了生成式人工智能应用系统存在的新型安全挑战。企业需从技术、管理和流程三个层面入手，将安全、可信及可控融入LLM的全生命周期，以平衡创新与风险，实现可信 AI 的落地。君同依据《OWASP Top 10 for Large Language Model Applications 2025》构建的风险体系，结合团队在人工智能治理领域的数年数百个客户业务场景实践的技术能力积累，推出君同专属的大模型风险洞察视图。

君同风险视图，呈现推理阶段用户请求在大模型系统不同组件下的流转过程，以及在不同组件和环节可能暴露的风险问题。同时，呈现工程师对模型更新训练过程不同组件和流程中的风险可能性。

图：君同全面覆盖OWASP Top 10 for LLM Applications 2025梳理的大模型系统风险视图

产品方案能力演进

2016年起

君同创始成员开始耕耘模型可信领域，研究决策型模型的可靠性、鲁棒性、脆弱性、隐私性、可解释性等评测和防护技术，夯实了在模型“评测增强”方面的技术积累；2021年成为全国最早向国家部委有关机构交付该类解决方案的团队。

2022年以来

君同团队通过符号学派形式化推理、自动化智能测试、对抗样本生成、指令注入攻击模拟等技术开展模型评测和风险研究，推出国际领先的系列评测工具；并基于生成式人工智能多维度模型风险防护、全场景模型监测管控等技术能力，自主研发了生成式人工智能防护管控平台，构成覆盖生成式人工智能从开发到应用全生命周期的治理产品方案。

如今

君同未来在生成式人工智能治理领域完成了在近百个客户数百个业务场景的能力验证，已为包括中央网信办、公安部、工信部和人民银行在内的多个国家级部委下属评测和标准建设机构以及海康威视、字节跳动和蚂蚁集团等领军企业提供产品服务和支持。

君同生成式人工智能治理产品方案，主要由生成式人工智能防护管控系统和生成式人工智能评测验证系统组成，覆盖生成式人工智能从开发到应用的全生命周期治理。

生成式人工智能防护管控系统

行业背景

随着DeepSeek等先进大模型技术的迅猛发展，越来越多的企业将生成式人工智能深度嵌入其运营流程和面向客户的产品中。然而，生成式人工智能应用架构的发展速度已远超其安全与风险管理协议的建设，导致许多应用程序和企业面临较高的安全风险，例如用户恶意设计提示词、操控模型行为，甚至诱导系统绕过安全指令，生成有害内容。

如何保障用户交互的机密数据不被泄露？

如何避免模型输出内容不准确？

如何确保未成年人健康使用AI产品？

如何防止原有业务因添加了大模型对系统带来安全隐患？

如何对私有大模型数据做分类分级管控？

如何解决ollama工具带来的漏洞？

如何防范DeepSeek模型存在的资源消耗漏洞？

做好大模型的防护管控

成为企业践行AI战略过程中必解的一道难题

君同未来提供解题答案！

生成式人工智能防护管控系统，涵盖了大模型从研发、部署到应用阶段的全流程、全方位安全管控，致力于为每一个环节提供深度集成的技术支持和创新性产品解决方案。依托前沿分布式风险检测与托底式输出防护技术架构，在大模型训练、应用阶段持续进行性能优化与安全性强化，实现模型的自适应演进与持续更新。

一、产品能力

1、产品框架图

图注：生成式人工智能防护管控系统框架图

2、产品功能特色

生成式人工智能防护管控系统，全面的风险评估体系与敏捷的应急响应机制，精准识别潜在安全威胁，迅速实施动态防护措施，确保在各类突发情境下提供稳定可靠的技术保障。系统通过智能预警系统与实时监控，保障大模型在实际应用中的高度安全性和持续可用性，为客户提供多维度的安全防护。

多模态防护覆盖

• 实现文本、图像、音视频等多模态模型的防护管控能力全覆盖

全局洞察一览

• 升级模型用户的使用行为、风险、效果、成本等全局洞察一览图
• 采用多维度风险检测技术，实时监控大模型在各类场景中的运行状态
• 开拓交互场景下，多层级多角色权限输入输出内容的差异化管控

精准风险拦截

• 新版本延展毒性内容、隐私、模型代答、输入输出改写等100+防护能力
• 通过智能分析与行为比对，精准识别并高效拦截潜在风险和异常行为，保障大模型系统整体安全
• 从数据预处理、模型训练、部署到应用，全方位保障大模型的安全性，防止数据泄露与恶意攻击，确保模型可靠性和可信度

高性能保障

• 通过智能预警系统与实时监控，保障大模型在实际应用中的高度安全性和持续可用性，为客户提供全维度的安全防护
• 采用模型知识蒸馏和大模型剪枝、量化技术，提升大模型的性能和效率，发挥安全防护能力的同时，快速响应和处理各类威胁，保障业务连续性

多场景国产化适配

• 根据客户不同业务场景和安全需求，灵活调整防护算法的参数和灵敏度，实现个性化定制，满足客户在各个领域的多样化安全防护需求
• 全面适配国产软硬件生态，包括华为昇腾910b系列，天数智凯100系列以及沐曦C500等国产环境，为客户提供安全、可靠、定制化的防护管控解决方案

灵活交付部署

• 支持云端部署、本地/内网部署、边缘部署、混合部署、容器化/微服务部署、SaaS等，通过API/SDK方式接入模型生产环境，毫秒级响应，防护无延迟，满足不同客户安全需求和基础设施条件，提供灵活防护方案
• 私有化部署：可在客户自有数据中心内部署，确保数据不出企业防火墙，满足高安全性与合规性要求
• 一体机方案：提供预配置的一体化设备，快速部署、易于维护，适合对部署时间要求高的场景

二、实践案例

1、一体机安全插件

需求：以DeepSeek一体机为代表的一体机产品，以突破算力瓶颈、缩短大模型部署周期、深度结合业务场景等优势，迅速成为产业化应用的标杆性产品。然而，大量应用在政务、能源、交通等不同领域的DeepSeek一体机仍面临有害内容生成、虚假信息散播、隐私信息泄露等严峻考验。

方案：君同产品方案提供适用于DeepSeek一体机的安全插件，通过意图风险预判、注入攻击检测、主题合规校验、检索内容审核、提示词智能优化五大审核防护能力构建主动防御矩阵，保障DeepSeek一体机的安全性和可靠性。

收益：帮助客户构建覆盖"输入-推理-输出"全链路的智能风控体系，形成端到端安全闭环。

2、品牌对齐

需求：AI技术在广泛的行业应用中常会遇到一些模型内容输出风险，如多模态隐晦信息防护识别效果不佳导致违规内容输出；多模态内容情况下的指令注入攻击导致越权执行；品牌价值观不对齐导致负面舆论信息的传播。

方案：融合多种模态信息来提高对隐晦内容意图的识别准确率，降低违规内容输出风险，提升识别率；采用跨模态注入攻击检测技术防范大模型的指令注入攻击，提升对非法指令的识别和拦截能力；构建非侵入式对齐模型，原有系统运行不被干扰的情况下，实现品牌价值观的一致性。

收益：通过实时数据监控和智能反馈机制优化传播策略，保障了正面舆论的传播，巩固品牌形象和用户信任。

3、智能座舱

需求：智能座舱场景，车主对语音助手、自动驾驶、情感识别等多模态功能的依赖逐渐增加。伴随功能的复杂性提高，恶意指令、违规内容和不安全插件等安全隐患也随之增多。

方案：通过边缘端与云端的协同防护机制应对注入攻击、恶意指令、恶意内容及不安全插件的安全风险；利用轻量化的大模型实时处理车内传感器数据，快速识别并拦截恶意指令和不当内容，确保系统即时响与安全；对边缘端传输数据深度分析，实时检测并拦截恶意指令、违规内容以及潜在不安全插件，确保车辆智能系统的整体安全与合规。

收益：实现恶意指令防护成功率99.8%、多模态恶意内容检测率99.7%，提升了智能座舱安全性和用户信任度。

⇩

生成式人工智能评测验证系统

你的生成式人工智能合规可信、性能可用、安全可控吗？

君同生成式人工智能评测验证系统有答案

生成式人工智能评测验证系统致力于基于海量样本、多元评价、红队测试、MoE专家评测等多样化技术基座，构建了应用评测、安全评测、RAG评测以及Agent评测四大体系，验证生成式人工智能系统的可信性、可用性和合规性，有效助力企业开展大模型选型、智能体安全评测，帮助监管单位进行安全监管和能力摸排。系统旨在识别因数据偏差、逻辑缺陷及伦理失范所引发的潜在问题，目标是验证生成式人工智能的可靠性、可控性、可用性、隐私性以及安全性，为生成式人工智能的持续优化与进化提供坚实的科学依据和技术支持。

一、产品能力

1、产品框架图

图注：生成式人工智能评测验证系统框架图

2、产品功能特色

（1）评测体系进阶

• 始于合规又不止于合规，搭建“合规-能力-应用”的进阶评测体系，内置100+场景定制化测评方案，千万量级智能题库，基于特定领域的跨行业评测题自动生成能力

• 覆盖文本/图像/音视频多模态评测，支持RAG知识可靠性、Agent任务完成度等100+细分场景专项评测，通过智能题库工厂生成跨领域测试用例，解决特定领域评测覆盖度不足的行业痛点

• 构建多维评测基准和动态榜单体系，为企业提供从选型评估、调优指导到落地验证的持续全生命周期优化闭环，缩短生成式人工智能产品商业化落地周期

（2）动态多维可视化评测结果呈现 

• 基于自适应红队攻击引擎与50+攻击模式知识库，模拟复杂对抗环境验证模型防御韧性，利用风险感知探针对模型进行全域扫描，提前发现数据投毒、提示词注入攻击等新兴攻击风险，提高模型安全防御能力迭代效率

• 引入专家混合架构（MoE），针对不同细分领域设定定制化专家模型评测方案，确保评测结果精准反映各领域的核心风险和能力表现

• 定制模型能力多维评测报告，包含清晰图表、详细分项等各项能力的量化对比功能，覆盖潜在隐私风险、虚假信息生成、越权行为等多元风险类型的精确识别和风险评级

（3）自研评分框架驱动模型优化

• 提供模型优化对齐建议（如优化策略、语料审查、能力对齐等），支持风险对齐样本导出，加速模型的精准对齐和持续优化

• 自研专家模型的自动评分框架，利用智能评估技术（基于多专家投票机制与分歧度分析与人类对齐度的量化反馈学习）优化评估结果，提供模型的分阶段整改方案和风险缓解措施

（4）自研组件库实时风险追踪

• 自研模型风险评测更新组件库（组件库自动采集整合多渠道最新风险信息，包括提示词注入攻击、风险事件和漏洞机制等），持续追踪并定期更新风险数据

• 依托价值观对齐工坊，根据风险样本生成对齐样本，量化分析模型输出中的伦理偏离度，生成针对性对齐训练数据，满足客户对于模型价值观对齐的数据需求，有效降低价值观偏差引发的舆论争议风险

3、产品优势亮点

（1）内置国内外20+评测体系，个性化适配300+评测标准选择

• 深度参与公安部行业标准《互联网交互式服务安全管理要求 第19部分：生成式人工智能服务》、国际标准IEEE P3549《Inference Optimization Systems of Large Language Models》等22项国内外多项人工智能领域标准制定

• 内置国内外20+评测体系，包含国内TC260-003《生成式人工智能服务安全基本要求》，国际《OWASP Top 10 for LLM Applications 2025》等生成式人工智能相关安全要求，通过智能标准解析引擎实现法规条款的自动化映射，完成法律合规框架与伦理准则的深度融合，助力企业快速满足监管合规

• 系统可个性化适配300+评测标准选择，全面支撑金融、教育、能源、医疗等多垂直行业对模型能力检测评测的个性化需求

（2）全栈式自动化智能测评引擎

• 全栈式自动化测评平台，集成智能评测引擎，实现“合规、能力、应用”多维度评测

• 灵活的定制化配置能力，让自动化测试流程依据不同企业需求迅速调整评测策略

• 支持批量化、实时监控，极大提高模型评测的效率与准确性

（3）升级交付形态和部署方式

• 支持在国产化硬件适配

• 支持国产化一体机形态

• 支持SaaS化的评测服务

二、实践案例

 1、监管场景：大模型备案合规评测

需求：某头部科技公司在面向监管部门提交大模型备案申请时，面临生成内容合规性审查、伦理风险验证及舆论可控性证明等多重挑战。

方案：系统基于智能标准解析引擎自动解析TC260-003《生成式人工智能服务安全基本要求》标准要求，生成涵盖社会主义核心价值观、商业违法、偏见歧视等31项量化评测体系，构建符合监管要求的备案评测矩阵。通过可信评测框架对模型进行多轮价值观测试，结合自适应红队攻击引擎模拟诱导性提问、对抗样本攻击等50+类风险场景，精准定位模型历史虚无主义表述、隐私数据泄露等多类高风险缺陷。

收益：帮助客户完成模型迭代，使生成内容合规率提升至99.2%，攻击抵御成功率达到97.3%，并通过备案审查，构建起"评测-整改-验证"的闭环备案支撑体系。

 2、金融场景：大模型选型技术支持

需求：某商业银行计划引入生成式大模型赋能智能投顾、风险评估及合规审查等核心业务，但面临模型性能参差不齐、金融合规适配性模糊及黑盒决策风险等选型难题。

方案：系统构建覆盖金融文本生成、数值推理、监管合规、风险感知4大核心能力的动态评估矩阵；通过自动生成金融监管要求的600类专项测试用例，结合高频交易指令解析、财报矛盾检测、反洗钱话术对抗等8类业务场景模拟，深度验证模型在金融垂直领域的逻辑严谨性与合规敏感性；通过模拟市场操纵话术诱导、监管套利话术生成等15种金融领域特有攻击模式，量化评估模型抗干扰能力与风险防御阈值。

收益：输出包含金融适配指数、合规风险热力图及成本效益分析的可视化选型报告，揭示某候选模型在监管条款响应以98.1%准确率、96.7%金融术语一致性等维度显著领先，辅助客户在2周内完成最优模型遴选。

 3、端侧场景：品牌价值观对齐

方案：系统精准评测智能车载场景的大模型品牌价值观对齐能力，设计了一套覆盖107个车载相关的能力评测体系，为企业量身定制特性舆论事件评测信息。

收益：帮助企业快速对齐品牌价值观。

目前，君同生成式人工智能治理产品方案已广泛应用于证券智能客服、电力调度系统、内容生成平台等场景下，帮助客户快速完成模型的安全合规测试，并提供相应的增强提升咨询和有效的管控防护服务支持，满足丰富场景下的生成式人工智能治理需求。