升级发布
【君检】决策式人工智能评测增强系统，面向人工智能研发及应用机构提供决策式模型的可信评测与增强服务。产品覆盖包括图像、视频、音频、文本、电磁等十余种模态的模型以及各模态下数十个不同的场景，构建了包括数百余种评测和增强算法的整体系统，有效克服了模型只依赖查准率、查重率、召回率、F1等依赖有限样本测试集评价模型的局限性，有效减少人工干预，提升模型评测效率，不仅助力客户减少模型评测过程中的试错成本，实现高效率、低成本的 AI 运营与治理，也帮助用户更好地发现边界及小样本的情况并提供应对相关风险的有效工具，保障决策式人工智能的可信、可靠、可控、可用。
自2022年以来，君同团队着眼于提高人工智能自身的鲁棒性、脆弱性、公平性、隐私性和可解释性等方面，构建了决策式人工智能评测增强系统，同时在服务多个研究机构和企业的过程中不断进行产品打磨，在原算法能力评测和增强的基础上进行了能力迭代，实现决策式人工智能评测增强能力“全周期+全场景+全角度”的扩展升级：
1）新增具身智能、空间智能等新场景覆盖
2）提升至500+ 风险覆盖及漏洞挖掘能力
3）新增自定义样本库，行业级个性化适配
4）模型推理升级可解释分析及透明度呈现
一、发展现状
2024年国家网络安全宣传周主论坛上，全国网络安全标准化技术委员会发布《人工智能安全治理框架》1.0版，其中关注了人工智能的安全风险和治理措施。
图源：https://www.cac.gov.cn/2024-09/09/c_1727567886199789.htm
人工智能技术加速赋能千行百业，日益渗透日常生产生活，并在越来越广泛的场景中替代人类基础脑力进行自主决策。
但由于决策式人工智能自身存在的可解释性差、鲁棒性差、数据和模型隐私泄露、算法存在偏见等问题，使其在应用过程存在着极大风险隐患和治理难度。同时，模型生命周期的各个阶段所使用的治理技术、方法和工具相对分散，尚未形成统一治理体系，难以有效检测模型整个生命周期风险问题。例如，在模型初期开发阶段，往往存在评测样本受局限、风险情况难检测、数据质量无保障、参数设计不科学等问题，开发人员难以评估模型的最终使用效果，需花费大量时间调整和改进模型，开发效率低下。
二、风险分析视图
君同团队在深入研究决策式人工智能的过程中，总结梳理出模型在实际应用场景中的常见风险分析视图，呈现模型在设计、开发、推理、优化、应用等流程阶段可能存在的风险隐患。
图注：君同决策式人工智能风险分析视图
上述各阶段风险因素的共同作用，可能导致模型生成的结果与真实情况存在偏差，影响决策准确性与可靠性。
三、产品功能特色
【君检】决策式人工智能评测增强系统提供支持PB级多模态数据仓库，50+种深度模型以及8+种主流框架，融合200+种评测方法，内置150+种检测增强算法，具备130万亿FLOPs张量算力，集成了全方面、全角度的人工智能算法评测技术，可覆盖全场景应用，最终实现人工智能治理效力和效率的多维度提升。
1、产品框架图
图注：决策式人工智能评测增强系统框架图
2、产品能力
- 具备自动化风险评测能力，通过减少人工干预和提升检测效率，节约人力、降低试错成本，实现更高效、低成本的 AI 运营与治理，真正做到降本增效
- 支持包括图像、文本、音频、表格等的多模态数据和模型，提供可适应于不同应用场景的风险检测服务，支持模拟包含对抗攻击、光线变换和数据投毒等多种评测手段
需求举例：某车企针对智驾中的决策式子系统模块做场景深化的模型安全性评测
- 提供智能化攻防服务，通过集成多种防御算法，帮助用户应对潜在风险，提高人工智能系统的可持续性
- 针对人工智能模型易受攻击的特点，提供空间平滑、对抗训练、特征压缩、混合增强等方法，提升模型在复杂环境下的安全性、泛化能力和稳定性
需求举例：某企业针对自研的检测场景下的决策式模型做评测增强
- 具备全流程 AI 透明化分析能力，通过追踪模型决策路径、量化特征贡献度、分析输入输出关系，帮助用户深入理解 AI 决策过程，确保其符合业务逻辑与安全规范，降低“黑箱”风险
- 支持区间传播验证、神经元贡献度验证、边界验证等方式，使用户能够直观理解模型的决策逻辑、关键影响因素，提升 AI 透明度和可信度
需求举例：某研究所针对相应业务场景下的智能模型的鲁棒安全性做攻防验证
四、产品亮点
算法漏洞库丰富
- 融合200+评测方法，内置150+检测增强算法，算法漏洞库丰富，提供白盒测试、黑盒测试、灰盒测试等多维度评测
- 全面覆盖模型全域风险检测，如风险漏洞，如数据泄露、模型窃取、模型篡改、模型欺骗等，提升其可靠性、隐私性、安全性
检测报告自动化生成
- 内置模型中毒检测、模型鲁棒性检测等方法，实现对模型各要素、全流程的风险检测和自动评估
- 依据预定义风险项和报告模板，自动生成图表可视化的风险检测报告，便于客户直观了解风险
国产信创技术集成
- 集成麒麟操作系统、瑞芯微、华为昇腾多种国产信创技术，兼具高性能、高兼容性、高可扩展性、高安全性、高稳定性、高可控性等优势特点，有效抵御外部攻击和干扰，保护用户的数据、模型的安全和隐私
检测报告自动化生成
- 内置模型中毒检测、模型鲁棒性检测等方法，实现对模型各要素、全流程的风险检测和自动评估
- 依据预定义风险项和报告模板，自动生成图表可视化的风险检测报告，便于客户直观了解风险
多种部署方式支持
- 支持本地和云端部署，可部署在服务器或K8s集群中以适应不同规模和集成程度要求，满足用户个性化需求
- Docker部署实现30分钟快捷安装；用户数据和模型仅在本地网络运行，系统只保留测评结果，用户更安心
五、应用场景
人脸安防系统漏洞挖掘
无人驾驶智能模型性能评测与增强
君检助力各行业客户实现决策式人工智能自身治理，通过可解释性技术、数据治理、模型增强、模型安全管控，实现全生命周期风险治理与动态调整，更好地助力人类基础脑力劳动可信替代。
