治理与安全

构建企业级智能化模型治理与安全防护平台

数据安全新时代

数据安全、防泄漏、隐私保护

结合监管要求制定企业级安全治理体系,构建全方位的智能化模型治理防护平台

全面防护
隐私保护
合规监管
审计追踪

数据安全治理的重要性

数据安全事关国家安全、社会稳定、经济发展和人民福祉。随着《数据安全法》《个人信息保护法》《关键信息基础设施安全保护条例》等法律法规的出台,企业面临着前所未有的数据安全治理挑战。

在人工智能快速发展的今天,数据和模型安全已经成为企业核心竞争力的重要组成部分。企业需要建立完善的数据安全治理体系,实现对数据全生命周期的安全防护,同时针对AI模型安全特有的风险进行专项防护。

国家"十四五"规划明确要求保障国家数据安全,要求做好数据资源全生命周期安全保护,建立数据分类分级管理、数据安全审查、数据安全风险评估、监测预警和应急处置等基本制度。

数据与AI模型面临的安全挑战

数据泄露风险

企业在数据收集、存储和使用过程中,面临着因数据处理不当、非授权访问、恶意攻击、诱导交互等问题导致的数据和个人信息泄露风险。

AI模型安全风险

人工智能模型面临可解释性差、偏见歧视、鲁棒性弱、被窃取篡改、输出不可靠以及对抗攻击等多种安全风险。

隐私保护挑战

随着隐私保护法规的完善和用户隐私意识的提高,企业需要在数据利用与隐私保护之间寻求平衡,防止隐私侵犯和合规风险。

审计追踪难题

随着数据流转路径复杂化,如何实现高效的审计追踪,准确定位安全事件和责任主体,成为企业数据安全治理的重要挑战。

合规挑战

企业需要应对不断更新的数据安全法规和行业标准,确保数据处理和AI应用符合监管要求,避免法律风险和声誉损失。

技术管理挑战

需要建立技术与管理相结合的安全防护体系,解决人员、流程、技术协同问题,构建可持续的安全治理能力。

智能化模型治理与安全防护平台

面对多维度的安全挑战,企业需要一个综合性的智能化平台,实现从数据到模型的全方位安全防护

平台架构

基础设施层

安全计算环境、基础防护、算力资源

数据治理层

数据分类分级、安全存储、访问控制

模型安全层

模型漏洞检测、安全评估、隐私计算

安全管控层

安全策略、行为审计、风险监测

应用服务层

安全开发框架、接口安全、输出控制

综合治理层

合规管理、安全运营、应急响应、安全可视化

核心功能模块

资产管理中心

实现对应用系统、数据源、主机资产、人员账号等各类资产的识别与登记,并基于行业规则实现数据分类分级,形成资产目录与资产关系图。

能力管控中心

标准化对接异构安全设备,基于资产分级结果远程下发安全策略,实现多设备信息联动,包括数据库加密、数据脱敏、API风险监测等安全工具的纳管对接。

分析监管中心

支持低代码创建多种流处理模型,实时分析安全日志,发现威胁与异常行为。包括原始日志、告警管理、风险管理、事件管理等模块。

安全运营中心

提供国家标准的安全运营流程及量化指标,在线合规审查、生成安全报告、事件闭环管理,综合提升运营效率与准确性。

态势感知中心

对资产分布、数据风险、用户行为等多类指标进行可视化呈现,提供直观的安全态势监控界面。

模型治理中心

针对AI模型的管理与安全治理,包括模型登记、评估、监控、版本控制和安全测试,确保模型安全可靠运行。

关键技术与方法

基于图算法的关键权限人员识别技术

通过将企业资产信息和人员账号信息转换为图数据,识别系统结构中潜在的关键权限人员,提供多维度的影响力评估。

  • 基于节点影响力的衡量
  • 基于信息传递路径的衡量
  • 基于数据敏感等级的衡量

该技术可以发现系统中潜在的权限影响因素,并可从多个角度衡量不同含义的权重影响力,识别结果可解释性强。

基于生成对抗网络的异常检测方法

使用无监督的深度学习方法,针对用户与实体行为的异常检测,有效识别安全威胁。

  • 利用生成对抗网络重建信号并进行异常检测
  • 基于注意力机制的模型架构
  • 针对安全场景的时间序列矩阵采样方法

与传统方法相比,该方法的精确率、召回率和F1值均有显著提升,适合生产环境下的安全分析场景。

数据安全平台设计

数据安全平台是以数据为中心,面向数据全生存周期构建的安全管理与防护体系,融合多种数据安全技术实现数据安全治理的平台化数据安全防护。

平台功能特色

  • 资产梳理能力:通过资产自动发现和分类,建立完整的数据资产目录
  • 跨部门层级协作:支持多部门协同的安全策略制定与执行
  • 大数据分析技术:融合图算法、异常检测等先进分析方法
  • 安全链路构建:实现从数据到模型的全链路安全防护
  • 合规管理:自动对接监管要求,支持合规性证明和报告生成

人工智能安全治理框架

治理原则

包容审慎,确保安全

鼓励发展创新,对人工智能研发及应用采取包容态度。严守安全底线,对危害国家安全、社会公共利益、公众合法权益的风险及时采取措施。

风险导向,敏捷治理

密切跟踪人工智能研发及应用趋势,从人工智能技术自身、人工智能应用两方面分析梳理安全风险,提出针对性防范应对措施。

技管结合,协同应对

综合运用技术、管理相结合的安全治理措施,防范应对不同类型安全风险。明确相关主体的安全责任,有机发挥政府监管、行业自律、社会监督等治理机制作用。

开放合作,共治共享

推动人工智能安全治理国际合作,共享最佳实践,提倡建立开放性平台,推动形成具有广泛共识的全球人工智能治理体系。

人工智能安全风险分类

人工智能内生安全风险

模型算法安全风险
  • 可解释性差的风险
  • 偏见、歧视风险
  • 鲁棒性弱风险
  • 被窃取、篡改的风险
  • 输出不可靠风险
  • 对抗攻击风险
数据安全风险
  • 违规收集使用数据风险
  • 训练数据含不当内容、被"投毒"风险
  • 训练数据标注不规范风险
  • 数据泄露风险
系统安全风险
  • 缺陷、后门被攻击利用风险
  • 算力安全风险
  • 供应链安全风险

人工智能应用安全风险

网络域安全风险
  • 信息内容安全风险
  • 混淆事实、误导用户、绕过鉴权的风险
  • 不当使用引发信息泄露风险
  • 滥用于网络攻击的风险
  • 模型复用的缺陷传导风险
现实域安全风险
  • 诱发传统经济社会安全风险
  • 用于违法犯罪活动的风险
  • 两用物项和技术滥用风险
认知域与伦理域安全风险
  • 加剧"信息茧房"效应风险
  • 用于开展认知战的风险
  • 加剧社会歧视偏见、扩大智能鸿沟的风险
  • 挑战传统社会秩序的风险

应对措施

技术应对措施

针对内生安全风险

  • 提高可解释性、可预测性,为人工智能系统内部构造、推理逻辑、技术接口、输出结果提供明确说明
  • 建立并实施安全开发规范,尽可能消除模型算法存在的安全缺陷、歧视性倾向,提高鲁棒性
  • 遵循数据收集使用、个人信息处理的安全规则,严格落实用户权益保护
  • 加强知识产权保护,在训练数据选择、结果输出等环节防止侵犯知识产权
  • 使用真实、准确、客观、多样且来源合法的训练数据,及时过滤失效、错误、偏见数据
  • 加强人工智能算力平台和系统服务的安全建设、管理、运维能力

针对应用安全风险

  • 建立安全防护机制,防止模型运行过程中被干扰、篡改而输出不可信结果
  • 建立数据护栏,确保人工智能系统输出符合相关法律法规
  • 根据用户实际应用场景设置服务提供边界,裁减人工智能系统可能被滥用的功能
  • 通过技术手段判别不符合预期、不真实、不准确的输出结果
  • 加强对人工智能生成合成内容的检测技术研发
  • 防止产生民族、信仰、国别、地域、性别、年龄、职业、健康等方面歧视

综合治理措施

实施人工智能应用分类分级管理

根据功能、性能、应用场景等,对人工智能系统分类分级,建立风险等级测试评估体系

建立人工智能服务可追溯管理制度

通过数字证书技术对面向公众服务的人工智能系统进行标识管理

完善数据安全和个人信息保护规范

明确人工智能训练、标注、使用、输出等各环节的数据安全和个人信息保护要求

构建负责任的人工智能研发应用体系

研究提出"以人为本、智能向善"在人工智能研发应用中的具体操作指南和最佳实践

强化人工智能供应链安全保障

推动共享人工智能知识成果,开源人工智能技术,增强供应链来源多样性

推进人工智能可解释性研究

从机器学习理论、训练方法、人机交互等方面组织研究人工智能决策透明度、可信度、纠错机制等问题

建立安全风险威胁信息共享和应急处置机制

构建人工智能安全事件应急处置机制,制定应急预案,开展应急演练

加大人工智能安全人才培养力度

推动人工智能安全教育与人工智能学科同步发展

建立健全宣传教育、行业自律、社会监督机制

加强人工智能安全风险及防范应对知识的宣传,提高全社会人工智能安全意识

人工智能安全开发应用指引

模型算法研发者安全指引

  • 切实践行"以人为本、智能向善"理念宗旨,遵循科技伦理规范
  • 重视数据安全和个人信息保护,尊重知识产权和版权,确保数据来源清晰、途径合规
  • 确保模型算法训练环境的安全性,包括网络安全配置和数据加密措施等
  • 评估模型算法潜在偏见,加强训练数据内容和质量的抽查检测
  • 结合目标市场适用法律要求和风险管理要求,评估人工智能产品和服务能力成熟度
  • 做好人工智能产品及所用数据集的版本管理,商用版本应可以回退到以前的商用版本
  • 定期开展安全评估测试,构建多样化的测试数据集,涵盖各种应用场景
  • 评估人工智能模型算法对外界干扰的容忍程度

人工智能服务提供者安全指引

  • 对使用的人工智能模型进行全面安全评估,明确了解其性能边界和安全风险
  • 建立防篡改、防攻击的技术措施,确保服务稳定可靠运行
  • 实施严格的数据管理制度,保障用户数据安全和隐私保护
  • 建立实时监控系统,及时发现和应对异常情况
  • 设计完善的安全控制机制,防止服务被滥用于非法用途
  • 对高风险应用场景设置额外的审查和防护措施
  • 对服务输出内容进行适当标识,并提供可验证的真实性证明
  • 建立健全的用户投诉和反馈机制,及时响应安全问题

重点领域使用者安全指引

  • 制定人工智能应用安全策略,明确安全责任分工和操作流程
  • 对人工智能系统进行安全影响评估,特别关注关键业务和敏感数据处理场景
  • 建立人工智能应急响应机制,确保在异常情况下能够快速切换到人工操作或备用系统
  • 构建多层次监督审查机制,对人工智能决策结果进行人工复核
  • 严格控制输入数据质量,避免错误或恶意数据干扰系统正常运行
  • 加强员工培训,提高人工智能安全应用意识和技能
  • 定期评估人工智能系统安全状况,及时更新安全防护措施

社会公众安全应用指引

  • 提高辨别人工智能生成内容的能力,不轻信AI生成的未经验证信息
  • 保护个人隐私,谨慎向AI系统提供敏感个人信息
  • 使用可信来源提供的AI服务,了解服务提供方的安全和隐私政策
  • 对AI系统生成的内容和建议保持理性判断,必要时寻求专业人士确认
  • 发现AI系统异常或有害行为时,及时向服务提供商或监管部门反馈
  • 培养数字素养,学习基本的AI安全知识
  • 参与社会监督,关注人工智能安全发展动态

构建安全可控的智能化未来

智能化模型治理与安全防护平台是企业应对数据安全挑战、保障AI模型安全可靠运行的重要基础设施。通过技术与管理的深度融合,打造全方位的安全防护体系,企业才能在享受AI创新红利的同时,有效控制安全风险,确保合规发展。

数据安全
模型治理
合规发展