摘 要:随着人工智能的广泛应用，数据安全问题在系统运行和多主体协作过程中集中显现。从人工智能系统的运行特征可以看出，关键数据安全风险不再稳定附着于可识别的具体数据对象，使得传统的刚性规制要求难以有效定位风险；以事前预防逻辑为核心的阶段性合规控制，难以覆盖人工智能系统在持续运行和迭代过程中逐步显现的风险累加；在多主体协作运行框架下，不同主体控制能力与责任配置不对等，削弱了责任认定和规则约束的实际效力。亟须从静态、分段式控制转向贯穿系统运行全过程的动态治理，在强化数据使用可追溯性和持续监督能力的同时，重构多主体参与条件下的责任与信任机制，不断提升数据安全治理在人工智能环境中的现实适配性。
关键词:人工智能 数据安全风险 数据治理
【中图分类号】TP309 【文献标识码】A
习近平总书记强调，当前人工智能、大数据等新技术新应用不断涌现，给网络生态治理带来挑战，也提供新的支持条件。要完善分级分类的安全监管机制，筑牢网络安全和数据安全防线。[1]这为应对技术快速发展中的治理与安全协同工作指明方向。生成式人工智能和大语言模型密集涌现，正在以持续而深刻的方式突破既有边界，从文本生成延伸至代码构造、图像创作与决策辅助等复杂任务，推动人工智能从单纯的技术组件，上升为支撑社会运行的基础设施。在释放数字生产力潜能的同时，这一趋势也显著放大了对大规模、高质量数据的依赖，数据资源在人工智能系统中的作用方式呈现出高度复杂化的特征。海量数据和复杂算法相结合，会导致算法决策的黑箱性，也使得潜在安全风险影响决策的科学性。从开放人工智能（OpenAI）、微软（Microsoft）等多家平台相继报道因组件缺陷、权限滥用导致的信息泄露事件可以看出，人工智能运行与数据治理边界之间的矛盾正在持续显化。在这一背景下，探讨人工智能环境中数据安全治理的挑战、症结与对策，对促进负责任的人工智能发展具有重要意义。
近年来，学界围绕人工智能环境下的数据安全问题，从风险类型、风险成因和治理路径等方面展开了较为系统的讨论。数据安全事件会对个人隐私、经济发展、政治稳定和国家利益造成不同程度损害[2]。在风险类型层面，人工智能环境下的数据安全风险已贯穿数据采集、存储、标注、模型训练、系统运行以及生成内容再利用等多个环节[3]，包括数据泄露、数据偏差、“数据投毒”、深度伪造、模型窃取等安全风险，并由此引发个人隐私侵犯、信息质量低下、虚假信息传播和算法偏见歧视等影响社会稳定运行的治理问题。在风险成因层面，相关研究主要从人工智能的技术缺陷和数据治理制度供给不足两个维度展开分析。在技术维度上，人工智能系统的数据驱动性、算法黑箱性和持续迭代机制，使数据缺陷和偏差极易在模型中被固化和放大[4]；在制度维度上，现有制度在规则供给、程序设计和责任配置上仍以传统的静态、分段式治理为主[5]，叠加多主体参与下的利益复杂性[6]，削弱治理措施的实际效力。在应对方面，学界普遍主张通过法律规范、技术手段与多主体协同的综合治理方式，加强对全生命周期的持续管理，并且引入风险评估、审计与标准等治理工具，提升数据安全治理对人工智能复杂运行场景的适应性和可执行性。
风险表征
随着生成式人工智能技术加速嵌入经济与社会活动，数据成为智能系统运行不可或缺的基础条件。算法与模型训练需要对多来源数据进行筛选与重组，系统推理在应用场景中持续调用和更新数据，人工智能与数据之间因而形成紧密交织的“共生”结构与耦合性风险。例如，数据采集与应用端的数据合规风险、数据处理端的隐私安全与算法公平风险、数据存储端的内外部数据泄露与侵害风险等。在带来效率提升和系统扩展的同时，这种结构也使得数据安全问题呈现出新的实践情境。对此，有必要回到数据在人工智能系统中的准入条件、运行过程和主体关系阶段，重新审视当前情境下数据安全风险的表现形态。
数据来源与使用边界不清晰。人工智能系统的有效运行，需要持续获取和使用大量数据。模型训练数据、推理输入数据与业务场景数据在算法内部汇合，不仅具有规模巨大、类型丰富、动态多变、关联复杂、价值密度迥异以及敏感性强等特点，其权属状态与授权运营也存在诸多不确定性。数据提供者、模型开发者与系统运营者之间数据权利边界不明晰，既有的数据记录方式难以实现对授权信息的贯通呈现，导致数据使用边界缺乏连贯一致的识别条件。多源数据在进入系统之前通常经历脱敏、筛选与结构化处理，附着其上的来源说明和用途限制在跨主体流动中被不断简化与再编码，因此合法授权与实际用途之间的对应关系趋向模糊，有的企业可能利用边界模糊规避合规责任。
隐私泄漏风险识别更加隐秘。2023年，深度思维（DeepMind）研究团队利用分歧攻击等方法，发现利用ChatGPT的数据泄露漏洞可提取出大约1GB的训练数据，其中不乏个人信息、代码等敏感数据。在训练与推理过程中，模型持续牵引不同来源数据开展关联分析，大量数据转化为特征与参数后进入到中间表示层，又可通过算法推断在系统输出环节重新指向主体身份、轨迹等敏感属性。传统基于固定规则、以访问权限控制为核心的隐私保护方式，难以覆盖人工智能环境下过多规则匹配、恶意软件攻击等引发的连锁风险，极易导致未知威胁无法检测。
数据最小化原则难以落地。在人工智能应用中，数据销毁面临销毁技术漏洞、残留数据恢复等现实风险，数据通常被长期保留并反复使用，以支持模型优化、性能评估或新的预测任务。一旦数据被纳入模型训练或分析流程，往往被用于多种分析和预测任务。当使用边界不清晰时，难以准确判断数据是否仍处于合理用途范围，大量的数据被用于画像、分类、评估而未被明确告知用途，隐含的数据滥用风险陡增。
合规判断的不确定性显著增加。现行制度将“告知同意”作为个人信息处理的基本条件预设，大模型训练数据具有规模化与匿名化要求，导致这一预设难以形成稳定的操作条件，难免出现罔顾用户权益的过度收集和使用。一方面，数据来源与授权范围的审查无法在早期环节完成；另一方面，模型在运行中不断改变数据的参与方式，导致在面对具体场景时缺乏统一的合规判断与处置依据。此外，数据共享协议中模糊、宽泛的条款措辞客观上也会放大数据合规风险。
数据使用过程难以控制。在实际的人工智能业务场景中，数据一旦被纳入算法训练和系统运行，就不再局限于某项具体处理行为。数据对系统输出的影响可能在较长时间内持续存在，并在不同应用场景中反复呈现。在传统数据使用过程中，原本线性连续、层次分明的建制化操作环境，在复杂多变的不确定环境下已发生根本改变。数据流通中的适用条件、对象、主体，以及影响范围与终止时机等要素难以被持续监控和准确控制，进而扩大数据暴露面、加剧技术脆弱性，并加深数据伦理危机。
算法黑箱与透明度瓶颈难以根治。尽管各国的人工智能监管都强调算法治理和透明度、可解释性，欧盟因X平台（原Twitter）广告库数据不透明等问题对其处以1.2亿欧元罚单，但由于算法透明可能泄露商业机密、可解释AI（XAI）技术成本偏高等原因，导致其具体实施阻力重重。模型训练和推理过程中，数据常以特征抽取、权重调整等方式参与计算，具体处理路径无法以直观、可读形式呈现。这种不可解释性，限制对数据如何影响输出的清晰说明，也阻碍对算法运行机制的追溯和责任划分[7]。一旦引发争议或风险，数据使用者无法确切说明数据所发挥的作用，数据提供者和受影响主体也难以理解数据为何会产生特定结果。
数据状态不可验证加剧数据流转失序。纳入模型训练或运行系统的数据，往往以参数、特征或中间变量形式持续存在，是否仍在对模型输出产生影响，难以通过直观方式加以确认。在持续运行和多次迭代情形下，这一问题格外突出。由于数据使用状态多变，既有合规承诺和风险控制措施难以被有效检验，数据安全问题可能在系统中持续存在，却缺乏有效地发现和纠正依据。有研究尝试用清单化编目把模型组件、训练数据来源与授权信息，整理为可核对的记录，以便在争议出现时能够追溯责任链条。但由于组件来源和授权信息难以整体贯通，这一做法在人工智能系统中仍旧很难形成稳定效果。
数据质量游离于监管边缘。人工智能技术追求高精度、法律要求可解释、伦理对透明与公正的需要，分别从内容颗粒度、过程合规以及伦理规制的不同角度，对数据质量监管提出更高要求。但在现实中，数据清洗不足、标准化不充分、来源单一缺乏代表性等质量问题，非但不能及时修改，还会在模型运行中形成监管盲区，甚至被进一步放大。在模型优化和性能调整过程中，无质量保障的“数据沼泽”会降低业务系统的稳定性和准确率，使数据质量问题从局部风险逐步上升为社会性后果。据相关机构披露，超过80%的机器学习模型容易受到“数据投毒”攻击[8]，通过恶意污染训练数据集来破坏模型决策逻辑与输出可靠性，已经成为当前人工智能系统面临的一个典型数据安全攻击场景[9]。
数据伦理约束易陷入虚置困境。2018年，第40届数据保护与隐私专员国际大会（ICDPPC）发布的《人工智能伦理与数据保护宣言》指出，人工智能的发展使得隐私权和数据保护权正受到越来越多的挑战，应在道德和人权层面弥补。但在实践中，一方面，数据“公平”“透明”等原则难以量化，错误信息和数据操纵等引发的人工智能操纵，已影响人类的认知、成为偏见的来源，并干扰自主性决策，数据偏好与认知偏见、算法歧视等进一步削弱公众对人工智能应用的信任基础。另一方面，实验发现，当使用礼貌和情感化的提示词时，生成式人工智能语言模型更倾向于生成虚假信息。囿于数据真实性不足、多样性缺失、公正性弱化等因素制约，模型训练结果与人类认知的语义理解、逻辑推演易发生偏离。同时，人工智能应用需要进行大规模数据采集与中心化集聚，这必然导致数据集中，从而削弱个人对数据的掌控力，并对个人数据权形成隐性抑制。
数据安全的责任认定无法厘清。人工智能应用涉及数据生产、内容提供、技术开发、系统运营与具体使用等多个环节，数据安全风险的产生与扩散由此分散于不同阶段的多个主体之间。当涉及技术提供者、技术使用者、智能体复杂交互所导致的“权责黑箱”时[10]，技术的发展往往使相关主体的职责边界趋于模糊，传统以单一数据处理者为中心的责任认定方式，难以覆盖完整的运行过程，导致实践中的数据安全责任认定存在事实上的不公平性与不确定性。
责任难以追溯。大模型、智能体的应用需要数据生成者、加工者、提供者以及技术支持者等多主体共同参与数据处理，加之多主体功能的交织嵌套以及“技术与服务”的分离使得数据安全风险难以直接量化到具象化的责任主体。当隐私侵害、数据滥用等危害发生时，现实中很难准确判断问题究竟源自训练数据采集、数据处理、模型训练，还是应用部署的具体阶段和个人。同时，风险后果与责任主体之间对应关系的错位也会进一步加剧责任认定的困难。例如，用户对大语言模型提问的过程也是数据交互过程，如将内容生产者责任完全限定在服务提供者则明显不合理。
协同生态不足。人工智能环境下的数据安全是一个涉及多样主体和多方资源协同互动的过程，单一主体无法应对技术、应用和衍生风险的复杂性。无论算法模型安全、数据全生命周期安全，还是硬件设备等技术安全，都需要数据科学家、算法工程师、产品经理、测试工程师、运维工程师以及云服务团队等不同专业背景和职责人员间的紧密协作。由于责任边界模糊、技术碎片化部署、标准差异、工作节奏和利益诉求不一，导致数据安全治理仍处于“各自为战”局面。同时，从模型研发到应用的每个环节都需要“安全承诺书”，但技术不兼容与标准不统一，导致部门间数据安全治理相互脱节，可信协同生态缺失。
内在症结
在人工智能环境下，数据安全已由静态、单一处理单元模式，嵌入到跨阶段贯通的复杂链式结构中。一方面，模型训练、运行与应用部署均需要对不同版本的数据、代码、参数和模型性能进行系统的数据运维和模型运维，算法缺陷、组件漏洞等技术脆弱性以及数据来源、质量等管理问题的相互交织，增加数据安全治理的复杂性，改变数据风险的运行轨迹和扩散路径。另一方面，现行数据治理长期形成的规范体系，以权属识别、主体授权和目的限定为基础所形成的合规判断，强调用途透明、风险分级和协作问责，但模型系统的规模扩张与接口复用，使得这些方法的作用条件与运行空间发生变化，合规判断与技术迭代、业务流程之间存在一定张力，进而形成新的治理症结。
数据动态流转与规制要求刚性的冲突。人工智能条件下的数据处理呈现出模型化与过程化取向，系统通过对海量数据的集中吸纳与内部转译，将其重组为稳定的知识与参数结构，并在持续的推理输出中作用于现实场景。既有治理方式通常以数据来源核查、使用目的限定以及对具体处理行为的责任归属为核心，对数据活动的合法性进行判别，并假定风险后果能够被定位到特定数据项与特定环节。然而，模型系统把数据转化为跨版本共享的内部表示，风险不再完全对应单次操作，而是在不同时间与不同场景中反复迭代，由此导致治理抓手与技术流程之间出现结构性脱节，合规进程难以与智能系统的演进速度保持一致。一是数据信息流转的连续性增强。原始数据在模型中经过数据预处理、特征工程、特征选择等转换为模型算法后，数据风险并不随单次处理的结束而消失，而是在后续推理和部署中反复体现，并在模型、基础设施与场景的错综交织中形成新的裂变组合。二是黑箱输出的外溢性叠加。模型推理过程缺乏可被直观读取的路径，治理部门难以仅依赖访问记录与来源核查，证明数据污染、敏感信息残留等数据威胁已经消除，数据安全风险的适用条件与发生机理随之改变。三是跨场景调用的迁移性激增。数据安全风险在跨场景调用中具有弥散性，同一份数据或其模型特征在不同应用场景中的再次使用，会把早期风险带入新的空间并产生连锁后果。由此可见，既有以识别数据对象和处理行为为核心的安全规制方式，在人工智能环境下面临着适用基础与重心偏移的问题，制度端强调身份认证、流程合规、责任可溯，技术端强调模型性能最优、版本迭代与响应敏捷，两者间的张力，本质上是数据安全治理所依赖的“人治流程”与模型“自治系统”的冲突。
合规管理阶段性与系统应用迭代性的矛盾。随着新的数据接入和业务功能的增加，人工智能系统的访问权限管理以及数据分级分类等合规控制环境也在发生改变。一方面，预训练、监督微调等环节会重新塑造数据的价值组合与表现形态，使既有基于静态分级分类的安全策略难以保持稳定效力。内容的涌现效应叠加技术的不确定性，使得数据风险难以被限定在单一环节进而形成独立免责，而是在模型训练、部署、应用等跨阶段过程中持续渗透并累加。例如，数据采集阶段知情告知的缺位，经过模型训练阶段的隐私放大，最终可能在生成阶段演化为针对某些群体的算法歧视。另一方面，对数据风险的感知与判断，越来越依赖系统运行的可观察结果，而程式化监管只能证明事前设计是否符合合规要求，无法单独证明运行数据本身及其形态变化，是否继续满足用途限定。数据合规的责任链条尚未实现从线性分工到动态闭环的转变，使得以阶段性程序审查为中心的合规控制，难以覆盖数据风险演变的全过程。这种矛盾在责任认定环节表现得尤为突出。合规控制强调对具体行为及其功能设计的合法性识别，但智能系统运行结果对应多场景的复合叠加，前端审查证据与后端风险演变之间缺少直接证明链。治理行动在时间上呈阶段性，技术结果在时间上呈连续性，导致干预措施难以像既有方式那样嵌入智能流程内部。
新型技术分工与既有责任框架的失配。人工智能技术的应用，重塑数据安全治理的责任分工格局，改变数据责任的配置方式。例如，数据的自动化采集与脱敏，增加人工数据审核的压力；数据的智能清洗与自动修复，加大异常发现与动态敏感数据目录编制的责任；隐私增强与区块链，提升数据血缘、数据可追溯的监管要求。而数智融合环境下的技术分工与新岗位涌现，更对现有数据安全制度框架提出新的要求。一是安全责任归属上，未能针对算法开发者、模型训练者、系统部署者等新型主体的预训练数据选择、算法偏见调控、结果可靠性等数据责任真空进行责任细化，仅明确了数据控制者（持有者）/数据处理者责任。二是监管机制上，未能从事后追责、抽样审计转换到事前嵌入式监管、合规即代码，相应的数据安全责任认定，尚未从主观过错、违规后果判断递进到模型监控、数据行为可审计，如公开训练数据来源、性能指标、已知偏差或可验证的系统日志输出等。三是问责标准上，未能从以结果损害为起点的原则性问责跃升到可量化、可评估的问责指标体系应用，如训练数据多样性指数、模型公平性得分、数据偏差检测率、决策可解释性评分等新型责任工具的开发。四是责任主体范畴未能完全实现从单一群体划分向人机协同共治的延伸，组织分工与算法流程之间缺少稳定的责任归属，未能建立起人定规则、机器执行、人类监督的新型责任三角关系，模型和智能体缺乏独立人格，管理者与使用者在面对算法建议、数据安全决策时的责任划分与追溯仍存在操作性规则模糊。
规制进路
人工智能环境下的数据安全风险，是在数据快速流动、模型化使用与多主体协作中逐步生成的系统性风险。前文分析表明，现有数据安全治理在风险定位、合规判断与责任承载等关键环节上，与人工智能系统的运行特征存在结构性不适配。相应地，治理方向的选择不在于简单叠加新的规则要求，而在于围绕数据使用的全过程，将安全治理要求嵌入人工智能系统运行，重塑数据安全运维与责任体系，以建立起“技术+管理+流程+组织”四位一体的综合性数据安全协同治理框架。
构建覆盖全生命周期的数据合规管理机制。当前，欧盟《人工智能法案》、美国《关于安全、可靠、值得信赖地开发和使用人工智能的行政命令》均突出全生命周期监管与强制合规要求，如数据来源合法性、技术文档与系统说明的透明度要求等，强调将数据来源记录、用途说明、偏见检测与风险分级纳入合规框架。我国应构建覆盖人工智能环境中数据全生命周期的合规机制，把来源透明、用途清晰和风险分级整合为持续过程，使合规机制能够直接作用于模型系统的真实运作条件。第一，将数据来源相关信息的记录、保留与传递纳入数据全生命周期治理要求，增强数据在跨系统、跨主体流转中的可追溯性，为安全评估和责任判断提供稳定依据。第二，针对数据用途在人工智能应用中的持续扩展，建立数据使用目的说明与变更记录机制，将数据用途的调整过程能够被持续识别和审查，在技术演进的时间尺度内维持数据使用边界的可判断性。第三，通过明确的信息披露与共享安排，提升不同主体对数据使用状态和限制条件的共同认知水平，减少误用与越界调用在监管流程中的累积。第四，在保障人工智能创新潜力的前提下，对数据再利用行为实行有条件的风险分级治理，根据再利用方式和风险水平配置对应的验证手段，对高风险数据活动进行更为直接及时的精准约束。
运用人工智能关键技术约束数据使用行为。有必要将数据安全治理进一步嵌入人工智能系统的关键技术环节，在数据与算法、系统交互层面设定针对性的安全治理要求，通过自适应安全预测与风险路径推演，识别高频风险模式与处置薄弱环节，不断提升数据安全治理在人工智能环境中的现实有效性。我国的数据安全治理应与算法和系统操作形成紧密衔接，使治理要求能够从流程内部对齐模型运行结果，维护隐私保护与安全控制的稳定性。第一，在人工智能预训练阶段，对数据的选取、处理与结构配置提出明确要求，促使进入模型框架的数据在代表性、完整性和一致性方面具备基本可控性，避免训练问题固化为结构性偏差并对后续运行产生持续作用。第二，在人工智能系统运行阶段，关注数据运行在模型调用、反馈与更新过程中的真实状态，对使用中显现的偏差累积和风险放大开展连续识别与动态干预，防止系统在时间与频率的双重强化下形成安全风险的持续扩散。第三，在人工智能部署与应用阶段，结合具体场景对数据使用条件进行动态审视，对模型跨场景、跨系统应用可能引发的风险迁移和外溢问题加以约束，避免因环境变化导致原有安全假设失效，从而引发新的连锁后果。
夯实多主体数据协作的信任基础。人工智能的开发与部署必须在可信数据治理框架内维持可追溯责任与公平协作。面对人工智能应用过程中的数据质量问题、安全风险和责任机制缺失等多重困境，亟须通过制度约束来重新平衡数据生态系统中的权责利益分配，以负责任的数据治理增进不同主体之间的数据协作能力，塑造数据有序流通利用的良好生态[11]。第一，人工智能系统高度依赖高质量、多源数据的持续供给和更新，通过在人工智能数据使用规则中引入互惠原则，使数据提供、数据使用与由此产生的应用收益之间形成相对明确的对应关系，缓解数据主体对“长期投入但收益不明”的顾虑，增强其持续参与人工智能数据协作的意愿。第二，通过可感知的公平规则缓解人工智能数据使用中的信息与权力不对称，进一步增强人工智能数据治理规则的透明度和适用性，提升其对人工智能数据治理框架的公平感知，降低因不信任引发的抵触或防御性行为。第三，人工智能数据协作往往涉及训练数据提供者、模型开发者、系统部署者和应用主体等多方参与，仅依靠抽象规则难以协调复杂的使用关系。通过数据信托、可信数据空间等设施，基于共识规则连接多方主体，实现数据资源共享共用，为人工智能应用场景下的多主体数据使用提供稳定的制度承载，使协作关系和信任预期能够在持续运行中得到维护。
【本文作者为南京大学数据管理创新研究中心教授、博导；南京大学数据管理创新研究中心博士生田聪，对本文亦有贡献】
注释略
责编：贾 娜／美编：石 玉