摘 要:在人工智能生成内容领域，训练数据、模型能力及运行状态，会影响生成内容的质量与安全，而内容发布后的编辑、转载和使用，还可能改变其表达含义、传播范围和风险程度。增强人工智能生成内容的可信治理，需以内容安全和合法权益保护为目标，区分生成属性识别、事实核验与责任认定，明确生成服务、内容发布和平台传播各环节的职责；以制度规范明确治理要求，以行业技术标准细化实施方法，在依法保存必要记录的基础上，提升争议核查与错误纠正的能力，并将处置中发现的问题作为数据检查、模型复测和审核改进的依据，不断完善治理机制，提高治理水平。
关键词：人工智能生成内容 可信治理 全生命周期 内容标识 风险治理
【中图分类号】TP18 ；D630 【文献标识码】A
人工智能生成内容的治理，涉及生成属性识别、事实核验和责任判断等不同问题。即使一段文字、一幅图像或一段视频已经标明由人工智能生成，其中的事实陈述是否有依据、后续编辑是否改变原意，以及争议发生后由谁说明和纠正，仍需分别判断。可信治理着眼于为这些判断提供可核查的依据，既关注内容形成过程中留存的必要记录，又关注内容经过修改和传播后，原有判断能否得到复核，发现的错误能否得到纠正。对人工智能生成内容而言，可信治理要保障公众能够了解内容来源、核查事实依据，并在发现错误或遭遇侵害时能够获得解释、纠正与救济。
技术风险、多主体协同和制度约束相互交织，意味着可信治理不能仅停留在最终内容审核层面，更需向覆盖风险形成、内容流转和争议处置的全生命周期治理延伸，在不同环节之间建立必要的信息关联、责任衔接与纠错机制。因此，可以源头准备、模型生成、内容发布、平台传播和事后处置为线索，结合我国相关治理实践，考察不同环节的措施如何衔接、相关记录在内容被编辑、转载后是否仍可查询或关联，以及争议处置结果如何用于前端改进，据此探索人工智能生成内容可信治理的推进路径。
现实必要性
人工智能生成内容的治理对象不仅包括最终作品，而且涵盖影响其形成、修改和传播的关键行为。人机协作、多方参与和反复流转，使结果审核之外的来源核查、过程记录与纠错机制具有现实必要性。
多主体协作延长内容生产与责任链条。人工智能生成内容的生产以模型研发和数据准备为技术基础，其生成、编辑和传播还可能涉及服务调用、用户提示词、人工编辑和平台分发。模型研发者、服务提供者、发布者和传播平台参与的环节不同，对风险的识别和控制能力也有差异。人工修改与二次生成还会改变原有内容，使创作过程难以归于单一主体。因此，可信治理不能仅检查最终内容，还需根据相关主体的具体行为和实际控制能力厘清其职责[1]，分别考察服务提供者是否履行安全管理义务、用户是否存在不当生成或编辑行为，以及发布者和传播平台是否落实相应的披露、核验与处置要求。
风险跨环节传递凸显单点审核的局限。违法违规或具有明显误导性的生成内容，可能来自恶意提示，也可能与训练数据中的错误、偏见或污染有关；真人形象和声音仿冒可能同时涉及虚假误导与权益侵害；模型更新、外部接口和开源组件中的问题，也可能影响下游应用。生成内容经过批量改写和推荐分发后，风险影响还会发生变化。只处理已经出现的问题内容，难以识别其上游成因；只测试模型能力，也无法覆盖后续的编辑和传播行为。因此，跨环节风险治理，需将问题表现与其形成原因、相关主体及处理行为对应起来[2]，避免将所有风险笼统归于模型生成环节。
内容持续变化要求核验与纠错同步跟进。审核结论有其对应的内容版本和使用情境，一段已经审核的视频被截取、重新配音或配上新的说明后，可能产生不同的事实含义。内容流转中的持续核验需重点关注影响事实理解、身份判断以及权益保护的实质性变化，保留必要的版本关联，避免原有审核结论被不加区分地沿用。对用户而言，内容可信不仅体现为看到生成属性提示，而且体现为能够查找依据、提出异议和获得更正。只有将这些要求落实到内容流转过程中，才能使信任不只依赖发布者声明或单次技术判断。
主要难点
从生成内容相关活动的全生命周期考察，治理难点主要集中在风险追溯、生成控制、发布责任、传播核验和争议处置之间的衔接。各环节由于掌握的信息与采取措施的能力不同，既需明确自身任务，又需为后续核查留下必要依据。
源头准备中的潜在风险难以追溯。训练数据、微调材料和外部组件中的问题，可能仅在特定提示或应用情境下，表现为生成内容中的事实错误、有害信息或不当表达。知识库内容、插件和模型版本的更新，还可能改变既有安全测试所依据的知识范围、接口权限与模型行为。最终内容通常不足以显示这些变化，更难以据此反推唯一成因。缺少来源和版本记录时，后续评估既难以定位问题，又难以判断原有测试是否仍然适用。因此，源头风险管理的难点，在于将数据及组件变更，与受影响的服务功能、生成内容和相关测试记录建立可核查的联系。
模型生成中的动态交互增加控制难度。不同生成场景需采取差异化的风险防控措施，创意写作侧重防范违法和不良信息，专业问答需更加关注事实准确性及应用边界，真人形象或声音合成，则需重点核查使用授权和身份冒用风险。在用户将模型输出的内容编辑后再上传其他平台的情形中，生成服务提供者保存的生成记录与传播平台看到的内容可能并不相同。仅凭最终发布版本，难以区分模型原始输出、服务端处理和后续人工修改各自产生的影响。生成服务提供者能够管理交互过程和生成结果，却未必掌握最终用途；传播平台能够观察传播行为，但未必能够获得完整的生成记录。控制范围与信息范围的不一致，增加风险判断和事后核查的难度。接口或功能更新还可能改变既有控制条件，因此，上线测试需与运行中的检查相衔接，而不能代替后续风险评估。
内容发布中的混合创作增加责任辨识难度。模型生成、人工修改和公开发布可能由不同主体完成。仅用人工智能优化表达的内容以及直接发布的大量生成的事实性内容，涉及不同程度的编辑参与和不同的核验需求。一般用户与新闻媒体、政务新媒体、专业知识服务机构的职责也有差异。内容发布环节需分清生成属性声明、事实核验和最终发布决定，既防止将模型输出直接作为事实依据，又避免对所有主体设置同等强度的专业审查要求。
平台传播中的标识延续与检测可靠性面临双重约束。显式标识可能被裁剪或遮挡，元数据可能在另存、转码时丢失，内嵌水印的保留能力则取决于算法、媒介和处理方式。来源凭证或数字签名主要用于核对声明、文件关联与完整性，并不验证事实陈述；未检出标识，也不等同于内容就是由人工创作。辅助检测存在误报、漏报问题，并有其适用范围，不能独立承担真实性裁决的任务。传播核验需结合不同线索，并对证据线索相互矛盾的内容或可能造成较大社会影响、重大权益损害的内容进行人工复核。
事后处置时证据分散影响核验与救济。相关材料可能分别保存在模型服务、用户设备、发布机构和传播平台。原始文件、标识记录、编辑痕迹与传播数据具有不同证明作用，难以由单一材料解释全部争议。过度留存提示词、身份信息和内容副本，有可能增加个人信息泄露和商业秘密被不当使用的风险。争议处置需在合法、必要的范围内组织证据，连接理由说明、申诉复核与及时更正，兼顾风险处置和误判纠正。
各环节还需区分技术检查与实质判断。标识位置、元数据字段等可以按照明确条件核验，事实误导和权益损害则需结合内容及其使用情境判断。技术测试需说明适用对象、条件和误差，为相关判断提供参考，而非替代判断本身。
实践探索
备案登记、模型整改、标识材料审核和平台处置，分别提供观察我国人工智能生成内容治理的具体切口。分析这些具体实践，重点在于制度要求如何进入业务流程，以及不同措施怎样作用于风险形成和传播环节。
备案登记为主体识别提供信息入口。2026年9月，国家互联网信息办公室发布的公告显示，截至2026年8月31日，累计1112款生成式人工智能服务完成备案，731款生成式人工智能应用或功能完成登记。[3]该公告还要求已上线的相关应用或功能公示所用服务情况，注明模型名称、备案号或上线编号。对于通过接口等方式直接调用已备案模型能力的应用或功能，登记信息有助于说明其所依托的服务；模型名称、备案号或上线编号的公示，为用户查询服务来源提供入口。
语料检查与模型整改将治理延伸至上游。2026年7月，中央网信办通报显示，浙江省网信部门围绕模型审核、训练语料和数据投毒等问题，组织开展语义判断优化、高频回归测试等整改；DeepSeek在数据采集和预处理环节嵌入异常检测算法。语料检查针对风险进入模型的条件，回归测试关注整改和更新后的功能表现，二者分别作用于源头准备和模型生成。与仅删除或屏蔽已发现的问题内容相比，这些做法进一步将治理重点延伸至风险形成条件的排查和整改，有助于从源头减少同类问题再次出现。
标识材料审核将规范要求落实到应用上架。2025年8月，小米澎湃OS开发者平台更新的《人工智能生成合成内容标识材料要求》，将标识方案、位置示例图、内容截图和承诺函等纳入提交内容，并按生成合成服务、内容传播服务区分材料。这一流程与2025年3月国家网信办等四部门联合发布的《人工智能生成合成内容标识办法》，关于应用分发平台核验相关材料的要求相衔接。审核对象由笼统的合规声明，具体化为标识位置、呈现方式和技术说明，便于检查开发者如何落实有关要求。不过，申报时的材料不足以证明后续版本和各种处理条件下的持续有效性，仍需结合实际生成、导出和传播过程进行检查。
平台处置围绕具体风险组织内容治理。2026年9月，中央网信办通报列举利用人工智能生成虚假的灾害现场画面和救援画面，以及通过换脸换声仿冒公众人物等情形，并记载相关账号处置情况[4]。这些案例表明，生成属性识别与风险判断承担不同任务。前者说明内容如何形成，后者涉及事实误导、身份冒用等具体问题。对灾害类误导信息，需核查画面所指向的时间、地点和事件；对真人形象或声音仿冒，需结合授权情况、使用场景及误导效果判断风险。平台需根据事实误导、身份冒用和权益侵害等不同风险明确核验要点与处置理由，而不能仅以内容是否使用人工智能作为判断标准。
上述实践表明，我国人工智能生成内容治理的相关制度要求，已逐步落实到生成式人工智能服务的信息公示、模型研发和服务提供者的安全整改，以及应用分发平台的标识材料审核、网络信息内容传播平台的违规内容处置等具体业务流程。
推进路径
完善治理需明确责任主体、具体措施和核验依据。治理强度需与内容用途、传播范围、身份权益和可能损害相适应[5]，在模型或应用条件发生重要变化后重新评估，避免以相同措施处理不同风险。
源头准备时完善来源核查与版本管理。2023年7月，国家网信办等七部门联合公布的《生成式人工智能服务管理暂行办法》，对适用服务的训练数据处理、知识产权和个人信息保护作出规定，相关的推荐性国家标准可提供数据安全技术参考。在此基础上，建议模型研发者和服务提供者在实际控制范围内，整理有关数据及基础模型合法来源、使用授权或其他合法处理依据的材料，记录相关版本、质量检查和异常样本处置情况。发现问题后，先确认所用模型版本、知识库和外部组件，再开展有针对性的排查。记录的作用是缩小调查范围、支持责任分析。对外提供核验材料，需区分公众查询、争议处理和依法监督检查等不同用途，控制披露范围。对基础模型、微调模型、插件、知识库和外部接口，可建立关键组件清单，记录来源、版本、授权范围和重要更新。需对高权限插件及外部接口开展针对性评估，第三方提供者就交付内容提供必要说明。重要版本或组件变更后，需围绕受影响功能进行复测，形成变更记录、测试结论和整改结果之间的对应关系，使后续核验能够还原当时的系统条件。
模型生成时将风险控制与标识嵌入服务流程。服务提供者需依适用规定落实标识要求，并使相应的下载、复制和导出功能满足文件标识要求。2025年2月发布的国家标准《网络安全技术 人工智能生成合成内容标识方法》，为生成合成内容标识提供技术依据。为落实这一国家标准，当前，国家广播电视总局结合视听行业内容形态和生产传播特点，加紧起草相应行业标准，就标识及验证查询等具体方案制定配套技术细则。在产品更新时，需对照相关要求，检查界面提示与文件标识是否一致、元数据能否正常解析。数字水印等补充措施可根据内容类型和技术条件选用。过程记录需服务于明确的核验目的。服务提供者需在其控制范围内，建立输出内容与模型版本、生成时间和标识状态之间的必要关联；发布机构和传播平台分别保存与其编辑、发布和传播行为有关的必要记录。记录需有明确用途，并依法确定保存范围与期限，避免为了追溯而集中留存全部提示词和内容副本。对防篡改要求较高的场景，可采用数字签名等措施核验文件及相关声明的完整性，但不能据此判断其中的事实陈述是否成立。针对真人形象、声音合成和重要公共信息等用途，可设置相应的授权核查与输出控制；各类应用均需避免额外收集无关数据。版本、接口或重要功能变化后，需围绕相应风险场景重新进行测试，重点检查内容安全过滤、授权核查、合成标识添加及导出保留等机制是否仍然有效；对复测发现的问题记录整改情况，并将典型问题样本纳入后续回归测试。
内容发布时明确披露、核验与最终审核责任。用户发布生成合成内容时，需主动声明并使用相应标识功能；任何组织和个人不得恶意删除、篡改、伪造或隐匿规定标识。在履行生成属性披露义务之外，对事实性陈述的核验，需结合内容用途、可能影响和发布者职责作出安排。对专业机构与一般用户的核验要求需有所区分，模型输出的内容也不应直接替代事实来源。对新闻报道、政务信息等事实性内容，内容发布机构需在既有采编和审核制度中明确人工智能的使用范围，要求涉及重要事实的表述有可靠来源可查，并由承担发布职责的人员作出最终审核决定。文艺创作和娱乐表达需结合其虚构性质与使用情境确定审核重点，不宜机械套用事实性报道的核验程序。
平台传播时兼顾标识保留、风险处置与申诉复核。《人工智能生成合成内容标识办法》第六条要求传播服务提供者根据元数据核验、用户声明和检测迹象分类添加提示。在未核验到隐式标识、用户也未声明，而检测到生成合成痕迹的情况下，需作“疑似”提示；在规定情形下，还需在文件元数据中添加传播要素信息。在上传、转码和转载等处理中，平台需检查相关标识是否保留。对线索不足或相互矛盾的内容，需结合风险进一步核查，避免将单一检测结果直接作为高影响处置的最终依据。涉及突发事件、真人冒用等高影响内容时，可依据适用规则采取与风险相称的传播措施，说明处置理由并提供申诉渠道。检测工具的选用与评估需根据实际处理条件，分别检验元数据解析、水印保留和内容检测表现，记录误报、漏报及人工复核情况。跨平台合作可优先统一必要字段、解析条件和核验接口，在保护个人信息及商业秘密的前提下确定来源线索，减少因格式差异造成的核验中断。
事后处置时以证据核验贯通纠错、救济与整改。生成服务提供者需依法落实投诉、举报受理和处理结果反馈等要求。涉及深度合成服务的，需依据《互联网信息服务深度合成管理规定》完善申诉和辟谣机制。在此基础上，可按生成属性、事实准确性和权益损害等争议类型设置复核程序，明确需提供的材料和处理期限。对误标提出异议的，需允许提交原始文件或创作说明；无法提供完整创作记录，不应成为维持原有标识结论的唯一理由。与争议直接相关的版本、签名、标识和操作记录，需依法明确保存范围、访问权限与安全措施，避免过度留存用户活动。结果通知需说明向主管部门投诉等外部救济渠道，避免将平台内部复核视为全部救济。责任认定需结合主体的具体行为、控制能力和相关证据。第三方核验意见可作为参考，其方法、误差和利益关系也需接受审查。对于确认的风险，需将相关情形反馈至数据检查、模型测试和平台审核环节；对于误判，需修正复核流程与技术规则。处置记录需明确问题类型、判断依据、整改对象和反馈节点，使事后发现的问题能够转化为前端改进的依据。
注释
[1]王明、陈建兵：《生成式人工智能的责任机制：溯源、挑战与构建路径》，《北京工业大学学报（社会科学版）》，2025年第3期，第111—122页。
[2]方兴东：《智能时代文化治理的范式转变》，《学术前沿》， 2025年第15期，第72—81页。
[3]《关于发布生成式人工智能服务已备案信息的公告（2026年7月至8月）》，中国网信网，2026年9月14日。
[4]《中央网信办深入开展“清朗·整治AI应用乱象”专项行动第二阶段工作》，中国网信网，2026年9月2日。
[5]张童阔、李伦、于雪：《基于价值的人工智能风险分级研究》，《科学学研究》，2025年第12期，第2496—2505页。
责编：谢 帅／美编：石 玉
声明：本文为人民论坛杂志社原创内容，任何单位或个人转载请回复本微信号获得授权，转载时务必标明来源及作者，否则追究法律责任。