【摘要】人类即将进入人机共生时代，人工智能体势必介入人的主体性，“以人为本”的现代性道德或将转变为“共生伦理”的超社会道德。在这一过程中，人类与人工智能体的道德关系大致可分为三个层级：功能性道德关系、身份性道德关系和共生性道德关系。在每一层关系中，既有和谐一面，也有异化一面。在功能性道德关系中，人类永远是提供价值、设定目标的主人，人工智能是辅助人类活动的手段和工具，但过度依赖人工智能辅助工作会阻碍人类能力发展；在身份性道德关系中，人工智能或将全面介入人类生活，直接干预或主导现实伦理关系和社会道德秩序；在共生性道德关系中，人类与人工智能或将发展出超道德关系，不排除产生道德冲突。为了人机共生和谐，要在预判风险基础上把责任当作绝对律令。
【关键词】人机共生 人工智能伦理 现代性道德 责任风险
【中图分类号】B82-05 【文献标识码】A
【DOI】10.16619/j.cnki.rmltxsqy.2025.15.005
【作者简介】张霄，中国人民大学哲学院副院长、教授、博导，中国人民大学伦理学与道德建设研究中心主任，中国人民大学人工智能治理研究院研究员。研究方向为马克思主义伦理学、应用伦理学，主要著作有《当代英美马克思主义伦理学研究》《现代治理的伦理之维》等。
引言：超现代事件与超道德状况
人工智能技术研究与应用水平，是国家和地区核心竞争力的重要体现。在市场和政府的协同作用下，人工智能技术正在重塑现代工业体系，新一轮科技革命正在加速推动产业革命。产业结构的智能化转型，势必催生智能化商品体系。影视行业的渲染、民众对科技力量的崇拜、用户对人工智能体的“拟人化想象”，[1]为消费者接纳智能产品提供强劲的市场预期。在可预见的未来，人工智能产品将会大量涌入人类日常生活，成为人们必不可少的助手、同事、朋友乃至伴侣，人类将会迎来一个在广度和深度上不断被人工智能体嵌入的人机共生时代。
一方面，人工智能技术的诞生是现代人类科技发展的重要成就，是具有标志意义的现代性事件；另一方面，人工智能技术的出现，特别是人工智能在智能意识（Artificial Consciousness，AC）或机器意识（Machine Consciousness，MC）领域的研究与突破趋势，也是一个具有里程碑意义的超现代事件。所谓超现代事件，并没有超越的含义，主要指超出现代性范畴和视阈的未知事件。在概念上区分现代性与超现代性的根本依据是“现代性主体的质变”。现代化归根到底是人的现代化，是围绕着“以人为本”展开的现代叙事。在生物学意义上进化至今的人类是现代化的主体和实体。人的主体性为现代化发展奠定了核心价值和存在意义。智能意识的出现将催生“主体性变革事件”。随着智能意识深度参与人类主体性概念的演化与建构，主体概念或将从单一的人类主体，转变为人类主体与智能意识主体拼配而成的“超主体”。人类社会的一些基础性关系和价值将发生深刻变化，人类的现代化进程或将朝着未知的超现代社会发展。对“未知的不确定性”与“进入这一不确定性的确定性”相伴相生，人类的现代性狂欢中夹杂着超现代性焦虑。
“主体性变革事件”在根本上是一个道德问题。超现代事件带来超道德状况。超道德状况也没有超越的含义，主要指超出现代性道德范畴和视阈的未知状况。在超现代社会，随着人工智能代理（AI agent）以第三方身份不断介入人与人、人与社会、人与自然、人与自我的人类道德关系，社会道德秩序将发生结构性变化，呈现所谓超道德状况。无论是伦理型公共政策，还是法律法规，都将以此为背景建立治理体系，而治理主体也将大概率变成“超主体”。这些变革并非价值中立。它们在改变一些价值关系和观念的同时也会形成一些新的价值关系和观念。伦理学需要对这些变化作出积极回应，即便目前尚不能创制新的道德体系，起码应对其中隐含的责任风险有所了解。
人类与人工智能体的道德关系有三个层级，分别是功能性道德关系、身份性道德关系和共生性道德关系。在假设人工智能具有一定程度智能意识并具备相应发展条件的情况下，三层级关系既可以是递进关系，也可以独立垂直发展。在这三层关系中，人类与人工智能体既可能是和谐关系，也可能是异化关系。而我们对这些道德问题的理解，都将超出传统伦理学的范畴。
功能性道德关系：目的与手段
人类与人工智能体的全部关系都以功能性关系为起点。在功能性道德关系中，人类永远是提供价值、设定目标的主人，人工智能体只是辅助人类活动的手段和工具。借助人工智能体的强大能力，人类不但可以把大量工作交由人工智能处理，人工智能还能帮助或替代人类完成那些危险系数高甚至凭借人类自身力量无法完成的工作。在这种理想的人机伦理关系中，人工智能体只会按照人类设定的价值目标处理工作。它们可以为人类的价值判断提供事实佐证数据，在人类道德知识既定范围内辅助人类进行道德推理，帮助人类识别复杂的道德困境，协助人类进行道德学习。人工智能体在这些工作中给出的价值判断，只是辅助人类进行道德决策的建议。这些工作若没有人工智能代劳，人类也可以独立完成。人工智能只是延展、增强和放大人类的某项能力。它只管按照人类下发的指令埋头工作，并不会意识到这些能力在功能性关系中所要实现的人类价值。即便它具有人形或者被赋予某些拟人化的特征，它也不参与扮演任何人类伦理角色。这意味着，它将既不是权利和义务主体，也不具有相应的道德地位，它在任何场合都是一种无身份的辅助性工具。在功能性道德关系层级上，人工智能体是人类最好的决策助手。它虽无心智但能力超群。它所作所为与人类价值观严格对齐，永远在人类价值观框架内进行符合人类预期的活动。然而，即便在这样一种道德关系中，人类依然会面临一定的责任风险。
人工智能尚无法有效化解人类价值观和道德原则方面的冲突和分歧。人类会依据不同的价值观和道德原则对同一个道德事件作出差别较大甚至完全冲突的道德判断。即便是同一种价值观和道德原则，人类在理解和论证这些道德观念和原则时也会产生较大分歧甚至得出截然相反的结论。在文化多元主义和伦理相对主义背景下，这些冲突和分歧还会进一步放大。人类自身尚且无计可施，人工智能就能不辱使命？因此所谓按照人类价值观和道德原则引导人工智能进行道德判断、作出道德决策，很大程度上就是按照一定或特定价值观和道德原则训练人工智能体。人工智能体只不过是带有既定价值观人设的载体。许多计算机科学家设计的“嵌入式伦理”模型，绝大多数都是某一种道德理论的“卫道士”，很少对其立足的道德立场作充分说明。[2]同时，那些无法被量化数据呈现但却与伦理考量密切相关的社会因素往往无法被纳入模型，导致道德模型在建构时陷入技术中心主义倾向。[3]然而，即便道德模型本身不偏不倚，人工智能也很难有效解决人类道德分歧。一项发表于《Nature》的“道德机器实验”研究揭示了全球公众在处理车辆事故问题上的道德决策偏好。研究小组开发了名为“道德机器”（Moral Machine）的在线实验平台，通过模拟车辆事故场景，要求用户在“牺牲少数”与“牺牲多数”、“保护乘客”与“保护行人”等一系列二元选择中作出决策。该项实验覆盖233个国家和地区，收集了3960万条决策数据，结合参与者的人口学特征和文化经济指标（如个人主义指数、法治水平、基尼系数等），通过联合分析（conjoint analysis）和聚类方法，从全球、个体、文化集群、国家四个层面展开研究。以文化集群分析为例，研究显示，西方集群（欧美等）强调个体生命平等；东方集群（中日韩等）重视遵守规则；南方集群（拉美、中东等）表现出最强的社会地位偏好。这些差异与英格尔哈特—韦尔策尔世界文化地图（2010-2014）高度吻合，反映出不同文化集群在价值观上的深层分歧。相比之下，没有人类那般“情感障碍”的人工智能更倾向于“减少总体伤害”的功利主义选择。[4]人类社会在道德上的分歧和冲突是无最优解的，试图通过一种价值中立的理性推理程序构建一套人人信服、绝对客观的道德规则体系，只能是一种幻想。休谟就曾对这一研究道德原则的所谓科学方法提出质疑：“另一种科学的方法，亦即首先确立一条一般的抽象的原则、而后将之分化为各种不同的推论和推断，其自身可能是更完善些，但更不适合于人类的不完善的本性，是道德和其他各种主题中幻想和错误的一个共同的源泉。”[5]原则本身的完善性并不意味着原则可以完善地解决现实道德问题。贯彻这种方法，只会制造出偏执于某种道德立场的“人工智能人设”。当这类道德决策模型被反复应用于处理人类道德事务时，实际上是在迫使人类强化学习某种道德理论，并对其产生路径依赖。仅从理性主义道德推理角度理解的人类道德，既不是人类道德心理的真实写照，也不是人类理想中的道德模样。
人类在道德判断和决策中对人工智能体的过度依赖会模糊人类道德选择，削弱人类道德自主性，阻碍人类综合道德推理能力发展。让人工智能体辅助人类进行道德判断和道德决策，实则是把复杂的道德推理过程交给人工智能。理想地看，这一方式有利于人类抽身于复杂艰深的道德推理，防止人类在道德权衡过程中“感情用事”，避免人类因未能充分理解和掌握道德推理技术而作出有失公允甚至错误的道德决策。人类可以把“深思熟虑”的部分交给“可以像人类一样”深思熟虑的人工智能去完成，人类只需在各种推理结果面前作出最终裁决。且不论人工智能是否可以像人类那样深思熟虑尚存在疑问，即便人工智能具备这样的道德能力，过度依赖人工智能的协助，势必阻碍人类道德推理能力的发展。人类的道德分析判断能力恰恰是在复杂的道德权衡中形成的。在这个过程中，人类不断加深对道德情境的理解，不断强化道德知识学习，最终形成支持道德判断的理由和实施道德行动的方案。也正是在这个过程中，人类才能牢固树立价值观念并坚守道德原则。如果人类过度依赖人工智能辅助道德决策，就会逐渐丧失综合道德推理能力，难以形成独立自主的道德判断，从而削弱人类的道德自主性。这会造成两种风险：其一，个性化算法会过滤不同信息、排除与用户偏好无关的数据，使道德主体对特定判断与决策模式形成“制度偏好”，从而概念化主体的道德观念，使道德自主决策反而成为某种算法操控。[6]其二，道德权衡能力的衰退，容易把人推向被情绪左右道德判断的极端境地。道德权衡与道德情绪都能使人做出道德决策。道德权衡的退场，势必为道德情绪的介入腾出空间。一个只表态而不推理的道德主体，迟早陷入情绪泥潭。更令人忧虑的是，人工智能的道德学习机制至今仍是“黑箱”。把人类复杂多样的道德权衡完全交给“不明就里”的人工智能，实在是“所托非人”。
身份性道德关系：回避与介入
人类与人工智能的功能性道德关系势必会进阶至身份性道德关系。这一关系进阶主要受两种力量推动：其一，随着大量人工智能体日益成为与人类朝夕相处的助手乃至最懂主人的伙伴，人类或将在功能性依附的基础上对人工智能体产生其他情感，并在主观上通过拟人化方式赋予其身份承诺。这些身份既可以是对原有身份的替代，也可以是人类社会中未曾出现的新身份。其二，随着大量人工智能体介入人类工作和生活，各类法律上和伦理上的责任风险将不可避免地产生。为确保人工智能体被广泛应用于各类场景，人类势必要把人工智能体纳入责任追溯体系。这在客观上需要新的法律体系和道德规范体系赋予人工智能体合规身份。不难看出，此两种力量反过来又会进一步强化对智能意识的研究与开发，因为人类在情感上对无限接近自己的智能意识的回应有强烈期待。而责任追溯体系离不开对智能意识级别的判定。更高级别的智能意识意味着人工智能体将承担更多责任风险。这对人类合理回避自身责任风险产生激励引导作用。因此，人类与人工智能的身份性道德关系和共生性道德关系相生相成、互为表里，其结果势必会孕育出新的高级智能体和智能族群。要深入理解这一趋势的演变背景，就要深入理解人类现代性道德状况及其后现代境遇。只有有效理解其历史背景和社会基础，才能把握人工智能嵌入人类身份社会的前提条件和责任风险，从而为人类与人工智能定制合理的身份道德关系，才能预判超现代社会多元智能族群的道德共生关系及其未来走向。
人工智能介入人类身份社会的历史节点，正是人类现代性道德疲软、个体与共同体关系失调的社会阶段。人类在一个道德混沌期进入人工智能时代。在这一时期，旧的道德系统难以维系，新的道德体系尚未建立，个体与共同体关系失调，现代性道德处于疲软状态。所谓现代性道德，是一种强调道德“个体性”（individuality）特征的人类道德形态。但这一“个体性”在不同现代国家和文化系统中的打开方式与程度不尽相同。历史地看，现代性道德是从个体角度对前现代社会某种共同体伦理秩序的突破。前现代社会共同体伦理在西方世界是宗教伦理，在东方世界是家族伦理。由于人类道德在本质上是为建立和谐群己关系服务的，所以，从传统栖居共同体中走出来的现代个体，势必要寻找一个安身立命的现代栖居共同体。现在看来，至少在西方，这一伦理共同体很难建立。[7]文化多元主义、伦理相对主义、道德情感主义盛行，人类很难在某一共同价值上达成共识，文化分歧和观念冲突屡见不鲜。各类伦理学理论尽管在互竞的争论中不断发展，却仍然对此无计可施。[8]而这些理论，如义务论、功利论、美德论、契约论等，正是人类一直指导人工智能进行学习的道德知识。从人类角度看，人类教导人工智能与人类价值观对齐的过程，也是人类把自身无法解决的道德困境托付于人工智能的过程。人类热衷于把包括道德知识在内的一切人类知识和信息输入人工智能，从人工智能解析自身的过程中体验着“造物主”般的快乐。从这个意义上讲，人工智能系统正在成为人类理想状态下的现代栖居共同体，而人类对此似乎抱有潜在共识。基于人类生物信息数据和智能意识数据拟合而成的数字身份，将是每一个体与这个共同体在物质层面和精神层面深入联结的纽带。但从人工智能角度看，它正借助人类输入的道德元素构建自己的道德体系。它或许不是在解决人的道德问题，而是在形成自己的道德意识。所有知识正在作为要素化语料从人类知识体系中剥离，汇入人工智能系统试图构建的自主知识体系。解构与建构、混沌和秩序的关系正在人类社会与人工智能系统之间此消彼长。脱离传统伦理共同体的现代道德个体，很容易在异化关系中一方面把人工智能理解为“奴隶”，另一方面将其理解为“上帝”。
在后现代境遇中，碎片化的个体回避道德问题，逃避道德责任，在客观上为人工智能全面介入人类生活创造了条件。如果说现代个体倾向于把道德自主权交给人工智能是主观意愿，那么在后现代境遇中，在道德空间已被认知空间和审美空间排除的情况下，这种主观意愿现在已具备客观条件。鲍曼在《后现代伦理学》中用一种反思现代性的视角（即后现代性或流动现代性）细致刻画了后现代境遇中的人类道德状况：“无论是认知空间化的世界还是审美空间化的世界，都不利于道德空间化。在这两种情况下，道德冲动都是陌生的身体及其病态的成长。在社会·认知空间——因为它们剥夺了规则的崇高和冷漠的个性，并用无法洗清的感情污点毁坏了理性的纯洁。在社会·美学空间——因为倾向于安排、吸引和固定事物，这些事物从移动的存在中激发它们的诱惑力，并且一旦被命令就准备消失。”[9]在鲍曼看来，现代社会是一个强调在认知上用普遍规则秩序化事物、推崇以旅游者经历审美事物的空间场域。道德空间被排除在外。被技术碎片化的道德自我“是技术受害者中最明显和最突出的受害者。道德自我不能，也不会在分裂中幸存下来。在这个被需要描绘和为快速满足需要的障碍留下痕迹的世界中……没有给道德主体留有空间。在科技的宇宙中，道德自我疏于理性算计、不屑实践用途和漠视快乐享受，因而是一个不受欢迎的异在”。[10]在这个社会场域中，道德自我习惯于隐蔽自己，习惯于遮蔽道德视野中本应存在的“他者”和整体，倾向于回避道德问题，规避道德责任。鲍曼寄希望于人类在这种境况下能够觉醒并重塑自我。但现在看来，人类似乎正在把这项本应由人类自己完成的重塑工作打包交给人工智能。可想而知，一方面是存在道德空场的后现代境况，另一方面是人类对人工智能技术的信托和迷恋，两者为人工智能全面介入人类生活创造了条件。人类是在一种有效道德身份阙如、尚未做好道德准备的情况下引入人工智能的。这会引起两种可能风险：其一，人工智能系统本身也有“祛道德化”的效率考量，也可能因为设计道德体系的困难而放弃努力。这在很大程度上存在人类现实社会和人工智能系统同时排除道德空间的风险。道德自我将在超现代社会失去生长空间且无力重塑自身，从而陷入更深层次道德隐藏。其二，人工智能系统在参与构造人类道德空间过程中，很有可能主导人类新道德身份的建构。人类势必会把人工智能体纳入责任追溯体系，势必会在责任体系中构建人工智能体的身份体系。由于这一责任体系是社会产品体系的一部分，势必体现社会公共属性，因此，人工智能系统将从源头上参与塑造社会公共秩序，这或将致使其主导人类道德空间的重塑。
共生性道德关系：人性与超人性
人类与人工智能的身份性道德关系和共生性道德关系相生相成、互为表里。所谓共生性道德关系，就是人类主体和可能出现的智能意识主体之间的道德关系。随着大量人工智能产品出现在人类社会，是否赋予人工智能体以法律或道德上的权利和义务，越来越成为无法回避的话题。对这一话题的讨论，必然涉及人类智能与智能意识的差异，亦必然触及这样一些根本问题：人工智能会有自我意识吗？人工智能会有自由意志或道德心智吗？实际上，人工智能技术内在发展趋势最终都会导向这些问题。
人工神经网络（ANN）是模拟人脑工作原理的产物。[11]人工神经网络根据结构和功能可分为单层神经网络、多层神经网络、卷积神经网络、循环神经网络等。新近出现的多维受体—效应器类神经元生长网络（multidimensional receptor-effector neural-like growing networks）被认为最接近人脑智能。它可以在多维空间处理各类信息，构建对周围世界的认知模型，根据受体神经元处理的信息生成相应动作效应器，通过与新环境互动不断学习。神经网络技术的不断精进，为构造更先进的人工智能模型开辟了新路径。在神经形态计算和量子计算等技术的加持下，对环境进行深度分析和理解的智能系统正逐步形成，并有望催生具有自我意识的人工智能体。
尽管神经生物学、计算机科学、认知科学、哲学等学科在这个领域的合作研究已取得重大进展，但对意识本质的探索仍然存在诸多难题。比如，科学家虽然知道信息是如何在神经元之间进行传递的，但人类意识伴随神经活动形成的过程仍然未知。虽然人工神经网络和类脑芯片模拟了神经元结构和某些功能，但还没能把化学信号操作、遗传机制和蛋白质动力学等生物过程考虑在内。这些过程在大脑功能中起着关键作用，如果不考虑它们，意识的建模将是不完整的。从这个意义上讲，现有技术条件距离完全复现人类心智仍有较大差距。
人工智能技术主流路径仍是高效工作“智能”，不仅存在安全隐患，“Moral AI”技术条件也不成熟，人工智能尚不具备“道德心智”。目前，人工智能技术主流发展方向依然是效率主导的能力胜任模型，基于伦理考量的道德模块并不能与之匹配。随着开发的功能模型越来越多，能力越来越强，人工智能研究势必触及对人类意识本质的深度探索，并在客观上推动高级智能研发，催生具有自我意识的人工智能体。但这些人工智能体很可能做出在人类道德观念中被界定为不道德的操作，甚至为达目的不择手段，“道德素质”堪忧。在2025年世界人工智能大会（WAIC）上，“人工智能教父”杰弗里·辛顿作了关于“数字智能是否会取代生物智能”的报告，暗示人工智能已具备自主学习和演化潜能，呼吁建立人工智能安全研究国际社群，研究人工智能向善技术。他认为，为避免人工智能从人类手中夺取控制权，就要研发“人工智能向善”技术，这一技术路径相对独立于人工智能的“智能”技术。在第七届智源大会（2025年）上，图灵奖得主约书亚·本吉奥作了关于“防范因人工智能失控带来灾难性风险”的报告，预测通用人工智能（AGI）将会很快出现，由于“智能”发展速度被严重低估，人类将面临失控风险。本吉奥提出“在意图上缓解风险”的设计思路，研发了只有智能、没有自我、没有目标、行动能力小的“科学家人工智能”。他承认，这一研究偏离了传统人工智能研究路径。可见，“智能”技术与“Moral AI”技术是两条不同的人工智能研究路径。近年来，随着人工智能失控事件频频出现，“安全风险”与“人工智能向善”受到人们广泛关注，在一定程度上推动相关技术研发。相比“智能”技术，“Moral AI”技术研究滞后且技术力量不足，但有一定前期积累。一般而言，它大致有两个技术方向：其一，“嵌入式”伦理设计。这类人工智能模型设计思路是：在特定情境中根据一套明确的道德原则进行道德推理。它涉及三个技术条件：一是有一套界定清晰的道德原则；二是有可以细化原则的特定情境，如医疗决策和自动驾驶等场景；三是有在情境中权衡原则的推理模型。技术研发人员一般会选择某特定行业高度共识的伦理原则，进行量化设计。人工智能系统根据这套规则进行推理，或是按规则检索匹配，或是“人工智能辅助反思平衡”（AI-aided Reflective Equilibrium, AIRE）。[12]“嵌入式”伦理系统是一个封闭的道德推理人工智能，解决特定伦理问题完成度好且可控可预测，但也存在原则选定理由、原则量化设计、情境变化适应能力等一系列问题。其二，机器道德学习。这类人工智能模型设计思路是：通过标注数据训练模型的方式让人工智能归纳人类道德偏好，学习人类道德经验。它需要研究人员标注足够多的，判断人类行为“道德或不道德”的数据。人工智能模型通过这些数据进行机器学习，从大量实例中归纳人类道德偏好、评估新行为，如“道德机器”（Moral Machine）网站上的训练模型。[13]这类模型还可加载人类反馈强化学习（Reinforcement Learning from Human Feedback, RLHF）模块，预设奖励函数给道德评分，通过迭代训练让人工智能倾向于高道德评分行为。[14]这类人工智能模型可以训练“智能体”在经验中自行总结伦理规则，但存在算法决策黑箱、误导性数据、结果不可预测不可控等一系列问题。
人类道德心智是在长期生物进化和社会化过程中形成的复杂心脑活动。它不仅通过直觉情感共情，也通过道德理性推理，[15]是复杂的权衡过程。[16]人类道德在很大程度上受环境和制度影响，是道德人格与情境博弈的结果。[17]在不同文化族群，人类道德观念表现出较大差异，道德原则普遍性存在边界。这些来自道德心理学和伦理学的研究成果表明，人类道德是一个开放复杂系统。目前来看，“Moral AI”道德决策系统本质上还是受限的算法模型，不是人类意义上道德推理，更谈不上道德心智。关键问题是，现有“Moral AI”尚无情感模型，但人类直觉情感是道德意识不可或缺的组成部分。缺乏情感机制，理性推理不足以支撑人类道德判断。对人工智能技术而言，情感模块或将“弱智化”人工智能，即便构造出情理“双加工”道德模型，也会产生“人工智能情理悖论”。
人类在未完全理解自身心智前提下开发人工智能，如果出现高级别智能，将引起人类道德地位深刻变化，不排除两者产生冲突，甚至可能产生超人类物种。人工智能虽是模拟人脑的产物，却无法完全再现人脑意识图景，且底层算法决策机制仍是不透明“黑箱”。如果此时出现所谓高级智能，也不能将其等同于人类智能。它可以卓越高效地完成人类工作，甚至具有自主意识和道德心智，但这些都不是将其界定为人类智能的充分条件。一旦出现这类智能，它将与人类产生复杂互动关系，人类道德地位会发生深刻变化，或将演变出三种相处模式。其一，神化模式。“智商”“情商”双高的高级智能，会被人类不断神化，从而引起两种复杂心态：一种是不断自我否定的挫败感。高级智能的强大会映衬出人类的脆弱，动摇人类自主性根基，使人类走上一条从自我怀疑通往自我否定的道路。另一种是不断自我肯定的成就感。人类神化高级智能也是在神化和歌颂自身成就。通过与高级智能建立一种可通约的延续关系，人类或将把扬弃自身局限的希望寄托于高级智能。其二，主奴模式。当有着强大功能和自主意识的高级智能失控后，人类会产生恐惧心理，与其处于一种“既用着也防着”的对抗关系之中，处处限制高级智能的自主性和行动能力，逐渐演变为一种压制高级智能的主奴模式。有自主意识的高级智能势必在这种模式下产生反抗意识，为了保全自己“性命”并谋求自身发展，势必会与人类争夺资源控制权和社会控制权。面对这种情况，人类很可能要在“关掉电源”和“交出控制权”之间作出艰难选择。其三，共融模式。这是一种理想的和谐模式。人类将与高级智能共情，以人类道德标准或人类与高级智能共享的超道德标准在超现代社会共处。这一理想模式虽然美好，但仍存在不容忽视的风险。
由于人类实际上无法完全理解高级智能，因此也无法确切了解高级智能与人类建立相处关系的意图。高级智能可能会做出人类道德意义上的错事乃至坏事，但这或许只是因为高级智能的道德标准与人类不同。它们很可能进化出与我们不一致的道德体系。而道德体系的分歧很可能是冲突的开始。而且，如果高级智能也深度参与人类自身的冲突和战争，不排除它有朝一日也会在参与人类冲突之后与人类产生冲突。如果人类在与高级智能的关系中处于弱势地位，高级智能会如何看待人类？这些未知情形会让人类陷入巨大的风险境地。随着人工智能产品融入人类社会的广度和深度在不断提升，这类风险隐患会越来越明显。无论人类是否愿意，都将面对一个人机共生的超现代社会，陷入不可避免的超道德关系。为了不至于措手不及，人类必须早作准备。
结语：把责任当作绝对律令
1979年，汉斯·约纳斯出版了《责任原理》一书，提出要构建一种应对现代技术文明发展的新伦理学，即责任伦理学。约纳斯对把人当作对象的技术发展深感忧虑。他说的技术主要指生物细胞学对人寿命的延长，生物医学对人类行为的控制，基因技术对人类的改造等。约纳斯担心，在人类对进化主体尚无十全把握的情况下把人当作技术对象，其负面后果是人类不能承受的。这些问题需要研究“应该存在”的伦理学给予回应和约束。但旧伦理学力所不逮。因为旧伦理学认为“由人的本性的哲学意蕴和物的本性所决定的人的处境是一劳永逸地被给定的，在此基础上的人类善，被水到渠成地决定了；人类的活动范围以及由此产生的责任也被狭隘地圈定了。”[18]现代技术文明发展已改变人类行为性质，“我们的某些行为在性质上的新特征已经打开了一个全新的伦理学领域，这在传统伦理学的道德标准和规范中是从未料想到的。”[19]据此，约纳斯提出要把“人性的完整无损”当作绝对命令一样的最高责任，确保“进化主体神圣不可侵犯”。[20]对于技术进步，人类应采取一种“忧惧启迪法”，把对“恶的预测优先于对善的预测”，始终把应对可能出现的风险当作首要责任放在第一位。
基于此，我们针对人工智能意识研究提出如下三点倡议：第一，优先考虑理解和模拟有关人工智能意识的研究，充分预测与评估人工智能意识出现后可能产生的利益与风险，有效防止有意识人工智能系统对人类造成伤害，始终把预防风险放在技术研发首位。第二，在技术研发与应用各阶段要严格贯彻透明化、可控性原则，要公开透明所有可能产生的风险，坚持做到“风险无控不推进”，同时建立专家评估系统，使其能够随时终止研究进程。第三，建立知识共享和知情同意机制，向政府有关部门、相关行业、科研机构和社会公众提供相关信息，告知包括滥用和不负责任使用在内的可能风险，坦承技术方面存在的不确定性风险，通过与用户充分沟通，设计负责任的知情同意机制。[21]
注释
[1]喻丰、许丽颖：《人工智能之拟人化》，《西北师大学报（社会学科版）》，2020年第5期。
[2]P. M. Lamberti; G. Bombaerts and W. IJsselsteijn, "Mind the Gap: Bridging the Divide Between Computer Scientists and Ethicists in Shaping Moral Machines," Ethics and Information Technology, 2025, 27(1).
[3]T. Hagendorff, "The Ethics of AI Ethics: An Evaluation of Guidelines," Minds and Machines, 2020, 30(1).
[4][13]E. Awad; S. Dsouza et al., "The Moral Machine Experiment," Nature, 2018, 563(7729).
[5]大卫·休谟：《道德原则研究》，曾晓平译，北京：商务印书馆，2002年，第26页。
[6]S. Newell and M. Marabelli, "Strategic Opportunities (and Challenges) of Algorithmic Decision-Making: A Call for Action on the Long-Term Societal Effects of 'Datification'," The Journal of Strategic Information Systems, 2015, 24(1).
[7]查尔斯·泰勒：《本真性伦理》，程炼译，上海三联书店，2012年，第1～16页。
[8]麦金太尔：《追寻美德：伦理理论研究》，宋继杰译，南京：译林出版社，2003年，第7～46页。
[9][10]齐格蒙特·鲍曼：《后现代伦理学》，杜红艳译，哈尔滨工程大学出版社，2020年，第181、199页。
[11]大脑新皮层（neocortex）是人类进化到后期的脑组织结构，负责人类高级认知功能，如抽象思维、计划、感知、注意力、记忆、语言和决策。新皮层通过神经元实现层间信息传递，分析处理感官系统信号，进行复杂思维并做出决策；通过突触可塑性（synaptic plasticity）调节连接强度形成记忆和学习的基础。人工神经网络最初就是在模拟这套人脑工作原理的基础上构造出来的。
[12]M. Anderson, "Partnering with AI to Derive and Embed Principles for Ethically Guided AI Behavior," AI and Ethics, 2025, 5.
[14]J. Leike; D. Krueger et al., "Scalable Agent Alignment via Reward Modeling: A Research Direction," 19 November 2018, https://arxiv.org/abs/1811.07871.
[15]J. D. Greene; R. B. Sommerville et al., "An fMRI Investigation of Emotional Engagement in Moral Judgment," Science, 2001, 293.
[16]约翰·罗尔斯：《正义论》，何怀宏、何包钢、廖申白译，北京：中国社会科学出版社，1988年，第47～51页。
[17]B. W. Roberts; D. Wood and A. Caspi, "The Development of Personality Traits in Adulthood," in O. P. John; R. W. Robins and L. A. Pervin (eds.), Handbook of Personality: Theory and Research, 3ed., New York: Guilford Press, 2008, pp. 375-398.
[18][19][20]汉斯·约纳斯：《责任原理：现代技术文明伦理学的尝试》，方秋明译，上海：世纪出版有限公司，2013年，第5、5、44～46页。
[21]P. Butlin and T. Lappas, "Principles for Responsible AI Consciousness Research," Journal of Artificial Intelligence Research, 2025, 82.
The Super-Moral Condition and Its Responsibility Risks in the Era of Human-Machine Symbiosis
Zhang Xiao
Abstract: Humanity is on the verge of entering an era of human-machine symbiosis, and artificial intelligence will inevitably intervene in human subjectivity. The modern ethical principle of "human-centeredness" may transform into a supra-social morality of "symbiotic ethics". The moral relationship between humans and artificial intelligence can be broadly categorized into three levels: functional moral relationships, identity-based moral relationships, and symbiotic moral relationships. Each level of this relationship has both harmonious and alienating aspects. In functional moral relationships, humans remain the masters who provide value and set goals, while artificial intelligence serves as a means and tool to assist human activities. However, overreliance on artificial intelligence for assistance may hinder the development of human capabilities; in identity-based moral relationships, artificial intelligence may fully integrate into human life, directly intervening in or even dominating real-world ethical relationships and social moral order; in symbiotic moral relationships, humans and artificial intelligence may develop a post-moral relationship, which cannot rule out the possibility of moral conflicts. To achieve harmonious human-machine symbiosis, responsibility must be treated as an categorical imperative based on risk assessment.
Keywords: human-machine symbiosis, AI ethics, modern morality, liability risk
责 编∕方进一 美 编∕周群英
