中国科学院心理研究所研究员 朱廷劭
【摘要】随着算法技术在各个领域的应用越来越普遍，尤其在人文领域，不管是推荐系统，还是人力资源招聘，以及心理健康，都得到了很好的应用，并且取得了一定的成效。但是，在具体应用中，各类APP通过各类算法过度采集个人信息并加以无限制利用，将用户绑定在他们所精心构筑的“牢笼”，由此引发数据隐私泄露、算法滥用以及技术至上等新问题层出不穷，给社会带来一定程度的不良影响。因此，要完善相关法律约束算法的使用，提高执法力度鼓励算法向善，通过增强用户自主性以消除不良心理效应，确保技术更好地为人服务，而不是带来更多的问题。
【关键词】算法计算 算法向善 心理效应
【中图分类号】TP181 【文献标识码】A
【DOI】10.16619/j.cnki.rmltxsqy.2022.10.007
随着时代的发展，信息技术尤其是人工智能与人们的日常生活和工作的结合越来越密切。一般来说，计算机为了完成特定的任务，需要遵循一定的算法。算法（algorithm）是指为了完成特定任务的计算步骤，用于计算、数据处理和自动预测推理。算法是为了解决特定的问题而提出的，问题来源就是输入，而期望结果就是它的输出。算法要求每个步骤都是明确的、可行的，这样可以一定程度上确保对结果的预期也是确定的。算法步骤的明确并不代表算法所建立的输入输出之间的关系是明确可解释的。当前，算法技术广泛融入线上线下的各种应用场景，深入贴近人民生活。在提供各种便利性的同时，算法可能带来的副作用，即“算法作恶”逐渐引起人们的重视，如何确保算法向善、技术向善的同时尽量遏制“算法作恶”是亟待解决的问题。
算法使用失范对社会造成不良影响
目前，新闻资讯、社交及短视频等APP通过各类算法过度采集个人信息并加以无限制利用，将用户绑定在他们所精心构筑的“牢笼”。由此引发数据隐私泄露、算法滥用以及技术至上等新问题层出不穷，给社会造成一定程度的不良影响。
数据滥用引发公众的隐私担忧。各类网络应用APP可以采集海量的用户数据，而用户数据的滥用则会引发公众对隐私泄露的强烈担忧。2006年，美国在线（American On Line, AOL）为用户搜索数据泄露一事向公众道歉。此前，AOL的一个研究小组在网络上公开了该公司约65.8万匿名化处理后的用户在3个月期间（同年3月1日～5月31日）所进行的搜索日志信息，约2000万份左右，占同期搜索总量的0.3%。该研究小组的初衷是为了向学术研究人员提供一批真实数据进行算法比较，但是后来一些网站开始关注这批数据，并由此引发公众对隐私信息泄露的巨大担忧。
由于很多用户把AOL作为互联网入口，因此有些搜索关键词就含有个人隐私信息，虽然用户已经被匿名化处理，但是从某个用户ID所做的一系列搜索，还是有可能找到其真实身份。比如某位用户搜索了某个具体的人名，或者家庭住址的邮编。用户可能同时又搜索了其他不愿意让他人知道的信息，其中一名AOL用户进行了下面一连串搜索：“how to kill your wife”（如何杀害你的老婆）；“murder photo”（谋杀图片）和“www.murderdpeople.com”。当所有这一系列搜索行为都被公布，隐私就不复存在。这一事件在互联网上招致铺天盖地有关泄漏个人隐私权利的批评。同年8月，AOL为用户搜索数据泄露一事向公众道歉，并解散了该研究小组。尽管相关信息已被撤下，但目前仍可以在互联网下载。
算法滥用推波助澜社会不公。算法滥用是人工智能自动化决策中，由数据分析导致的对特定群体的系统性的不公正对待，主要表现为性别歧视、价格歧视和种族歧视。为了追求商业利益最大化，算法有可能违背社会公平、道德和人性。比如，大数据杀熟，同样的商品或服务，老客户的价格反而高过新客户。只推荐给人们能潜在带来商业利益的东西，而不是最适合、最恰当的东西。通过滥用人性弱点，过度激发诱导客户，从而对算法投放的产品服务产生依赖。只考虑算法的最终效果，没有考虑人性，将人“异化”为简单的数据。算法的具体原理和参数只有运营企业的少部分人知道，会产生利益捆绑。有的企业可能利用算法作恶，通过发布吸引眼球的信息推荐虚假产品等。
2015年6月以来，亚马逊全球员工数骤增，人力资源部需要拼命工作以招揽新员工。为此，公司建立了一个十几人的团队，开发AI算法简历筛选系统。团队训练了针对不同工种的计算机招聘模型，分析以往简历中出现的术语，并对常见技能进行重要性排序。但由于这些简历大部分是男性的，结果算法被训练成了对女性求职者有偏见，会优先选择男性求职者。算法对简历上求职者提交的自我描述内容也有不同偏好，会更多向男性求职者简历中的高频词汇倾斜。性别偏见不是这类招聘模型唯一存在的问题。训练模型所需的数据也存在问题，比如，很难对推荐的最终效果进行评估，使得一些不合格的求职者会被算法推荐。人们一直希望利用科技提高招聘效率、减少对招聘人员主观看法的依赖，但是如何确保算法的公平和有效性，还需要很长一段时间来实现。
各种各样的算法歧视广泛存在。一是近年来，我国一些网购平台利用大数据“杀熟”的现象屡见不鲜，利用老顾客的信任抬高价格，以谋取不正当利益。二是性别歧视。一些招聘平台上的简历筛选算法，对男性求职者有着明显的偏好，女性求职者的简历常常得分偏低。三是种族歧视。一些高薪工作广告更多地向特定种族的人群推送，智能照相机在照相时提醒亚裔睁开眼睛等。此外，还有宗教信仰、经济状况、外貌等特征被恶意使用所造成的算法歧视。
技术至上未必好心办好事。英国的一家慈善机构Samaritans在2014年10月发布了一个免费的Twitter插件——Samaritans Radar，允许Twitter用户监视彼此在社交媒体上发布的负面内容。在使用时，该应用自动扫描用户在Twitter上关注的任何账户，一旦用户发布了负面情绪的表达，它便会向注册监控该帐户的用户发送电子邮件警报，标记相关的推特，并联系和提供支持的最佳指导方式。
尽管这款应用的出发点是好的，但上线不久便受到了大量网民声讨，因为被监控的人从未得到通知或知情同意。许多Twitter用户担忧该应用可能引发极大的隐私问题，并且很容易被用于骚扰或跟踪，因为用户的粉丝列表中可能不仅有朋友，也有对他们有威胁的人（也许是危险的坏人）；另外，用户担心使用Samaritans Radar会让人觉得发推文会被监测，这对那些正在寻求支持的人来说不那么安全，可能会迫使有心理健康问题的人离开网络。
除此之外，算法作恶的情况可能还有利用算法注册虚假账号、雇佣网络“水军”，实施虚假点赞、转发等流量造假，或者鼓动“饭圈”粉丝互撕谩骂、刷量控评，等等。或者，通过操纵干预热搜、榜单等以各种“带节奏”。一些算法服务商在开展个性化推荐、热点榜单、信息发布等活动时，还存在影响网络舆论的现象。我们应该看到，算法的合理使用会给人们的工作生活带来极大便利，但是恶意使用即算法作恶则会造成不良社会影响，带来严重的后果。
算法作恶的心理效应
算法自身不会对人们造成直接的危害，一般是通过算法的运行对人们的行为心理带来影响，算法作恶背后的心理效应主要包括回音室效应、信息茧房和尖叫效应等。
高度同质化下沉默的螺旋。回声室效应是由心理学家凯斯·桑斯坦（Cass R. Sustein）提出，[1]指的是在一个相对封闭的环境上，一些意见相近的声音不断重复，并以夸张或其他扭曲形式重复，令处于相对封闭环境中的大多数人认为这些扭曲的故事就是事实的全部。网络技术使得信息的传递和分享变得更加便捷简单，但也在无形中打造出一个封闭的、高度同质化的“回声室”，使得人们更重视跟自己的假设或信念一致的事例。“人以群分”，人们总是愿意跟意见相似的人为伍。
随着各种网络社交媒体的涌现与发展，互联网空间的回声室效应愈发凸显。在社交网络中，人们以社交对象作为信息来源。他们在选择信息来源的同时，也就进行了信息的过滤。社交网络在一定程度上强化了人群的分化，人们受社交圈以及自身的立场态度的影响，往往更愿意固守在符合自己偏好的圈子里，对一些与自己意见相左、志趣不合的人“取关”甚至“粉转黑”。目前部分商业网站会根据用户的搜寻结果，进一步提供内容相近的网络信息，这种让人产生“挠到痒处”的心态反而会带来一定的问题。
网络服务提供商通过算法分析，向用户推送符合用户偏好的信息，并不断强化，其结果就是让用户陷入“同温层”。当我们越喜欢看某一类的文章，算法就越会更多推送类似的内容，这导致我们越来越加深自己原本的想法，即便自己原本的想法可能并不都是正确的，这就是“同温层效应”。传播学研究发现，这种现象最终会形成“沉默的螺旋”，即只有主流意见发声，且声音越来越大，其他人则附和或沉默。在网络虚拟世界，人们往往会偏好与自己立场、观念接近的信息源，屏蔽或刻意避开自己厌恶的持相反意见者。算法则可以根据我们过往的行为留痕（比如，浏览、点赞等），把最对我们胃口的信息推送到我们面前，这更进一步加剧了信息“同温层效应”。
算法作茧缚住用户。信息茧房也是由凯斯·桑斯坦提出的，[2]在信息传播中，因公众自身的信息需求并非全方位的，而一般只注意自己选择的东西和使自己愉悦的内容，久而久之，会将自身桎梏于像蚕茧一般的“信息茧房”中。信息茧房会加剧网络用户群体的极化，群体内的成员与外部交流会大幅减少，群体成员因为拥有相似的观点和看法，内部趋同的特征愈发显著，容易产生盲目自信、心胸狭隘等不良心理，并诱发极端思想和极端行为。
互联网平台的功能设置中，有时为了规避用户的反对，将一些体现个人自主性的设置隐藏很深，一般用户面对眼花缭乱的设置，很多情况下只能接受系统的缺省设置，将自主性完全交由平台。这种情况下，个体会不自觉地陷入平台算法推荐的信息中，对推荐内容感到高度满意并很难感知到自身的信息受限。算法通过不断培养用户对平台的依赖，久而久之，用户信息接收维度变窄，获取渠道单一，在单调的信息交互中形成特定的兴趣习惯，让人深陷“信息茧房”的桎梏。
眼球经济的价值导向。尖叫效应是指在内容传播中，通过非法剪拼改编的惊悚、恶搞等低俗内容，迅速引发人们的大量关注，无论是从满足人们的猎奇心理，还是引发人们的指责批评，都能获取高额的流量和点击率[3]。依托大数据和人工智能，可以对用户的网络行为进行深度分析，在此基础上将更多契合尖叫效应的信息提供给用户，从而达到取悦受众，扩大平台用户基数的目的。在关注为王、流量为王的导向下，这种效应会成为一种传播的价值导向，吸引更多人制作违反道德、违反法律法规的内容，在众多平台的裂变式传播下，对人们尤其是青少年的世界观、人生观、价值观造成不良影响。如果平台只是不带价值评判的纯数据筛选，其采取分析、归纳、推荐的算法无可厚非，但如果忽略了“价值判断”，就会让算法沦为尖叫效应的帮凶。
建议
技术的发展趋势是不可逆转的，“双刃剑”效应不可避免，但是考虑到商业的逐利内驱力，如果寄希望于商业机构的自我约束，那无异于与虎谋皮。如何在充分发挥算法在人们日常生活和工作中的积极作用同时，对其潜在风险进行有效约束，是值得我们特别重视的问题。
完善相关法律约束算法的使用。目前出现的一些超级平台，能够通过手中掌握的用户行为数据，实现对用户偏好的准确把握，并且有能力实现信息的精准投放。在资本的驱使下，仅仅通过“向善”的宣教很难达到效果。因此，必须通过不断完善相关的法律条文，约束算法在合规的范围内被使用。
欧盟《通用数据保护条例》（General Data Protection Regulation, GDPR），是欧洲联盟于2018年5月25日出台的有关信息保护的条例。GDPR⾯向所有收集、处理、储存、管理欧盟公民个⼈数据的企业，限制了这些企业收集与处理⽤户个⼈信息的权限，旨在赋予欧盟公民对个人数据的更多控制权。GDPR规定企业必须获得数据提供者关于其数据合法使用的明确授权，⽤户也拥有随时取消授权的权利。当获取数据时所述的⽬的不再适⽤或⽤户不再允许企业使⽤该数据，GDPR规定企业必须删除⽤户信息，同时将⽤户的数据清除请求告知第三⽅处理机构。
2021年11月1日起施行的《中华人民共和国个人信息保护法》是我国首部专门针对个人信息保护的法律。个人信息是指以电子或者其他方式记录的与已识别或者可识别的自然人有关的各种信息，不包括匿名化处理后的信息。个人信息保护法强调在处理个人信息时，应遵循“告知—知情—同意”的原则，即在处理个人信息前，以显著方式、清晰易懂的语言真实、准确、完整地向个人告知相关事项，并应取得个人同意。该法明确规定不得过度收集个人信息，并加大了对侵犯个人信息行为的惩处力度。一旦发生侵害个人信息的行为，将对个人信息处理者适用过错推定原则，不能证明自己没有过错的就应当承担损害赔偿等侵权责任，这将在很大程度上减轻个人维权的难度。
GDPR和个人信息保护法的实施对中国互联⽹的冲击是巨大的，将对现有的基于搜集个⼈信息和隐私驱动的营收模式产⽣重⼤影响，使得算法在合法范围内被使用。“道高一尺，魔高一丈”，随着技术的发展，也需要不断完善相关法律法规，堵住不断出现的算法作恶的新漏洞。
提高执法力度鼓励算法向善。加强行业自律，加强算法的道德和伦理建设是必要的。但是，在巨大利益的驱使下，仍然会有平台游走在灰色的边缘地带。个人信息保护法需要全社会形成合力，形成针对个人信息不法使用的包围圈。但是，法律的出台仅仅是开始，法律的生命在于实施，权威在于执行。只有在不断的司法实践中，实现持续一贯地对用户信息的保护，并且通过对不法行为的严惩，才能达到立法的初衷。因此，应在立法的同时，加强执法的力度，实现对相关平台的有效震慑，使其不敢为。
网络虚拟世界与现实世界的联系越来越紧密，为宣传个人信息保护提供了便利条件。依靠网络手段，向大家宣讲相关的法律知识，具有很好的传达性。对于违法行为及其惩处的宣讲，则可以让更多的用户了解到什么样的行为是违法行为，从而在自己的生活工作中避免不法行为对自己的伤害，也同时达到了对潜在不法分子的有效警告。
通过增强用户自主性以消除不良心理效应。大力保护用户的个人自主性，平台应该将个人自主性设置交由用户，向用户充分解释各项自主性设置的功能，使得用户能够对平台信息有更大的自主权。此外，在信息提供方面，平台应该对所有的信息平等对待，而不应该设置排他性的使用条款；扩大算法的信息披露力度，即作为算法的相关主体及利益相关方应该披露算法的运行原理，使用过程中可能存在的偏见和漏洞以及可能对个人和社会造成的潜在危害。算法系统的设计、测试、运行表现及变动都需要留有记录，全程监测可审计。
为了实现网络环境的风清气正，必须纠正“算法没有价值观”的价值判断。网络平台运营者应担负起更多的责任，包括社会责任和法律责任。我们应该发挥算法向善的一面，防止其成为不良内容传播的帮凶，以健康向上的价值观来规范和指引算法应用，营造清朗的网络空间。
注释
[1]Jamieson K. H.; Cappella J. N., 2008, Echo Chamber: Rush Limbaugh and the Conservative Media Establishment, Oxford University Press.
[2]Sunstein, C. R., 2006, Infotopia: How many minds produce knowledge, Oxford University Press.
[3]Duan, P.; Zhang, L.; Song, K. and Han, X., 2020, "Intelligent News—The Backbone of Smart Media Communication", In Communication of Smart Media, Springer, Singapore.
责 编／肖晗题
朱廷劭，中国科学院心理研究所研究员、博导，中国科学院行为科学重点实验室副主任。研究方向为大数据心理学、 网络挖掘、机器学习。主要著作有《大数据时代的心理学研究及应用》等。
Thoughts on Increasing Social Good in the Humanistic Application of Algorithmic Technology
Zhu Tingshao
Abstract: With the application of algorithmic technology in various fields becoming more and more common, especially in the humanities fields such as the recommendation system, human resource recruitment and mental health, it has been well applied and achieved certain results. But in the specific application, various Apps over-collect personal information through algorithms and make unlimited use of it, binding users to their carefully constructed "cage". This has led to emerging problems such as privacy leaking, algorithmic abuse and technological supremacy, bringing a certain degree of adverse impact to the society. Therefore, it is necessary to standardize the use of algorithms by improving the relevant laws, ramp up law enforcement to encourage increase of social good through algorithms, eliminate adverse psychological effects by enhancing user autonomy, and ensure that technology can better serve people rather than bring more problems.
Keywords: algorithmic calculation, algorithmic good, psychological effect
