如何反击网络操纵认知

在网络时代，人们的想法和行为正受到越来越严重的误导和操纵，日渐趋于极端化。

只有了解操纵的算法和操纵者如何利用人们的认知弱点，我们才能展开有力反击

作者   菲利波·门采尔（Filippo Menczer）

托马斯·希尔斯（Thomas Hills）

翻译   张文俊

上期的内容说到，在2014年，一个假新闻团体造谣称，我们的研究小组出于一种政治动机压制了自由的言论。这种虚假的指控像病毒一样在大部分保守派组成的回音室中广泛传播，而由核查事实的人写的反驳文章主要在自由派中传播。遗憾的是，这种假新闻和对应的事实调查报告在不同的社群中传播是一种常态。

社交媒体也能增加我们的消极感。在近期的一项实验研究中，华威大学的罗伯特·雅杰洛（Robert Jagiello）发现，社交性分享的信息不仅强化了我们的偏见，也会使纠正偏见变得更加困难。他通过实验研究了信息如何通过社交扩散链（social diffusion chain）在人群中传递。在实验中，扩散链中的第一个人会阅读一系列关于核能或食品添加剂的文章。这些文章不偏不倚，包含等量的正面信息（例如更少的碳排放，更长的食物保质期）和负面信息（例如反应堆内核熔毁的危险，潜在健康危害）。

在社会扩散链中，第一个人将文章内容告诉第二个人，第二个人会告诉第三个人，以此类推。我们观察到，随着传递链的延长，负面消息的数量在整体上变多了，这也被称为风险的社会性放大。另外，澳大利亚新南威尔士大学的丹妮尔·J·纳瓦罗（Danielle J. Navarro）和同事发现，社会扩散链中的信息最可能被带有极端偏见的个体歪曲。

更糟糕的是，社会扩散还会巩固负面消息。当雅杰洛接着将社会扩散链中的人暴露在原始的、不带偏见的信息，也就是扩散链中第一个人看到的信息中时，这些人的负面态度并没有发生改变。在人群中传递的信息不仅会变得更加负面，也更难被更改。2015年，OSoMe研究员埃米利奥·费拉拉（Emilio Ferrara）和杨泽耀（音译，Zeyao Yang）进行的一项研究分析了关于推特上这种“情绪感染”的实验数据，他们发现那些过多接触负面内容的人，倾向于分享负面的帖子，而过多接触正面内容的人会更愿意分享正面的帖子。

由于负面内容的传播比正面内容快，也因此更易通过创造容易触发恐惧、焦虑等负面情绪的故事，来操纵情绪。现在在南加利福尼亚大学的费拉拉和意大利布鲁诺·凯斯勒基金会的同事们发现，在2017年西班牙关于加泰罗尼亚独立的公民投票中，有人利用社交机器人转推暴力和煽动性的文字，通过增加信息的曝光率，加剧社会冲突。

网络机器人的影响

网络机器人会利用我们人类所有的认知漏洞，进一步损害信息的整体质量，且它们很容易被制造出来。社交平台提供了所谓的应用程序接口，这使得一个人可以十分容易地设置和操控成千上万个机器人。这些网络机器人成为消息的放大器：即使是在类似Reddit的社交平台上给一些刚发的帖子少许点赞，也能对其后续的热度产生巨大的影响。

在OSeMe，我们开发了用于检测网络机器人的机器学习算法。其中的一个算法名为Botometer，这是一个开源的工具，可以从一个推特账户中提取1200个特征，以描述其形象、好友、所处的社交结构、当前的行动模式、语言和其他特征。这个程序会将这些特性与之前鉴定的数万个网络机器人进行比较，以对推特账号是机器人的可能性打分。

在2017年，我们估计推特大概有超过15%的活跃账号是网络机器人，这些账号在2016年美国大选期间的虚假信息传播中发挥了重要作用。在一条假新闻，例如一条声称克林顿竞选团队参与神秘仪式的假消息发出几秒种后，大量机器人转发了这条新闻，而一些人会被内容的受欢迎度误导，进而转发它。

机器人也会通过伪装成我们社交圈的人，来影响我们。一个机器人只需要通过关注、点赞或者转发一个线上社区中某个人的推特，就可以迅速地渗透进该社区中。OSoMe的研究者卢晓丹（音译，Xiaodan Lou）开发了另一个模型，其中一些代理人是能渗透进入社交网络的机器人。它们会分享一些迷惑性的低质量内容，类似所谓的标题党。模型中的一个参数描述了一个真实的参与者（在模型中为代理人）关注机器人的可能性。在这个模型中，我们将机器人定义为只生产毫无质量的热点新闻，以及只会转发另一个代理人帖子的用户。模拟显示，这些机器人只要渗入一小部分网络，就能有效降低整个系统的信息质量。机器人也能通过与其他非真实账户互相关注，来加速回声室效应的形成，这种技术也称为制造“关注列车”（follow trains）。

一些舆论操纵者通过不同的假新闻网站和机器人来操纵立场不同的人，以推动政治分化或者通过广告套现。在OSoMe，我们最近揭露了推特上一个由非真实账户组成的网络，这些账户均由同一个人操控。一些假装是MAGA（Make America Great Again）运动中特朗普的支持者，而另一些表现成特朗普的反对者，这些账户都在募集政治捐款。这些操作会放大那些利用了确认偏见的内容，加速了极端化的回音室形成。

遏制网络操纵行为

了解我们的认知偏差，以及算法和机器人如何利用这些偏差，可以让我们更好地防范网络操纵。OSoMe已经开发了一些工具，能帮助人们了解自身的弱点，以及社交媒体的缺点。一个名为Fakey的手机应用，能帮助用户学习如何识别虚假信息。这个游戏模拟了一种社交媒体信息列表，能显示实际文章来源的可靠性。用户必须决定哪些是他们可以或者不能分享的，以及哪些需要验证真伪。通过分析Fakey的数据，我们可以认定社交羊群效应的流行程度：当人们相信很多人已经分享了低可信度来源的文章时，他们也更有可能分享。

另一个开源的程序是Hoaxy，它展示了现在的热点新闻是如何在推特上传播的。在这张可视化图中，每个节点都代表了真实的推特账号，之间的连接描述了热点新闻是如何通过转发、引用和回复在一个个账号间传播的。Botometer可以通过改变每一个节点的颜色对其打分，这让用户可以看到每个网络机器人放大虚假消息的程度。这些工具已经被调查记者用来揭示虚假消息的根源，比如美国的“披萨门”阴谋的推动过程。这些工具也可以帮助侦测在2018年美国中期选举中，由网络机器人推动的压制选民的行为。而随着机器学习算法能更加有效地模拟人类行为，这些操纵过程正变得越来越难以识别。

除了传播假新闻，一些传播误导性信息的活动还试图分散人们对更严重的问题的注意力。为了对抗这种操纵行为，我们最近开发了一个名为BotSlayer的软件工具。它能提取与用户的推文同时出现的标签、链接、账户和其他特征，这些通常和用户想要研究的主题有关。对于每个用户实体，BotSlayer会跟踪这些推文、发布推文的账号以及通过机器人对这些标记账号评分——它们带来的效应很有可能被机器人或相关账户放大了。这样做的目的是使记者、民间组织和政治候选人及时识别和追踪虚假的行为。

这些软件工具是重要的辅助工具，而为了限制假新闻的渗透，制度改革也是必须的。教育措施也能有所帮助，即使不太可能涵盖误导人们的所有新闻主题。一些政府和社交媒体平台也在努力压制网络操纵和假新闻的传播。但谁来决定哪些是假新闻或是被操控的，哪些不是呢？正如Facebook和推特已经开始做的那样，在提供信息时可以带着警示标签，但提供这些标签的人是否能被信任呢？

一个更好的方法是，让生产和分享低质量的信息变得更加困难。为此，一种做法是让分享这些信息的行为需要付出代价，代价可能是时间、智力游戏、订阅或是使用需支付少量费用。自动发布应被认作打广告。一些平台已经正在使用验证码的形式或者是通过手机确认登录的形式，来增加信息发布难度。推特已经设置了对自动发布的限制。这些策略可以扩大到将线上分享的动机，逐步转变为分享对消费者有价值的信息。

免费的通信并非免费。通过减少信息的成本，我们已经降低了它的价值并导致了信息掺假。为了恢复信息生态系统的健康，我们必须了解我们信息超载的大脑的弱点以及如何利用信息经济学来避免人们被误导。

（本文为《网络如何操纵认知》下篇）