治理AI谣言，大模型能“用魔法打败魔法”吗？

界面新闻记者 | 肖芳

界面新闻编辑 | 文姝琪

每个网络热点事件的发酵，往往伴随着大量的谣言。随着生成式AI的广泛使用，网络谣言有了愈演愈烈之势。

清华大学新闻与传播学院新媒体研究中心发布报告显示，AI谣言量在2024年有较为明显的增长。其中，经济与企业类AI谣言量增速最高。

据界面新闻了解，抖音、微信公众平台、微博、快手等多个平台目前都已建立专门的辟谣账号，定期针对传播广泛的谣言内容进行辟谣。

但一位平台治理人员对界面新闻表示，生成式AI让大幅降低了生产网络谣言的门槛，但平台核实信息的真实性往往需要一些时间，中间的时间差足以让网络谣言产生广泛传播，甚至带来一些社会危害。

根据警方此前曝光的案例，一些不法团伙利用AI工具等生成谣言，通过其控制的数百个自媒体账号发布，在短短几天时间就能够发布几百条内容。这些谣言经过发酵之后，带动的新增讨论更是不计其数。

上述平台治理人员还透露，在一些热点事件中，虽然平台对相关谣言进行了辟谣，但辟谣内容的传播热度远低于谣言热度，用户往往只看到了谣言信息而看不到辟谣信息。

在很长一段时间内，“造谣容易辟谣难”的问题困扰着各个平台的信息治理团队。9月16日，抖音在不实信息治理开放日上宣布上线“AI抖音求真”功能，并对外分享了一些通过技术手段治理谣言的方法，这给网络谣言治理提供了一些新思路。

治理AI谣言，用魔法打败魔法

今年，已经有“歌手陈奕迅去世”“演员于朦胧遗体带血的劳力士”等多起网络谣言事件频繁搅动舆论场，这些谣言时候均被证明使用AI进行了伪造。

此前，平台在初步研判一些快速发酵的网络热点信息时，往往依靠治理人员的经验。抖音生态治理团队一位负责人在不久前接受界面新闻采访时表示，今年上半年，其最初研判“华山医院前院长张明远客死洛杉矶”的信息时，发现大量自媒体发布的信息相似度太高，意识到这则消息可能有AI编造的痕迹。

据界面新闻了解，平台治理人员研判谣言的经验还包括寻找信息中不符合常识的瑕疵、信息的源头是否包含权威媒体等。但随着生成式AI能力的提升，这些人工经验在谣言研判上能够发挥的作用越来越有限，平台治理人员对上线技术手段研判谣言的呼声越来越高。

抖音不实信息治理负责人李博在不实信息治理开放日上透露，近期，抖音已尝试在谣言治理工作中引入大模型技术。基于谣言治理大模型研发的智能体更像一个由平台训练出来的“谣言鉴定专家”，它学习了过往人工在研判的经验，但能力比人工有了大幅提升。

李博以今年7月出现的一条“老年人坐火车有新规定”谣言内容详细解释了谣言治理大模型的工作机制：智能体对相关视频的画面、画面中的文字以及音频进行拆解，提炼其主旨为“7月1日起，老年人坐火车有新规定，买票可享受折扣”；接下来，智能体会全网检索相关信息，重点关注权威媒体以及12306官方账号有无相关报道或辟谣，来研判相关信息是否属实；在发现官方账号辟谣之后，智能体确定该信息为谣言，并研判其容易给公众误导，风险高。研判之后，智能体不只处理了这一条内容，还入库回扫其他相关内容，处理掉了全部不实信息。

相比于人工处理谣言，该方式在全网信息研判、回查处置方面的效率更高。根据抖音方面公布的数据，在大模型技术助力下，近一个季度以来，抖音谣言内容曝光量下降67%。大模型识别准确率达85%，目前仍在持续提升中。

但谣言研判处置并不全都这么简单，治理人员经常遇到的问题是无法立即核实信息的真实性。比如“九月社保新规，全民强制缴纳社保”的信息，这实际上是对政策的补充和说明，被一些自媒体解读为新规，引发了诸多误解。

为此，抖音还上线了“无依据的不当臆测内容”的大模型，一方面通过内容本身的论据判断，另一方面会结合外部举报等信号。高置信度的就直接处置，疑似的人工会进一步研判。

李博告诉界面新闻，经过一段时间的运营，其团队也发现了谣言治理大模型还可以优化的方向。比如，把团队在专业知识上的积累变成大模型的知识库，平台上一些专业达人也可以作为一些信息反馈渠道等。

解决“造谣容易辟谣难”，平台还需投入更多运营力量

通过技术手段能够直接处理的谣言只是一部分，还有大量的存疑信息同样存在引发误解、搅动舆论场的问题。

这部分信息仍然需要平台投入更多运营力量来向用户呈现真实信息的全貌。据界面新闻了解，目前多个平台对谣言治理的重点仍然是处置已经被证实的谣言信息，对这类存疑信息的治理仍存在很多难点。

微博和抖音在存疑信息的治理上有了较为明确的动作。其中，微博在信息流中推出了微博查证功能，用户点击之后可跳转至微博智搜页面，可查看到由AI总结的事件来龙去脉全貌，大幅减少了用户因获取片面信息产生的误解。

抖音近日把此前已上线的抖音辟谣卡的功能升级为“AI抖音求真”功能。该功能直接挂在容易产生误解的短视频下方，用户点击就可跳转到落地页，了解事件全貌。根据抖音方面公布的信息，“AI抖音求真”功能目前日均曝光大概在1亿左右。

在此前的平台信息治理中，平台的重点多集中在处置谣言内容上，辟谣信息以及事件的全貌都需要用户主动搜索获取，这在一定程度上也助推了“造谣容易辟谣难”的问题。从最新的治理思路来看，平台希望能够通过运营力量增加真实信息的曝光，让用户能够在刷内容的过程中被动获得。

抖音谣言治理员工李青松还向界面新闻透露，抖音发现未经证实的存疑信息后，会根据“社区热点信息治理规则”先采取流量限制措施，避免无序传播误导公众。若后续官方通报明确信息为谣言，则纳入谣言库处置；若通报为事实，则解除流量限制；若长期无定论，则持续维持存疑标记与流量管控。

比如，在近期的演员于朦胧坠楼事件中，各个平台出现大量和坠楼原因相关的信息。在警方通报之前，平台也无法核实真伪，只能尽可能呈现信息全貌，并把一些存疑信息进行流量限制。但不可否认的是，各个平台中仍然有大量谣言信息在传播。

在李博看来，当下谣言的产生多种多样，主观编造、传播偏差、理解不足均会演变成谣言，甚至有些观点都不是故意编造，但在传播中用户逐步加工变成谣言。“目前解决谣言传播问题仍然存在较大挑战，不实信息的治理是一场智慧与技术博弈的持久战。”