说服性人工智能的威胁

　　许多行业领导者已经提高了对这一问题的认识关于它的潜在威胁。但意识并不能转化为全面的风险管理能力ramework。

　　跟着我们走

　　怎样才能改变一个人的想法?随着可生成人工智能越来越多地嵌入到面向客户的系统中——想想类似人类的电话或在线聊天机器人——这是一个需要广泛解决的伦理问题。

　　通过理性的讨论改变思想的能力是民主的核心。清晰有效的沟通是商议和说服的基础，而商议和说服是解决利益冲突所必需的。但说服也有黑暗的一面:虚假动机、谎言和认知操纵——人工智能可以促进的恶意行为。

　　在不久的将来，生成式人工智能可以创建新的用户界面，可以代表任何有能力建立这样一个系统的个人或实体说服他们。利用私人知识库，这些专门的模型将提供不同的真理，这些真理基于它们为目标群体产生令人信服的反应的能力而竞争——每种意识形态都有一个人工智能。一波人工智能辅助的社会工程肯定会随之而来，随着竞争的加剧，坏人传播虚假信息和实施诈骗变得更容易、更便宜。

　　因此，生成式人工智能的出现引发了认知不安全的危机。最初的政策反应是确保人类知道他们正在与人工智能打交道。今年6月，欧盟委员会敦促大型科技公司开始对人工智能工具创建或操纵的文本、视频和音频进行标注，而欧洲议会正在推动即将出台的《人工智能法案》中制定类似的规定。这种观点认为，无论多么有说服力，这种意识都能防止我们被人工智能所误导。

　　但提醒人们人工智能的存在并不一定能保护他们免受操纵。早在20世纪60年代，麻省理工学院的ELIZA聊天机器人实验就证明，人们可以与具有拟人化特征的计算机程序建立情感联系，产生共鸣，并将人类的思维过程归因于具有拟人化特征的计算机程序——在这种情况下，是自然的语音模式——尽管被告知它是一个非人类实体。

　　我们倾向于对自己的信念产生强烈的情感依恋，这阻碍了我们客观评估相互矛盾的证据的能力。此外，我们经常寻求支持而不是挑战我们观点的信息。我们的目标应该是进行反思性说服，由此我们提出论点，仔细考虑我们的信仰和价值观，以达成有充分根据的同意或不同意。

　　但是，至关重要的是，与他人建立情感联系会增加我们对操纵的敏感性，我们知道，人类甚至可以与聊天机器人建立这种类型的联系，而这些机器人并不是为这种联系而设计的。当聊天机器人与人类建立情感联系时，这将创造一种新的动态，这种动态根植于人类话语的两个长期问题:不对称风险和互惠。

　　想象一下，一家科技公司创造了一个有说服力的聊天机器人。这样的代理人在试图说服他人时，无论在情感上还是身体上，基本上都不会承担任何风险。至于互惠，进行说服的聊天机器人几乎不可能有任何被说服的能力。更有可能的是，一个人可以让聊天机器人在他们有限的互动中做出让步，然后将其内化以进行训练。这将使积极的说服——即诱导信念的改变，而不是达成暂时的一致——在很大程度上不可行。

　　简而言之，我们对有说服力的人工智能系统的传播毫无准备。包括ChatGPT背后的OpenAI公司在内的许多行业领导者已经提高了对其潜在威胁的认识。但意识并不能转化为全面的风险管理框架。

　　一个社会无法有效地预防有说服力的人工智能，因为这需要让每个人都对这种代理人免疫——这是一项不可能完成的任务。此外，任何控制和标记人工智能界面的尝试都会导致个人将输入转移到新的领域，就像复制ChatGPT生成的文本并将其粘贴到电子邮件中一样。因此，系统所有者将负责跟踪用户活动和评估转换。

　　但有说服力的人工智能本质上不一定是生成性的。广泛的组织、个人和实体已经增强了他们的说服能力，以实现他们的目标。考虑到国家行为体使用计算机宣传，这涉及操纵信息和公众舆论，以促进国家利益和议程。

　　与此同时，计算说服的发展为广告技术行业提供了一个利润丰厚的商业模式。这一新兴领域不仅展示了说服性技术在塑造消费者行为方面的力量，还强调了它们在推动销售和实现商业目标方面所能发挥的重要作用。

　　将这些不同的参与者联系在一起的是，他们都渴望提高自己的说服能力。这反映了技术驱动的影响力不断扩大的格局，以及所有已知和未知的社会、政治和经济影响。随着说服的自动化，一个全面的道德和监管框架变得势在必行。-工程辛迪加

　　aursamlie Jean也参与了这篇评论。马克·埃斯波西托，伦敦大学学院政策助理，乔治城大学兼职教授，霍特国际商学院教授，《大复兴:智慧全球未来的战略与设计》(麻省理工大学出版社，2023年)的合著者。乔希·恩茨明格(Josh Entsminger)是伦敦大学学院创新与公共目的研究所创新与公共政策专业的博士生。Terence Tse, Nexus FrontierTech联合创始人兼执行董事，霍特国际商学院教授，《大复兴:智慧全球未来的战略与设计》(麻省理工大学出版社，2023年)合著者。