苹果电脑公司(Apple Computer Company)的研究人员通过测试发现证据,表明基于人工智能的法学硕士给出的看似聪明的回答只不过是一种错觉。在他们发表在arXiv预印本服务器上的论文中,研究人员认为,在测试了几个llm之后,他们发现llm无法进行真正的逻辑推理。
在过去的几年里,许多法学硕士,如ChatGPT,已经发展到许多用户开始怀疑他们是否拥有真正的智能。在这项新的研究中,苹果的团队通过假设智能生物或机器能够理解简单情况下的细微差别来解决这个问题,这需要逻辑推理。
其中一个细微差别就是区分相关信息和不相关信息的能力。例如,如果一个孩子问父母一个袋子里有多少个苹果,同时也注意到有几个苹果太小了,吃不动,孩子和父母都明白苹果的大小与袋子里的苹果数量无关。这是因为他们都具有逻辑推理能力。
在这项新研究中,研究人员测试了几位法学硕士真正理解问题的能力,方法是让他们间接忽略不相关的信息。
他们的测试包括向多个法学硕士提出数百个问题,这些问题以前被用作测试法学硕士能力的一种手段,但研究人员也包括了一些不相关的信息。他们发现,这足以迷惑法学硕士,让他们对之前正确回答的问题给出错误甚至荒谬的答案。
研究人员认为,这表明法学硕士们并没有真正理解他们被问到的问题。相反,它们会识别句子的结构,然后根据它们通过机器学习算法学到的东西给出答案。
他们还注意到,他们测试的大多数法学硕士通常会给出看似正确的答案,但在进一步审查后发现并非如此,例如当被问及他们对某事的“感觉”时,得到的回答表明人工智能认为它有能力做出这种行为。
更多信息:Iman Mirzadeh等人,GSM-Symbolic:理解大型语言模型中数学推理的局限性,arXiv(2024)。DOI: 10.48550 / arxiv.2410.05229
machinelearning.apple.com/research/gsm-symbolic
期刊信息:
arXiv
?2024 Science X Network
引用当前位置:苹果研究人员表示,人工智能在很大程度上仍是一种幻觉(2024年10月16日
作品受版权保护。除为私人学习或研究目的而进行的任何公平交易外,未经书面许可,不得转载任何部分。的有限公司
内容仅供参考之用。
有话要说...