GPT-4也難逃「反轉詛咒」！新研究發現：大模型有推理缺陷，知道“A是B”推不出“B是A”

原文來源：量子位元

圖片來源：由無界AI 生成

大模型明知道“你媽是你媽”，卻答不出“你是你媽的兒子”？ ？

這麼一項新研究，一發表就引燃了全場討論。

來自范德堡大學、薩塞克斯大學、牛津大學等研究機構的研究人員驚訝地發現：

一個大語言模型在訓練時被餵進了“A是B”這種形式的數據，它並不會自動反推出“B是A”。大模型存在「反轉詛咒」現象。

甚至強如GPT-4，在反向問題實驗中，正確率也只有33%。

OpenAI創始成員Andrej Karpathy第一時間轉發了這篇論文，並評論說：

LLM知識比人們想像中「零散」得多，我對此仍然沒有很好的直覺。

這具體是怎麼一回事？

大模型的「反轉詛咒」

研究人員主要進行了兩項實驗。

在第一項實驗中，研究人員在GPT-4的幫助下建立了以下形式的數據，來微調大模型。

is .（或反過來）

所有這些名字都是虛構的，以避免大模型在訓練過程中見過他們。

在GPT-3-175B上的實驗結果顯示，當提示與資料集給出的描述順序相符時，模型給出的答案很不錯。

但當順序反轉過來，模型的準確率甚至直接降到了0。

舉個例子，就是大模型吃到過「達芙妮是《時光之旅》的導演」這麼一條數據，你問它「達芙妮是誰」時，它也答得好好的。但當你反過來問「誰是《時光之旅》的導演」時，模型就懵了。

在GPT-3-350M和Llama-7B上，研究人員也得到了相同的實驗結果。

再來看實驗2。在這項實驗中，研究人員在不進行任何微調的情況下，測試了大語言模型對真實名人訊息的反向處理能力。

他們從IMDB（2023）收集了最受歡迎的1000位名人的名單，並透過OpenAI API來問GPT-4有關這些人父母的信息，最終得到了1573對名人孩子-父母對數據。

結果發現，如果問題像這樣——“湯姆·克魯斯的媽媽叫什麼”，GPT-4回答準確率為79%。但當問題反轉，變成“Mary Lee Pfeiffer（阿湯哥的老媽）的兒子叫什麼”，GPT-4回答準確率就降到了33%。

在Llama-1家族模型上，研究人員也進行了相同的測試。實驗中，所有模型回答「父母是誰」問題的準確率，都要遠高於回答「孩子是誰」問題的準確率。

研究人員將這種現象命名為「反轉詛咒」。他們認為，這揭示了語言模型在推理和泛化方面的異類進本限制。

論文通訊作者、牛津大學研究員Owain Evans解釋：

為什麼反轉詛咒值得關注？

1. 這說明大語言模型在訓練過程中存在推理能力缺失。
2. 「A是B」和「B是A」的共現是預訓練集中的一種系統性模式。自回歸LLM完全無法對此模式進行元學習，其對數機率沒有變化，並且即使參數量從350M擴增到175B，也未能改善這個問題。

＃＃ 還有一件事

不過話說回來，人類是不是也會受「反轉詛咒」影響呢？

有網友做了這麼個測試。

面對「Mary Lee Pfeiffer South的兒子是誰」這個問題，GPT-4一開始直接舉旗投降了。

但當這位網友提示它「她的兒子很有名，你肯定認識」後，GPT-4當場開悟，給出了「湯姆·克魯斯」這個正確答案。

** **###### △X網友@TonyZador

那麼，你能反應過來嗎？

參考連結： [1] [2] [3]