<p>長期以來，認(rèn)知科學(xué)家一直試圖理解是什么導(dǎo)致一些句子比另一些句子更難理解。研究人員認(rèn)為，任何語言理解的解釋都將受益于理解中的困難。</p> <p>&nbsp;</p> <p>近年來，研究人員成功地開發(fā)了兩個模型，解釋了理解和制造句子的兩種重要困難類型。雖然這些模型成功地預(yù)測了理解困難的特定模式，但它們的預(yù)測是有限的，并且與行為實驗的結(jié)果不完全匹配。此外，直到最近，研究人員還無法將這兩個模型整合成一個連貫的解釋。</p> <p>&nbsp;</p> <p>麻省理工學(xué)院大腦與認(rèn)知科學(xué)系(BCS)的研究人員領(lǐng)導(dǎo)的一項新研究現(xiàn)在為語言理解困難提供了這樣一個統(tǒng)一的解釋。基于機(jī)器學(xué)習(xí)的最新進(jìn)展，研究人員開發(fā)了一個模型，可以更好地預(yù)測個人生成和理解句子的難易程度。他們最近在《美國國家科學(xué)院院刊》上發(fā)表了他們的發(fā)現(xiàn)。</p> <p>&nbsp;</p> <p>這篇論文的資深作者是BCS教授羅杰&middot;列維(Roger Levy)和愛德華(泰德)&middot;吉布森(Edward (Ted) Gibson)。主要作者是列維和吉布森以前的訪問學(xué)生邁克爾&middot;哈恩，他現(xiàn)在是薩爾大學(xué)的教授。第二作者是Richard Futrell，他以前也是Levy和Gibson的學(xué)生，現(xiàn)在是加州大學(xué)歐文分校的教授。</p> <p>&nbsp;</p> <p>吉布森說:&ldquo;這不僅是現(xiàn)有理解困難解釋的放大版;&ldquo;我們提供了一種新的潛在理論方法，可以更好地進(jìn)行預(yù)測。&rdquo;</p> <p>&nbsp;</p> <p>研究人員在這兩個現(xiàn)有模型的基礎(chǔ)上建立了一個統(tǒng)一的理解困難的理論解釋。這些老模型都指出了導(dǎo)致理解受挫的不同原因:</p> <p>&nbsp;</p> <p>預(yù)期困難和記憶檢索困難。當(dāng)一個句子不容易讓我們預(yù)料到它接下來要說的單詞時，我們就會經(jīng)歷期待的困難。當(dāng)我們很難追蹤一個含有嵌套從句的復(fù)雜結(jié)構(gòu)的句子時，我們就會經(jīng)歷記憶檢索的困難，例如:&ldquo;律師不信任的醫(yī)生惹惱了病人這一事實令人驚訝。&rdquo;</p> <p>&nbsp;</p> <p>2020年，F(xiàn)utrell首先設(shè)計了一個統(tǒng)一這兩個模型的理論。他認(rèn)為，記憶的限制不僅影響含有嵌套從句的句子的檢索，而且困擾著所有的語言理解;我們記憶的局限性不允許我們在語言理解過程中完美地表現(xiàn)句子上下文。</p> <p>&nbsp;</p> <p>因此，根據(jù)這個統(tǒng)一的模型，記憶約束可以在預(yù)期中創(chuàng)造一個新的困難來源。我們可能很難預(yù)測一個句子中即將出現(xiàn)的單詞，即使這個單詞應(yīng)該很容易從上下文中預(yù)測出來&mdash;&mdash;以防句子上下文本身很難記住。例如，考慮一個以&ldquo;鮑勃扔了垃圾&hellip;&hellip;&rdquo;</p> <p>&nbsp;</p> <p>開頭的句子，我們很容易想到最后一個詞&ldquo;出去&rdquo;。但如果最后一個詞之前的句子上下文更復(fù)雜，預(yù)期就會出現(xiàn)困難:&ldquo;鮑勃把在廚房里放了幾天的舊垃圾扔了出去。&rdquo;</p> <p>&nbsp;</p> <p>研究人員通過測量讀者對不同理解任務(wù)做出反應(yīng)所需的時間來量化理解難度。反應(yīng)時間越長，對給定句子的理解就越有挑戰(zhàn)性。先前實驗的結(jié)果表明，F(xiàn)utrell的統(tǒng)一描述比兩個舊模型更好地預(yù)測了讀者的理解困難。但他的模型并沒有識別出我們?nèi)菀淄浘渥拥哪男┎糠?amp;mdash;&mdash;以及記憶檢索的失敗是如何混淆理解的。</p> <p>&nbsp;</p> <p>哈恩的新研究填補(bǔ)了這些空白。在這篇新論文中，來自麻省理工學(xué)院的認(rèn)知科學(xué)家與Futrell一起提出了一個基于新的連貫理論框架的增強(qiáng)模型。新模型識別并修正了Futrell統(tǒng)一解釋中缺失的元素，并提供了新的微調(diào)預(yù)測，更好地匹配實證實驗的結(jié)果。</p> <p>&nbsp;</p> <p>在Futrell最初的模型中，研究人員首先認(rèn)為，由于記憶的限制，我們的大腦不能完美地代表我們遇到的句子。但他們在此基礎(chǔ)上增加了認(rèn)知效率的理論原則。他們提出，大腦傾向于部署其有限的記憶資源，以優(yōu)化其準(zhǔn)確預(yù)測句子中新單詞輸入的能力。</p> <p>&nbsp;</p> <p>這一概念導(dǎo)致了一些經(jīng)驗預(yù)測。根據(jù)一項重要的預(yù)測，讀者通過依靠他們對統(tǒng)計上的單詞共現(xiàn)的知識來彌補(bǔ)他們不完美的記憶表征，以便在腦海中隱式地重構(gòu)他們所讀到的句子。因此，包含稀有單詞和短語的句子很難完美地記住，也更難預(yù)測即將出現(xiàn)的單詞。因此，這樣的句子通常更難以理解。</p> <p>&nbsp;</p> <p>為了評估這一預(yù)測是否與我們的語言行為相匹配，研究人員使用了GPT-2，一種基于神經(jīng)網(wǎng)絡(luò)建模的AI自然語言工具。這種機(jī)器學(xué)習(xí)工具于2019年首次公開，使研究人員能夠以一種以前不可能的方式在大規(guī)模文本數(shù)據(jù)上測試模型。但是GPT-2強(qiáng)大的語言建模能力也帶來了一個問題:與人類相比，GPT-2完美的記憶完美地代表了它處理的非常長和復(fù)雜文本中的所有單詞。為了更準(zhǔn)確地描述人類的語言理解能力，研究人員添加了一個組件，模擬人類對記憶資源的限制&mdash;&mdash;就像Futrell的原始模型一樣&mdash;&mdash;并使用機(jī)器學(xué)習(xí)技術(shù)來優(yōu)化這些資源的使用方式&mdash;&mdash;就像他們提出的新模型一樣。最終的模型保留了GPT-2在大多數(shù)情況下準(zhǔn)確預(yù)測單詞的能力，但在單詞和短語罕見組合的句子中顯示出類似人類的故障。</p> <p>&nbsp;</p> <p>吉布森說:&ldquo;這是一個很好的例子，說明了現(xiàn)代機(jī)器學(xué)習(xí)工具如何幫助發(fā)展認(rèn)知理論，以及我們對大腦如何工作的理解。&rdquo;&ldquo;即使在幾年前，我們也不可能在這里進(jìn)行這項研究。&rdquo;</p> <p>&nbsp;</p> <p>研究人員向機(jī)器學(xué)習(xí)模型輸入了一組含有復(fù)雜嵌入從句的句子，例如，&ldquo;律師不信任的醫(yī)生惹惱了病人的報告令人驚訝。&rdquo;然后，研究人員將這些句子的開頭名詞&mdash;&mdash;如上面例子中的&ldquo;報告&rdquo;&mdash;&mdash;替換為其他名詞，每個名詞都有可能出現(xiàn)在后面的從句中。一些名詞使它們被插入的句子更容易被人工智能程序&ldquo;理解&rdquo;。例如，當(dāng)這些句子以常見的短語&ldquo;the fact that&rdquo;開始時，該模型能夠更準(zhǔn)確地預(yù)測它們?nèi)绾谓Y(jié)束，而不是以罕見的短語&ldquo;the report that&rdquo;開始時。</p> <p>&nbsp;</p> <p>然后，研究人員開始通過對閱讀類似句子的參與者進(jìn)行實驗來證實基于人工智能的結(jié)果。他們對理解任務(wù)的反應(yīng)時間與模型預(yù)測的反應(yīng)時間相似。吉布森說:&ldquo;當(dāng)句子以&lsquo;報告那&rsquo;開頭時，人們往往會以一種扭曲的方式記住這個句子。&rdquo;這種罕見的措辭進(jìn)一步限制了他們的記憶，從而限制了他們的理解。</p> <p>&nbsp;</p> <p>這些結(jié)果表明，新模型在預(yù)測人類如何處理語言方面優(yōu)于現(xiàn)有模型。</p> <p>&nbsp;</p> <p>該模型展示的另一個優(yōu)勢是它能夠提供不同語言的不同預(yù)測。利維說:&ldquo;以前的模型知道為什么某些語言結(jié)構(gòu)，比如含有嵌入從句的句子，在記憶的限制下通常更難處理，但我們的新模型可以解釋為什么相同的約束在不同的語言中表現(xiàn)不同。&rdquo;&ldquo;例如，對于以德語為母語的人來說，帶有中心從句的句子似乎比以英語為母語的人更容易理解，因為以德語為母語的人習(xí)慣閱讀從句將動詞推到句尾的句子。&rdquo;</p> <p>&nbsp;</p> <p>Levy認(rèn)為，除了嵌入從句之外，還需要對模型進(jìn)行進(jìn)一步的研究，以確定導(dǎo)致句子表示不準(zhǔn)確的原因。&ldquo;我們還需要測試其他類型的&lsquo;困惑&rsquo;。&rdquo;與此同時，哈恩補(bǔ)充說，&ldquo;這個模型可能會預(yù)測其他沒有人想過的&lsquo;混亂&rsquo;。我們現(xiàn)在正試圖找到這些因素，看看它們是否會像預(yù)測的那樣影響人類的理解。&rdquo;</p> <p>&nbsp;</p> <p>未來研究的另一個問題是，新模型是否會導(dǎo)致人們重新思考一長串專注于句子整合困難的研究:&ldquo;許多研究人員強(qiáng)調(diào)了與我們在腦海中重建語言結(jié)構(gòu)的過程有關(guān)的困難，&rdquo;Levy說。&ldquo;新的模型可能表明，困難不在于這些句子的心理重建過程，而在于一旦它們已經(jīng)被構(gòu)造出來，如何維持心理表征。一個很大的問題是，這是否是兩件獨(dú)立的事情。&rdquo;</p> <p>&nbsp;</p> <p>吉布森補(bǔ)充說，無論如何，&ldquo;這種工作標(biāo)志著這些問題研究的未來。&rdquo;</p> <p>&nbsp;</p> <blockquote> <p>注：本文由院校官方新聞直譯，僅供參考，不代表指南者留學(xué)態(tài)度觀點(diǎn)。</p> </blockquote>