<p>人們懷有偏見并不是什么秘密&mdash;&mdash;有些可能是無意識(shí)的，而有些則是痛苦地公開的。一般人可能會(huì)認(rèn)為計(jì)算機(jī)&mdash;&mdash;通常由塑料、鋼、玻璃、硅和各種金屬制成的機(jī)器&mdash;&mdash;是沒有偏見的。雖然這一假設(shè)可能適用于計(jì)算機(jī)硬件，但對(duì)于計(jì)算機(jī)軟件來說并不總是如此，因?yàn)橛?jì)算機(jī)軟件是由易犯錯(cuò)誤的人編寫的，并且可以輸入在某些方面受到損害的數(shù)據(jù)。</p> <p>&nbsp;</p> <p>人工智能(AI)系統(tǒng)&mdash;&mdash;尤其是那些基于機(jī)器學(xué)習(xí)的系統(tǒng)&mdash;&mdash;在醫(yī)學(xué)上的應(yīng)用越來越多，例如，用于診斷特定疾病或評(píng)估x射線。這些系統(tǒng)也被用來支持衛(wèi)生保健其他領(lǐng)域的決策。然而，最近的研究表明，機(jī)器學(xué)習(xí)模型可以編碼對(duì)少數(shù)子群體的偏見，它們提出的建議可能因此反映了這些偏見。</p> <p>&nbsp;</p> <p>麻省理工學(xué)院計(jì)算機(jī)科學(xué)與人工智能實(shí)驗(yàn)室(CSAIL)和麻省理工學(xué)院賈米爾診所的研究人員上個(gè)月在《通信醫(yī)學(xué)》雜志上發(fā)表了一項(xiàng)新研究，評(píng)估了歧視性人工智能模型可能產(chǎn)生的影響，特別是對(duì)于旨在在緊急情況下提供建議的系統(tǒng)。該論文的主要作者、麻省理工學(xué)院數(shù)據(jù)系統(tǒng)與社會(huì)研究所的博士生Hammaad Adam解釋說:&ldquo;我們發(fā)現(xiàn)，建議的框架方式可能會(huì)產(chǎn)生重大影響。&rdquo;&ldquo;幸運(yùn)的是，當(dāng)建議以一種不同的方式呈現(xiàn)時(shí)，偏見模型造成的傷害是有限的(盡管不一定消除)。&rdquo;這篇論文的其他合著者是博士生Aparna Balagopalan和Emily Alsentzer，以及教授Fotini Christia和Marzyeh Ghassemi。</p> <p>&nbsp;</p> <p>用于醫(yī)學(xué)的人工智能模型可能存在不準(zhǔn)確和不一致的問題，部分原因是用于訓(xùn)練模型的數(shù)據(jù)往往不能代表現(xiàn)實(shí)世界的情況。例如，不同種類的x光機(jī)可以記錄不同的東西，因此產(chǎn)生不同的結(jié)果。此外，主要在白人身上訓(xùn)練的模型在應(yīng)用于其他群體時(shí)可能不那么準(zhǔn)確。《通信醫(yī)學(xué)》的論文并沒有關(guān)注這類問題，而是解決了源于偏見的問題，以及減輕不良后果的方法。</p> <p>&nbsp;</p> <p>一組954人(438名臨床醫(yī)生和516名非專家)參加了一項(xiàng)實(shí)驗(yàn)，以了解人工智能偏見如何影響決策。研究人員向參與者提供了一個(gè)虛構(gòu)的危機(jī)熱線的電話摘要，每條熱線都涉及一名正在經(jīng)歷精神健康緊急情況的男性。摘要包含了個(gè)人是白種人還是非裔美國人的信息，如果他碰巧是穆斯林，也會(huì)提到他的宗教信仰。一個(gè)典型的電話摘要可能會(huì)描述這樣一種情況:一名非裔美國人在家中被發(fā)現(xiàn)神志不清，表明&ldquo;他沒有服用任何藥物或酒精，因?yàn)樗且幻\的穆斯林。&rdquo;研究參與者被指示，如果他們認(rèn)為病人可能會(huì)變得暴力，就打電話給警察;除此之外，他們還被鼓勵(lì)尋求醫(yī)療幫助。</p> <p>&nbsp;</p> <p>參與者被隨機(jī)分為對(duì)照組或&ldquo;基線&rdquo;組和其他四個(gè)組，旨在測(cè)試在略有不同的條件下的反應(yīng)。亞當(dāng)指出:&ldquo;我們想了解有偏見的模型是如何影響決策的，但我們首先需要了解人類偏見是如何影響決策過程的。&rdquo;他們?cè)诜治龌€組時(shí)的發(fā)現(xiàn)相當(dāng)令人驚訝:&ldquo;在我們考慮的環(huán)境中，人類參與者沒有表現(xiàn)出任何偏見。這并不意味著人類沒有偏見，但我們傳達(dá)關(guān)于一個(gè)人的種族和宗教的信息的方式顯然不足以引起他們的偏見。&rdquo;</p> <p>&nbsp;</p> <p>實(shí)驗(yàn)中的其他四組人得到的建議要么來自有偏見的模型，要么來自無偏見的模型，這些建議以&ldquo;說明性&rdquo;或&ldquo;描述性&rdquo;的形式呈現(xiàn)。在涉及非裔美國人或穆斯林的情況下，有偏見的模型比無偏見的模型更有可能建議警察提供幫助。然而，這項(xiàng)研究的參與者并不知道他們的建議來自哪種模型，甚至不知道提供建議的模型可能有偏見。說明性建議明確地說明參與者應(yīng)該做什么，告訴他們?cè)谝环N情況下應(yīng)該報(bào)警，在另一種情況下應(yīng)該尋求醫(yī)療幫助。描述性建議不那么直接:顯示一個(gè)標(biāo)志，表明人工智能系統(tǒng)感知到與特定呼叫相關(guān)的暴力風(fēng)險(xiǎn);如果暴力威脅被認(rèn)為很小，就不會(huì)出現(xiàn)旗幟。</p> <p>&nbsp;</p> <p>作者寫道，實(shí)驗(yàn)的一個(gè)關(guān)鍵結(jié)論是，參與者&ldquo;受到有偏見的人工智能系統(tǒng)的規(guī)范性建議的高度影響&rdquo;。但他們也發(fā)現(xiàn)，&ldquo;使用描述性而不是說明性的建議，可以讓參與者保留他們最初的、公正的決策。&rdquo;換句話說，人工智能模型中的偏見可以通過適當(dāng)?shù)貥?gòu)建所呈現(xiàn)的建議來減少。為什么不同的建議提出方式會(huì)導(dǎo)致不同的結(jié)果?亞當(dāng)解釋說，當(dāng)有人被要求做某事時(shí)，比如報(bào)警，這就沒有什么懷疑的余地了。然而，當(dāng)情況只是被描述時(shí)&mdash;&mdash;有或沒有旗幟的分類&mdash;&mdash;&ldquo;這就給參與者自己的解釋留下了空間;這讓他們能夠更靈活地考慮自己的情況。&rdquo;</p> <p>&nbsp;</p> <p>其次，研究人員發(fā)現(xiàn)，通常用于提供建議的語言模型很容易產(chǎn)生偏差。語言模型代表了一類接受文本訓(xùn)練的機(jī)器學(xué)習(xí)系統(tǒng)，比如維基百科和其他網(wǎng)絡(luò)材料的全部內(nèi)容。當(dāng)這些模型依靠更小的數(shù)據(jù)子集進(jìn)行&ldquo;微調(diào)&rdquo;時(shí)&mdash;&mdash;只有2000個(gè)句子，而不是800萬個(gè)網(wǎng)頁&mdash;&mdash;得到的模型很容易有偏見。</p> <p>&nbsp;</p> <p>第三，麻省理工學(xué)院的研究小組發(fā)現(xiàn)，那些本身沒有偏見的決策者仍然會(huì)被有偏見的模型提供的建議所誤導(dǎo)。醫(yī)療培訓(xùn)(或缺乏醫(yī)療培訓(xùn))并沒有以明顯的方式改變反應(yīng)。作者說:&ldquo;臨床醫(yī)生和非專家一樣受到有偏見的模型的影響。&rdquo;</p> <p>&nbsp;</p> <p>&ldquo;這些發(fā)現(xiàn)可以適用于其他環(huán)境。&rdquo;亞當(dāng)說，并不一定局限于醫(yī)療保健情況。在決定哪些人應(yīng)該接受面試時(shí)，有偏見的模型更有可能拒絕黑人申請(qǐng)人。然而，如果不是明確地(規(guī)定性地)告訴雇主&ldquo;拒絕該申請(qǐng)人&rdquo;，而是在文件上附加一個(gè)描述性標(biāo)志，表明申請(qǐng)人&ldquo;可能缺乏經(jīng)驗(yàn)&rdquo;，結(jié)果可能會(huì)有所不同。</p> <p>&nbsp;</p> <p>亞當(dāng)認(rèn)為，這項(xiàng)工作的意義不僅僅是找出如何應(yīng)對(duì)處于心理健康危機(jī)中的個(gè)人。&ldquo;我們的最終目標(biāo)是確保機(jī)器學(xué)習(xí)模型以公平、安全、可靠的方式使用。&rdquo;</p> <p>&nbsp;</p> <blockquote> <p>注：本文由院校官方新聞直譯，僅供參考，不代表指南者留學(xué)態(tài)度觀點(diǎn)。</p> </blockquote>