<p>隨著機(jī)器學(xué)習(xí)模型變得越來(lái)越大、越來(lái)越復(fù)雜，它們需要更快、更節(jié)能的硬件來(lái)執(zhí)行計(jì)算。傳統(tǒng)的數(shù)字計(jì)算機(jī)正在奮力追趕。</p> <p>&nbsp;</p> <p>模擬光神經(jīng)網(wǎng)絡(luò)可以執(zhí)行與數(shù)字神經(jīng)網(wǎng)絡(luò)相同的任務(wù)，如圖像分類或語(yǔ)音識(shí)別，但由于計(jì)算是使用光而不是電信號(hào)進(jìn)行的，光神經(jīng)網(wǎng)絡(luò)可以在消耗更少的能量的情況下運(yùn)行多倍。</p> <p>&nbsp;</p> <p>然而，這些模擬設(shè)備容易出現(xiàn)硬件錯(cuò)誤，從而降低計(jì)算精度。硬件部件的微觀缺陷是造成這些錯(cuò)誤的原因之一。在一個(gè)光神經(jīng)網(wǎng)絡(luò)中，有許多相互連接的組件，誤差可以迅速積累。</p> <p>&nbsp;</p> <p>即使使用糾錯(cuò)技術(shù)，由于組成光神經(jīng)網(wǎng)絡(luò)的設(shè)備的基本特性，一些誤差是不可避免的。一個(gè)足夠大到可以在現(xiàn)實(shí)世界中實(shí)現(xiàn)的網(wǎng)絡(luò)將過(guò)于不精確而無(wú)效。</p> <p>&nbsp;</p> <p>麻省理工學(xué)院的研究人員已經(jīng)克服了這一障礙，找到了一種有效擴(kuò)展光學(xué)神經(jīng)網(wǎng)絡(luò)的方法。通過(guò)在構(gòu)成網(wǎng)絡(luò)架構(gòu)的光交換機(jī)中添加一個(gè)微小的硬件組件，他們甚至可以減少在設(shè)備中積累的不可糾正的錯(cuò)誤。</p> <p>&nbsp;</p> <p>他們的工作可能使一種超級(jí)快速、節(jié)能的模擬神經(jīng)網(wǎng)絡(luò)成為可能，它的功能與數(shù)字神經(jīng)網(wǎng)絡(luò)具有相同的準(zhǔn)確性。有了這種技術(shù)，當(dāng)一個(gè)光電路變得更大時(shí)，它的計(jì)算誤差實(shí)際上減少了。</p> <p>&nbsp;</p> <p>&ldquo;這是值得注意的，因?yàn)樗c模擬系統(tǒng)的直覺(jué)背道而馳，在模擬系統(tǒng)中，更大的電路應(yīng)該有更高的誤差，因此誤差限制了可擴(kuò)展性。這篇論文允許我們用一個(gè)明確的&lsquo;是&rsquo;來(lái)解決這些系統(tǒng)的可擴(kuò)展性問(wèn)題，&rdquo;首席作者Ryan Hamerly說(shuō)，他是麻省理工學(xué)院電子研究實(shí)驗(yàn)室(RLE)和量子光子實(shí)驗(yàn)室的訪問(wèn)科學(xué)家，NTT研究中心的高級(jí)科學(xué)家。</p> <p>&nbsp;</p> <p>Hamerly的共同作者是研究生Saumil Bandyopadhyay和資深作者Dirk Englund，他是麻省理工學(xué)院電氣工程和計(jì)算機(jī)科學(xué)系(EECS)的副教授，量子光子實(shí)驗(yàn)室的負(fù)責(zé)人，以及RLE的成員。這項(xiàng)研究今天發(fā)表在《自然通訊》雜志上。</p> <p>&nbsp;</p> <p><span class="h1"><strong>與光相乘</strong></span></p> <p>&nbsp;</p> <p>一個(gè)光神經(jīng)網(wǎng)絡(luò)是由許多相互連接的組件組成的，它們的功能就像可重編程、可調(diào)諧的鏡子。這些可調(diào)諧的鏡子被稱為馬赫-曾德?tīng)枩y(cè)光儀(MZI)。神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)被編碼成光，光從激光發(fā)射到光神經(jīng)網(wǎng)絡(luò)。</p> <p>&nbsp;</p> <p>一個(gè)典型的MZI包含兩個(gè)反射鏡和兩個(gè)分束器。光進(jìn)入一個(gè)MZI的頂部，在那里被分裂成兩個(gè)相互干擾的部分，然后被第二個(gè)分束器重新組合，然后從底部反射到陣列中的下一個(gè)MZI。研究人員可以利用這些光信號(hào)的干擾進(jìn)行復(fù)雜的線性代數(shù)運(yùn)算，稱為矩陣乘法，這是神經(jīng)網(wǎng)絡(luò)處理數(shù)據(jù)的方式。</p> <p>&nbsp;</p> <p>但是，當(dāng)光從一個(gè)設(shè)備移動(dòng)到另一個(gè)設(shè)備時(shí)，每個(gè)MZI中可能發(fā)生的錯(cuò)誤會(huì)迅速累積起來(lái)?？梢酝ㄟ^(guò)提前識(shí)別錯(cuò)誤并調(diào)優(yōu)mzi來(lái)避免一些錯(cuò)誤，這樣早期的錯(cuò)誤就會(huì)被數(shù)組中稍后的設(shè)備抵消。</p> <p>&nbsp;</p> <p>&ldquo;如果你知道錯(cuò)誤是什么，這是一個(gè)非常簡(jiǎn)單的算法。但眾所周知，這些錯(cuò)誤很難確定，因?yàn)槟阒荒茉L問(wèn)芯片的輸入和輸出。&rdquo;&ldquo;這促使我們研究是否有可能創(chuàng)建無(wú)校準(zhǔn)誤差校正。&rdquo;</p> <p>&nbsp;</p> <p>哈默利和他的合作者此前展示了一種數(shù)學(xué)技</p> <p>&ldquo;即使有了錯(cuò)誤校正，芯片的性能也有一個(gè)基本的限制。mzi在物理上無(wú)法實(shí)現(xiàn)需要配置的某些設(shè)置，&rdquo;他說(shuō)。</p> <p>&nbsp;</p> <p>由于MZI的基本特性，在某些情況下，不可能調(diào)優(yōu)設(shè)備，使所有光都從底部端口流到下一個(gè)MZI。如果設(shè)備在每一步都損失一小部分光，而陣列非常大，到最后將只剩下一點(diǎn)點(diǎn)電力。</p> <p>&nbsp;</p> <p>&ldquo;即使有了錯(cuò)誤校正，芯片的性能也有一個(gè)基本的限制。mzi在物理上無(wú)法實(shí)現(xiàn)需要配置的某些設(shè)置，&rdquo;他說(shuō)。</p> <p>&nbsp;</p> <p>因此，該團(tuán)隊(duì)開(kāi)發(fā)了一種新型MZI。研究人員在設(shè)備的末端增加了一個(gè)額外的分束器，稱其為3-MZI，因?yàn)樗腥齻€(gè)分束器而不是兩個(gè)。由于這種額外的分束器混合光線的方式，MZI更容易達(dá)到所需的設(shè)置，通過(guò)其底部端口發(fā)送所有光線。</p> <p>&nbsp;</p> <p>重要的是，額外的分束器只有幾微米大小，是一個(gè)無(wú)源組件，所以它不需要任何額外的布線。增加額外的分束器不會(huì)顯著改變芯片的尺寸。</p> <p>&nbsp;</p> <p><span class="h1"><strong>芯片越大，錯(cuò)誤越少</strong></span></p> <p>&nbsp;</p> <p>當(dāng)研究人員進(jìn)行模擬測(cè)試他們的架構(gòu)時(shí)，他們發(fā)現(xiàn)它可以消除許多影響準(zhǔn)確性的不可糾正的錯(cuò)誤。當(dāng)光神經(jīng)網(wǎng)絡(luò)變得更大時(shí)，設(shè)備中的誤差量實(shí)際上會(huì)下降&mdash;&mdash;這與標(biāo)準(zhǔn)mzi設(shè)備的情況相反。</p> <p>&nbsp;</p> <p>哈默利說(shuō)，使用3- mzi，他們有可能創(chuàng)造出一個(gè)足夠大的設(shè)備，可以用于商業(yè)用途，并且誤差已經(jīng)減少了20倍。</p> <p>&nbsp;</p> <p>研究人員還專門(mén)針對(duì)相關(guān)誤差開(kāi)發(fā)了MZI設(shè)計(jì)的變體。這些都是由于制造缺陷造成的&mdash;&mdash;如果一個(gè)芯片的厚度有輕微的錯(cuò)誤，那么mzi可能都有相同的誤差，所以誤差都是相同的。他們找到了一種方法來(lái)改變MZI的配置，使其對(duì)這些類型的錯(cuò)誤具有健壯性。該技術(shù)還增加了光神經(jīng)網(wǎng)絡(luò)的帶寬，使其運(yùn)行速度提高了三倍。</p> <p>&nbsp;</p> <p>現(xiàn)在，他們已經(jīng)通過(guò)模擬展示了這些技術(shù)，哈默利和他的合作者計(jì)劃在物理硬件上測(cè)試這些方法，并繼續(xù)朝著他們可以在現(xiàn)實(shí)世界中有效部署的光神經(jīng)網(wǎng)絡(luò)前進(jìn)。</p> <p>&nbsp;</p> <p>這項(xiàng)研究部分由國(guó)家科學(xué)基金會(huì)研究生研究獎(jiǎng)學(xué)金和美國(guó)空軍科學(xué)研究辦公室資助。</p> <p>&nbsp;</p> <blockquote> <p>注：本文由院校官方新聞直譯，僅供參考，不代表指南者留學(xué)態(tài)度觀點(diǎn)。</p> </blockquote>