AI 學(xué)會「搞」科研登 Nature，知乎網(wǎng)友：不忍直視的水

人工智能

2019

07/10

21:48

機(jī)器之心

評論

人工智能可以在復(fù)雜的圍棋游戲中輕松戰(zhàn)勝人類，但它們可以幫助我們做出科學(xué)發(fā)現(xiàn)嗎？美國能源部勞倫斯伯克利國家實驗室最近發(fā)表在《自然》雜志上的一篇論文引起了人們的廣泛關(guān)注。研究人員表示，人工智能在自動閱讀 300 萬篇材料學(xué)領(lǐng)域的論文之后發(fā)現(xiàn)了全新的科學(xué)知識。

在人們的普遍印象里，論文上了 Nature，那結(jié)論自然也就八九不離十了。然而對于熟悉人工智能的人來說，該研究有些奇怪的是：論文中模型使用的技術(shù)是「詞嵌入」——既不是卷積神經(jīng)網(wǎng)絡(luò)，也不是循環(huán)神經(jīng)網(wǎng)絡(luò)等更復(fù)雜的模型。這么簡單的模型，真的可以幫助我們找到成百上千研究者多年來從未找到的新材料嗎？

這篇文章發(fā)表之后引來了機(jī)器學(xué)習(xí)社區(qū)的大量反對意見，人們紛紛對這樣的「灌水」行徑表示不忍直視。

讓我們先看看論文是怎么說的：

AI 學(xué)會「看論文」了，研究還上了 Nature

該論文的作者來自伯克利國家實驗室能量存儲與分布式資源部門（Energy Storage & Distributed Resources Division）科學(xué)家 Anubhav Jain 領(lǐng)導(dǎo)的團(tuán)隊，他們收集了 330 萬篇已發(fā)表的材料科學(xué)論文的摘要，并將它們饋入到一個名為 word2vec 的算法中。通過解釋詞間的關(guān)系，該算法能夠提前數(shù)年給出新熱電材料的預(yù)測，在目前未知的材料中找出有應(yīng)用潛力的候選材料。

這篇名為《Unsupervised Word Embeddings Capture Latent Knowledge from Materials Science Literature》的論文發(fā)表在 7 月 3 日的 Nature 上。

論文地址：https://www.nature.com/articles/s41586-019-1335-8

論文一作 Vahe Tshitoyan 是伯克利國家實驗室博士后研究員，現(xiàn)就職于谷歌。此外，同屬伯克利國家實驗室的科學(xué)家 Kristin Persson 和 Gerbrand Ceder 也參與了此項研究。

Gerbrand Ceder 表示：「該論文認(rèn)為，對科學(xué)文獻(xiàn)進(jìn)行文本發(fā)掘可以發(fā)現(xiàn)隱藏的知識，單純的文本提取可以建立基本科學(xué)知識。」

論文一作 Tshitoyan 表示，該項目的動機(jī)是人們很難完全弄明白數(shù)量過多的已發(fā)表研究。所以，他們想到機(jī)器學(xué)習(xí)是否能夠以無監(jiān)督的方式利用所有集體知識（collective knowledge）。

King - queen + man = ?

該團(tuán)隊整理了 1922 年至 2018 年間發(fā)表在 1000 多個期刊上的 330 萬篇論文摘要（是的，AI 讀論文只看摘要）。Word2vec 從這些摘要中提取了大約 50 萬個不同的單詞，并將每個單詞轉(zhuǎn)化為 200 維的向量或者包含 200 個數(shù)字的數(shù)組。

Jain 表示：「重要的不在于數(shù)字，而是利用這些數(shù)字觀察單詞之間的關(guān)系」。例如，你可以利用標(biāo)準(zhǔn)向量數(shù)學(xué)做向量減法。其他研究者已經(jīng)證明，如果你要在非科學(xué)文本資源上訓(xùn)練該算法，并從『king 減去 queen』中提取向量，則可以得到與『man 減去 woman』相近的結(jié)果。

同樣地，當(dāng)在材料科學(xué)文本中進(jìn)行訓(xùn)練時，該算法僅根據(jù)摘要中單詞的位置以及它們與其他單詞的共現(xiàn)關(guān)系就可以學(xué)習(xí)科學(xué)術(shù)語和概念的含義。例如，正如該算法可以解「king-queen + man」方程式一樣，它能夠計算出方程式「ferromagnetic（鐵磁的）— NiFe（鎳鐵）+ IrMn（銥錳）」的答案是「antiferromagnetic」（反鐵磁的）。

左：Word2vec 的元素表征（投影到二維空間）；右：門捷列夫元素周期表。圖源：Berkeley Lab

如上圖所示，當(dāng)元素周期表中的化學(xué)元素投影到二維空間時，Word2vec 甚至可以學(xué)習(xí)它們之間的關(guān)系。

提前數(shù)年預(yù)測新材料

那么，如果 Word2vec 那么聰明，它能預(yù)測新的熱電材料嗎？一種好的熱電材料可以高效地將熱能轉(zhuǎn)換為電能，而且是用安全、充足、易生產(chǎn)的原料制成的。

該算法根據(jù)詞向量與單詞「熱電」的相似性對每種化合物進(jìn)行排序，研究者選取了該算法最為推薦的熱電材料。然后，他們通過計算來驗證算法的預(yù)測結(jié)果。

他們發(fā)現(xiàn)，在算法預(yù)測出的前 10 位熱電材料中，所有預(yù)測都計算出了略高于已知熱電元件的功率因數(shù)（衡量電氣設(shè)備效率高低的一個系數(shù)，該值越高效益越好）；前三位材料的功率因數(shù)高于 95% 的已知熱電學(xué)元件。

接下來，他們測試了該算法是否適用于「過去」的預(yù)測實驗，即只給它 2000 年之前的摘要。結(jié)果再次給人驚喜，算法給出的排名靠前的預(yù)測結(jié)果很多都出現(xiàn)在了后來的研究中，這一數(shù)字是隨機(jī)選擇結(jié)果的四倍。例如，利用 2008 年之前的數(shù)據(jù)訓(xùn)練得到的預(yù)測結(jié)果有 5 個，其中三個已經(jīng)被發(fā)現(xiàn)，而其余的兩個非常稀有或含有有毒物質(zhì)。

研究者說：「該研究表明，如果該算法能夠早點(diǎn)應(yīng)用，一些材料早在幾年前就可以被發(fā)現(xiàn)了。」

隨著研究的進(jìn)行，研究者正在發(fā)布由算法預(yù)測出的前 50 位熱電材料。他們還將發(fā)布研究中用到的詞嵌入，以幫助其他人發(fā)現(xiàn)更好的材料。此外，他們還在開發(fā)一個更加強(qiáng)大的智能搜索引擎，幫助研究者利用更加有效的方法搜索摘要。

遭遇機(jī)器學(xué)習(xí)社區(qū)嘲諷

人工智能真的可以自動發(fā)現(xiàn)新材料嗎？這篇論文一經(jīng)發(fā)表便在社交網(wǎng)絡(luò)上引發(fā)了熱烈的討論。目前為止，該帖子已經(jīng)有 14 萬的瀏覽量。

材料學(xué)的同學(xué)們首先表示驚訝：AI 代替科研人員，我們都會失業(yè)嗎？熟悉機(jī)器學(xué)習(xí)的人們看完論文之后回過神來，則開啟了「嘲諷模式」。

在知乎上，新加坡國立大學(xué)博士、騰訊算法工程師「霍華德」表示：看完這篇 paper 后，我的內(nèi)心久久不能平復(fù)，好久沒看到這么爛的 paper 了！

也有人建議其他領(lǐng)域的學(xué)者在使用機(jī)器學(xué)習(xí)方法做自己的研究前要先打好基礎(chǔ)。「到處挖坑蔣玉成」表示：我真心建議文章通訊作者和審稿人都去學(xué)學(xué) CS224n …這文章的立意還挺不錯的，但是實際的實現(xiàn)也太水了，完全不配發(fā) Nature。

機(jī)器學(xué)習(xí)社區(qū)的人們仔細(xì)分析了這篇論文：

該論文中，作者用 t-SNE 將詞向量投影到二維空間，并發(fā)現(xiàn)同族元素聚集在了一起。「霍華德」表示，同族元素在上下文當(dāng)然容易提及，它們只是共現(xiàn)關(guān)系而已。此外，作者聲稱可以直接用詞向量預(yù)測化合物，并表示預(yù)測結(jié)果與理論計算的絕對誤差非常小，但理論能算出來東西，用神經(jīng)網(wǎng)絡(luò)做擬合的意義真的很大嗎？

在這里，作者連神經(jīng)網(wǎng)絡(luò)適用的基本場景都弄不清，對于 Formation Energy 的計算有完善的量子力學(xué)理論做支撐，對于這樣能夠精準(zhǔn)建模的問題，用傳統(tǒng)的物理學(xué)第一性理論來計算更好，更加可靠！

最后，作者用余弦相似度計算了和 thermoelectric 最接近的單詞，然后在其中的 326 位和 345 位發(fā)現(xiàn)了兩種材料 Li2CuSb 和 Cu3Nb2O8，然后宣稱他們的算法能夠預(yù)測潛在的新型熱電材料。在讀者看來，這是一種「令人窒息」的操作。因為 thermoelectric 和兩種材料之所以余弦相似度接近，根本原因是有人在文章里同時提到過 thermoelectric 和 Li2CuSb、Cu3Nb2O8，這僅僅是共現(xiàn)關(guān)系而已。

所以結(jié)論來了：所謂能夠預(yù)測潛在的新型熱電材料的 AI 算法屬于無稽之談，材料學(xué)研究者們的生存并沒有因此受到威脅——因為這篇論文沒有提出任何能讓 AI 看懂論文的算法。

也有研究材料的學(xué)者在知乎上表示，為了蹭大數(shù)據(jù)、機(jī)器學(xué)習(xí)、深度學(xué)習(xí)的熱度，很多領(lǐng)域的研究都在做相關(guān)的工作。「聲嘶力竭」介紹了自己的經(jīng)歷：剛開始接觸和學(xué)習(xí) AI 相關(guān)技術(shù)，本以為可以利用這個工具做出多么偉大的工作，但是自己真正做了之后，才感覺「這不就是個高維特征空間的統(tǒng)計工具嘛，為什么被吹得這么玄幻？」

機(jī)器學(xué)習(xí)不能這么亂用

論文上了《自然》、《科學(xué)》雜志，卻仍然經(jīng)不起人們的推敲，這種事最近在機(jī)器學(xué)習(xí)社區(qū)已經(jīng)發(fā)生了不是一兩次了。

在「人工智能搞科研」研究之前，是「深度學(xué)習(xí)預(yù)測地震」。去年 8 月，《Nature》上發(fā)表了一篇題為《Deep learning of aftershock patterns following large earthquakes》的火爆論文。該論文由哈佛和谷歌的數(shù)據(jù)科學(xué)家聯(lián)合撰寫，論文一作所屬單位是哈佛大學(xué)地球與行星科學(xué)系。

該論文展示了如何利用深度學(xué)習(xí)技術(shù)預(yù)測余震。研究者指出，他們利用神經(jīng)網(wǎng)絡(luò)在預(yù)測余震位置方面的準(zhǔn)確率超越了傳統(tǒng)方法。

但很快，這一方法就遭到了深度學(xué)習(xí)從業(yè)者的質(zhì)疑。一位名叫 Rajiv Shah 的數(shù)據(jù)科學(xué)家表示，論文中使用的建模方法存在一些根本性的問題，因此實驗結(jié)果的準(zhǔn)確性也有待考究。這名數(shù)據(jù)科學(xué)家本著嚴(yán)謹(jǐn)?shù)木裨谕ㄟ^實驗驗證之后聯(lián)系了原作和《Nature》，卻沒得到什么積極的回復(fù)。

于是，Rajiv Shah 經(jīng)過半年時間，研究了論文作者公開的代碼，隨后在 medium 上發(fā)表文章揭露論文中存在的根本性缺陷以及《Nature》的不作為，后來這件事又在 Reddit 上引起了廣泛的討論。

人們除了批評 Nature 之外，也對深度學(xué)習(xí)、AI 技術(shù)被濫用的情況表示擔(dān)憂。隨著機(jī)器學(xué)習(xí)逐漸成為熱門學(xué)科，越來越多其他領(lǐng)域的學(xué)者開始使用新方法來解決問題，有些獲得了成果，有些則因為實驗和數(shù)據(jù)的錯誤方式而導(dǎo)致了不嚴(yán)謹(jǐn)?shù)慕Y(jié)果。

更令人擔(dān)憂的是，有時候有缺陷的研究還可以得到人們的認(rèn)可。