【導讀】這家成立三年的小初創(chuàng)公司，首次利用深度學習語言模型合成出了自然界中不存在的全新蛋白質(zhì)，引爆蛋白質(zhì)設計革命。
人工智能的應用，已經(jīng)極大地加速了蛋白質(zhì)工程的研究。
最近，加州伯克利的一家初出茅廬的初創(chuàng)公司再次取得了驚人的進步。
科學家們采用類似ChatGPT的蛋白質(zhì)工程深度學習語言模型——Progen，首次實現(xiàn)了AI預測蛋白質(zhì)的合成。
這些蛋白質(zhì)不僅與已知的完全不同，相似度最低的甚至只有31.4%，但和天然蛋白一樣有效。
現(xiàn)在，這項工作已經(jīng)正式發(fā)表于Nature子刊。
論文地址：https://www.nature.com/articles/s41587-022-01618-2
這個實驗也表明，自然語言處理雖然是為讀寫語言文本而開發(fā)的，但它也可以學習生物學的一些基本原理。
比肩諾獎的技術
對此，研究人員表示，這項新技術可能會變得比定向進化（獲得諾貝爾獎的蛋白質(zhì)設計技術）更加強大。
「它將通過加快開發(fā)可用于從治療劑到降解塑料等幾乎所有用途的新蛋白質(zhì)，為有50年歷史的蛋白質(zhì)工程領域注入活力。」
這家公司名叫Profluent，由前Salesforce AI研究負責人創(chuàng)立，已獲得900萬美元的啟動資金，用于建立一個集成的濕實驗室，并招募機器學習科學家和生物學家。
以往，在自然界中挖掘蛋白質(zhì)，或者調(diào)整蛋白質(zhì)到所需功能，都十分費力。Profulent的目標是，讓這個過程變得毫不費力。
他們做到了。
Profluent創(chuàng)始人兼CEO Ali Madani
Madani在采訪中表示，Profulent已經(jīng)設計出了多個家族的蛋白質(zhì)。這些蛋白質(zhì)的功能與樣本蛋白（exemplar proteins）一樣，因此是具有高活性的酶。
這項任務非常困難，是以zero-shot的方式完成的，這意味著并沒有進行多輪優(yōu)化，甚至根本不提供濕實驗室的任何數(shù)據(jù)。
而最終設計出的蛋白質(zhì)，是通常需要數(shù)百年才能進化出來的高活性蛋白質(zhì)。
基于語言模型的ProGen
作為深度神經(jīng)網(wǎng)絡的一種，條件語言模型不僅可以生成語義和語法正確且新穎多樣的自然語言文本，而且還可以利用輸入控制標簽來指導風格、主題等等。
類似的，研究人員開發(fā)出了今天的主角——ProGen，一個12億參數(shù)的條件蛋白質(zhì)語言模型。
具體來說，基于Transformer架構的ProGen通過自注意機制來模擬殘基的相互作用，并且可以根據(jù)輸入控制標簽生成不同的跨蛋白質(zhì)家族的人工蛋白質(zhì)序列。
用條件語言模型生成人工蛋白質(zhì)
為了創(chuàng)建這個模型，研究人員喂了2.8億種不同蛋白質(zhì)的氨基酸序列，并讓它「消化」了幾周的時間。
接著，他們又用五個溶菌酶家族的56,000個序列以及關于這些蛋白質(zhì)的信息，對模型進行了微調(diào)。
Progen的算法與ChatGPT背后的模型GPT3.5類似，它學習到了蛋白質(zhì)中氨基酸排序的規(guī)律，以及它們與蛋白結構和功能的關系。
很快，模型就生成了一百萬個序列。
根據(jù)與天然蛋白質(zhì)序列的相似程度，以及氨基酸「語法」和「語義」的自然程度，研究人員選擇了100個進行測試。
其中，有66個產(chǎn)生了與消滅蛋清和唾液中細菌的天然蛋白質(zhì)類似的化學反應。
也就是說，這些由AI生成的新蛋白質(zhì)也可以殺死細菌。
生成的人工蛋白是多樣化的，且在實驗系統(tǒng)中表達良好
更進一步，研究人員選擇了反應最強烈的五種蛋白質(zhì)，并將它們加入到大腸桿菌的樣本中。
其中，有兩種人工酶能夠分解細菌的細胞壁。
通過與雞蛋白溶菌酶（HEWL）進行比較可以發(fā)現(xiàn)，它們的活性與HEWL相當。
隨后，研究人員又用X射線進行了成像。
盡管人工酶的氨基酸序列與現(xiàn)有的蛋白質(zhì)有高達30%的差異，二者之間也只有18%是相同的，但它們的形狀卻與自然界的蛋白質(zhì)相差無幾，而且功能也可以與之媲美。
條件語言建模對其他蛋白質(zhì)系統(tǒng)的適用性
除此之外，對于高度進化的天然蛋白質(zhì)來說，可能只需一個小小突變就會讓它停止工作。
但研究人員在另一輪篩選中發(fā)現(xiàn)，在AI生成的酶中，即使只有31.4%的序列與已知蛋白質(zhì)相同，也能表現(xiàn)出相當?shù)幕钚砸约邦愃频慕Y構。
蛋白質(zhì)設計，進入新時代
可以看到，ProGen的工作方式與ChatGPT很類似。
ChatGPT通過學習海量數(shù)據(jù)，可以參加MBA和律師考試、撰寫大學論文。
而ProGen通過學習氨基酸如何組合成2.8億個現(xiàn)有蛋白質(zhì)的語法，學會了如何生成新的蛋白質(zhì)。
在采訪中，Madani表示，「就像ChatGPT學習英語之類的人類語言一樣，我們是在學習生物和蛋白質(zhì)的語言。」
「人工設計蛋白質(zhì)的性能比受進化過程啟發(fā)的蛋白質(zhì)要好得多，」論文作者之一、加州大學舊金山分校藥學院生物工程和治療科學教授James Fraser說。
「語言模型正在學習進化的各個方面，但它與正常的進化過程不同。我們現(xiàn)在有能力調(diào)整這些特性的產(chǎn)生，以獲得特定效果。比如，讓一種酶具有令人難以置信的熱穩(wěn)定性，或嗜好酸性環(huán)境，或者不會與其他蛋白質(zhì)相互作用?！?/p>
早在2020年，Salesforce Research就開發(fā)了ProGen。它基于的自然語言編程，最初用于生成英語文本。
從之前的工作中，研究者們了解到，人工智能系統(tǒng)可以自學語法和單詞的含義，以及其他使寫作井井有條的基本規(guī)則。
「當你用大量數(shù)據(jù)訓練基于序列的模型時，它們在學習結構和規(guī)則上的表現(xiàn)非常強大，」Salesforce Research人工智能研究總監(jiān)、論文的資深作者Nikhil Naik博士說，「它們會了解哪些詞可以同時出現(xiàn)，該怎樣組合?！?/p>
「現(xiàn)在，我們已經(jīng)證明了ProGen有能力生成新的蛋白質(zhì)，并進行了公開發(fā)布，所有人都可以在我們的基礎上進行研究?！?/p>
作為蛋白質(zhì)的溶菌酶雖然非常小，最多有約300個氨基酸。
但是有20種可能的氨基酸，就有20^300種可能的組合。
這比古往今來的所有人類，乘以地球上沙粒的數(shù)量，再乘以宇宙中的原子數(shù)量的積還要多。
考慮到這近乎無限的可能性，Progen能夠如此輕松地設計出有效的酶，確實很了不起。
Profluent Bio創(chuàng)始人、Salesforce Research前研究科學家Ali Madani博士說：「開箱即用地從頭開始生成功能性蛋白質(zhì)的能力，表明我們正在進入蛋白質(zhì)設計的新時代?！?/p>
「這是所有蛋白質(zhì)工程師都可以使用的多功能新工具，我們期待看到它被應用于治療?！?/p>
與此同時，研究人員仍在繼續(xù)改進ProGen，試圖突破更多的限制和挑戰(zhàn)。
其中之一便它非常地依賴數(shù)據(jù)。
「我們已經(jīng)探索了通過加入基于結構的信息來改善序列的設計，」Naik說，「我們還在研究當你沒有太多關于某個特定蛋白質(zhì)家族或領域的數(shù)據(jù)時，如何提高模型的生成能力?！?/p>
值得注意的是，還有一些初創(chuàng)公司也在嘗試相似的技術，比如Cradle，以及自生物技術孵化器Flagship Pioneering的Generate Biomedicines，不過這些研究都還未經(jīng)過同行評審。
