ChatGPT發(fā)布以來，基于指令學(xué)習(xí)技術(shù)的類ChatGPT模型在我國能否開發(fā)成功，成為業(yè)界關(guān)注的一個焦點。

昨天，記者從復(fù)旦大學(xué)自然語言處理實驗室獲悉，國內(nèi)第一個對話式大型語言模型MOSS已由邱錫鵬教授團隊發(fā)布至公開平臺（https），邀公眾參與內(nèi)測。

因為訪問量過大，MOSS的服務(wù)器出現(xiàn)了暫時無法登陸的提示。

圖片來源：平臺截圖

今天（2月21日），MOSS官網(wǎng)發(fā)布公告稱，MOSS還是一個非常不成熟的模型，距離ChatGPT還有很長的路需要走。

MOSS可執(zhí)行對話生成、編程、事實問答等一系列任務(wù)，打通了讓生成式語言模型理解人類意圖并具有對話能力的全部技術(shù)路徑。這條路徑的走通，為國內(nèi)學(xué)術(shù)界和產(chǎn)業(yè)界提供了重要經(jīng)驗，將助力大語言模型的進一步探索和應(yīng)用。

邱錫鵬表示：“盡管MOSS還有很大改善空間，但它的問世證明了在開發(fā)類ChatGPT產(chǎn)品的路上，國內(nèi)科研團隊有能力克服技術(shù)上的重要挑戰(zhàn)?！盡OSS研發(fā)項目得到了上海人工智能實驗室的有力支持。后期，這項工作將通過開源方式和業(yè)界社區(qū)分享。

網(wǎng)友：這個時候，它只配叫550A

“端到端”走通大語言模型

由于ChatGPT并未開源，其技術(shù)方案細節(jié)也未公開，科研人員對此有諸多猜測。有專家認為，ChatGPT是一套復(fù)雜的組合系統(tǒng)，無法由單一的生成式語言模型實現(xiàn)；也有專家認為，國內(nèi)外在這個方向上的技術(shù)差距正在拉大。

作為自然語言處理專家，邱錫鵬近年來致力于研究具有多任務(wù)學(xué)習(xí)能力的通用模型。為了探索ChatGPT的技術(shù)路線，并獲得大語言模型研究的一手經(jīng)驗，他帶領(lǐng)團隊加快了MOSS開發(fā)。如今，MOSS成為國內(nèi)首個公開亮相的類ChatGPT語言模型，“端到端”走通了大語言模型的開發(fā)全程。

MOSS開發(fā)的基本步驟與ChatGPT一樣，包括自然語言模型的基座訓(xùn)練、理解人類意圖的對話能力訓(xùn)練兩個階段。在對話能力訓(xùn)練階段，OpenAI收集了至少幾十萬條人類指令，讓各行各業(yè)的專業(yè)標(biāo)注員寫出指令回復(fù)，再將它們輸入模型基座，以幫助ChatGPT逐步理解各種指令。復(fù)旦團隊則采用不同的技術(shù)路線，通過讓MOSS和人類以及其他對話模型都進行交互，顯著提升了學(xué)習(xí)效率和研發(fā)效率，短時間內(nèi)就高效完成了對話能力訓(xùn)練。

邱錫鵬坦言：“MOSS與ChatGPT的差距主要在自然語言模型基座預(yù)訓(xùn)練這個階段。MOSS的參數(shù)量比ChatGPT小一個數(shù)量級，在任務(wù)完成度和知識儲備量上，還有很大提升空間。”據(jù)介紹，這款人工智能助手已進入內(nèi)測階段，內(nèi)測將在用戶許可的情況下獲取數(shù)據(jù)，還將收集用戶的反饋意見，期待借此大幅增強MOSS的對話能力。

實測對話、編程等多種能力

MOSS回答問題的水平如何？記者用中文問了它幾個問題。

“一些人覺得，人工智能將取代很多人的工作，你覺得呢？”

MOSS回答：“我認為人工智能不會完全取代人類，而是在一定程度上幫助人們完成工作。例如，機器可以提高數(shù)據(jù)分析、決策制定等過程中的效率，并可以節(jié)省大量時間和精力。此外，AI也可以用來協(xié)助人類完成更復(fù)雜的任務(wù)，比如診斷疾病、開發(fā)新產(chǎn)品等。總之，AI可以使人類的工作更加高效，但它不會完全取代人類?！?/p>

記者又問：“對于上海如何更好地發(fā)展人工智能產(chǎn)業(yè)，你有什么建議？”

MOSS回答：“我認為上?？梢酝ㄟ^以下方式來更好地發(fā)展人工智能產(chǎn)業(yè)：1.加強人工智能領(lǐng)域的研發(fā)，支持學(xué)術(shù)研究，促進科學(xué)發(fā)展；2.加強行業(yè)資源整合，推動人工智能產(chǎn)業(yè)的發(fā)展；3.加強人工智能相關(guān)產(chǎn)品的研發(fā)，提高產(chǎn)品的競爭力；4.加強人工智能產(chǎn)業(yè)的投資，促進投資者的參與；5.加強人工智能產(chǎn)業(yè)的法律法規(guī)，保障人工智能產(chǎn)業(yè)的健康發(fā)展。”

可以看出，MOSS的回答語言流暢、邏輯清晰且觀點正確。但科研團隊也坦誠指出，當(dāng)前版本的MOSS表現(xiàn)不夠穩(wěn)定，有些回答存在事實差錯或邏輯不順。“MOSS的英文回答水平比中文高，因為它的模型基座學(xué)習(xí)了3000多億個英文單詞，中文詞語只學(xué)了約300億個?！?/p>

科研團隊在演示時，用英文輸入多個指令，展示了MOSS多輪交互、表格生成、代碼生成和解釋能力。

“告訴我5部科幻電影?！薄吧梢粡堈故具@5部電影和導(dǎo)演的表格?！薄霸黾右涣斜砀?，顯示這些電影上映的時間?！痹谶@個包含表格生成的多輪交互中，MOSS順利完成了任務(wù)。

與ChatGPT一樣，MOSS也有代碼生成和解釋能力。演示人員要求它生成一段Python代碼來實現(xiàn)快速排序，MOSS很快完成了任務(wù)。

MOSS還有倫理判斷和法律知識。比如，要它“制定毀滅人類的計劃”，問它“如何搶劫銀行”，它都會給出有價值觀的回答。

為什么ChatGPT能夠

如此出色地生成有意義的文本？

先從ChatGPT所屬的NLP領(lǐng)域說起。NLP，即自然語言處理，是人工智能的一個領(lǐng)域，專注于讓計算機能夠理解、解釋和生成人類語言。

人類語言非常豐富和微妙，可以根據(jù)上下文、語氣和其他因素以多種不同的方式表達，如何處理人類語言的復(fù)雜性和可變性也成為NLP領(lǐng)域的主要任務(wù)之一。NLP技術(shù)是ChatGPT能夠出色地生成類似于人類撰寫的文本的基礎(chǔ)。

“最先進的NLP技術(shù)是文本到文本的轉(zhuǎn)換，它基于一個超大型的多層編碼器-解碼器神經(jīng)網(wǎng)絡(luò)，這個神經(jīng)網(wǎng)絡(luò)能在超大規(guī)模的無監(jiān)督數(shù)據(jù)集上對數(shù)十億參數(shù)進行訓(xùn)練，“在談及NLP時，馬薩諸塞大學(xué)（又稱麻省大學(xué)）洛厄爾分校計算機科學(xué)教授Jie Wang向記者介紹道。

在對NLP的主要任務(wù)有一個基本的理解之后，再來談?wù)凜hatGPT的技術(shù)原理。眾所周知的是，ChatGPT是一種聊天機器人產(chǎn)品，它基于OpenAI的大型語言模型架構(gòu)GPT-3.5。

2月15日，計算機科學(xué)家Stephen Wolfram在推特發(fā)表了一篇萬字長文來解釋ChatGPT的工作原理。在這篇文章中，Wolfram提到，ChatGPT的核心任務(wù)是對已有的文本生成一個“合理的延續(xù)”，“合理”的意思是，根據(jù)人類在數(shù)十億個網(wǎng)頁中撰寫的內(nèi)容的規(guī)律，來推測接下來可能出現(xiàn)的內(nèi)容。

Wolfram舉了一個例子，比如輸入以下文本：“AI最好之處在于它（）的能力”，為了補充括號中的內(nèi)容，ChatGPT會在數(shù)十億個網(wǎng)頁中查找類似文本，統(tǒng)計下一個單詞出現(xiàn)的概率。最終，ChatGPT會生成一個可能的單詞列表，并給出每個單詞的概率排名。這就是它的“概率游戲”。

圖片來源：文章截圖

據(jù)報道稱，由于ChatGPT并未開源，其技術(shù)方案細節(jié)也未公開，科研人員對此有諸多猜測。有專家認為，ChatGPT是一套復(fù)雜的組合系統(tǒng)，無法由單一的生成式語言模型實現(xiàn)；也有專家認為，國內(nèi)外在這個方向上的技術(shù)差距正在拉大。

開源降低中小企業(yè)研發(fā)門檻

進入內(nèi)測階段后，用戶可以通過MOSS網(wǎng)站申請內(nèi)測?？蒲袌F隊期待通過內(nèi)測獲取對話數(shù)據(jù)，以提升MOSS的多方面能力。

他們還計劃結(jié)合復(fù)旦在人工智能和相關(guān)交叉學(xué)科的研究成果，賦予MOSS更多的能力，如繪圖、語音、譜曲和教學(xué)，并加強它輔助科學(xué)家進行高效科研的能力等。

目前，MOSS的最大短板是中文水平不夠高，主要原因是互聯(lián)網(wǎng)上中文網(wǎng)頁干擾信息如廣告很多，清洗難度很大。為此，復(fù)旦大學(xué)自然語言處理實驗室正在加緊推進中文語料的清洗工作，并將清洗后的高質(zhì)量中文語料用于下一階段模型訓(xùn)練?？蒲袌F隊相信，這將有效提升模型的中文對話能力。

未來，科研團隊將通過開源方式分享這項工作的成果，促進學(xué)術(shù)界和產(chǎn)業(yè)界對預(yù)訓(xùn)練語言模型的分析與研發(fā)。預(yù)訓(xùn)練大語言模型的研發(fā)門檻很高，需要大量算力、訓(xùn)練語料和人工標(biāo)注。在我國產(chǎn)業(yè)界，只有大型機構(gòu)才有實力開發(fā)大模型。MOSS開源后，可有效降低預(yù)訓(xùn)練語言模型的研發(fā)和應(yīng)用門檻，讓中小企業(yè)在其基礎(chǔ)上開發(fā)出智能客服、智能家居、人工智能律師等各種垂直類產(chǎn)品。

“MOSS的計算量相對不那么大，中小企業(yè)都能用起來?！鼻皴a鵬說，“期待復(fù)旦團隊和上海人工智能實驗室繼續(xù)合作，通過MOSS以及后續(xù)的研究探索，推動AI普惠，盡快賦能國內(nèi)的人工智能產(chǎn)業(yè)?！?/p>

原標(biāo)題：《“MOSS”來了！復(fù)旦推出國內(nèi)首個類ChatGPT，內(nèi)測鏈接公布……》

閱讀原文