月之暗面近期宣布，支持200萬漢字超長無損上下文的Kimi智能助手正在內(nèi)測。隨后，阿里、360集團(tuán)、百度等公司緊急“出手”，紛紛入局長文本大模型賽道，推動人工智能領(lǐng)域投資熱情進(jìn)一步升溫。
機(jī)構(gòu)人士表示，相比海外大模型，國產(chǎn)模型在中文長文本理解方面具備比較優(yōu)勢，基礎(chǔ)模型能力提升有望推動下游應(yīng)用快速發(fā)展。AI模型、語料庫、算力租賃及運(yùn)維等領(lǐng)域?qū)⒊掷m(xù)受益。
● 本報記者 彭思雨 見習(xí)記者 陳子軒
取得技術(shù)突破
近期，AI大模型產(chǎn)品Kimi智能助手因能穩(wěn)定分析處理200萬漢字長文“一炮走紅”。Kimi智能助手是初創(chuàng)公司月之暗面于2023年10月發(fā)布的產(chǎn)品。該公司創(chuàng)立于2023年3月，由清華大學(xué)交叉信息學(xué)院楊植麟教授領(lǐng)銜。今年3月18日，月之暗面宣布，Kimi智能助手再次取得技術(shù)突破，支持200萬漢字上下文的Kimi智能助手已經(jīng)啟動“內(nèi)測”。
隨之而來，360集團(tuán)、阿里、百度等頭部廠商紛紛宣布升級AI大模型技術(shù)。3月22日，阿里通義千問宣布，向所有人免費(fèi)開放1000萬字的長文檔處理功能。3月23日，360智腦宣布正式內(nèi)測500萬字長文本處理功能。該功能即將入駐360AI瀏覽器。同時，360AI瀏覽器APP即將上線。另外，百度文心一言4月份將進(jìn)行版本升級，屆時將開放長文本處理能力，文字范圍在200萬-500萬字。
“大模型升級文本長度，是市場需求的直接反映。”人工智能領(lǐng)域天使投資人郭濤向中國證券報記者表示，“長文本處理需求持續(xù)增加，如學(xué)術(shù)論文、法律文件、新聞報道等。而長文本處理能力的提升，能夠更好地模擬復(fù)雜的人類語言交流，包括理解長篇文獻(xiàn)、撰寫長篇文章等。”
賽智產(chǎn)業(yè)研究院院長趙剛告訴記者，提升長文本處理能力，可以解決當(dāng)前大語言模型應(yīng)用中的痛點(diǎn)，使得大模型商業(yè)化應(yīng)用更加成熟，更容易被用戶接受。在新的用戶需求牽引下，未來長文本處理能力可能成為大模型的標(biāo)配。率先布局長文本訓(xùn)練和推理的大模型企業(yè)，在未來的競爭中將占據(jù)有利地位。
拓展應(yīng)用領(lǐng)域
“從文本處理穩(wěn)定性方面看，Ki-mi比ChatGPT更勝一籌。使用ChatGPT分析長文本時，很容易遇到報錯的情況，而Kimi比較少見。”一位經(jīng)常使用AI大模型工具處理文本的留學(xué)生告訴中國證券報記者。
200萬到1000萬漢字，國產(chǎn)大模型中文文本處理能力飛速提升。據(jù)了解，目前海外主流AI大模型GPT-4 Turbo-128k公布的文本范圍約為10萬漢字，而Claude 3200k約為16萬漢字。
趙剛認(rèn)為，從實(shí)際應(yīng)用出發(fā)，國內(nèi)大模型廠商闖出一條創(chuàng)新升級的新路線，很大程度上縮小了與海外Open AI等大模型企業(yè)的差距。
郭濤表示，長文本處理能力是衡量模型泛化能力的一項(xiàng)重要指標(biāo)，其能夠更好地反映模型在處理未知或復(fù)雜數(shù)據(jù)時的表現(xiàn)，反映出國產(chǎn)大模型企業(yè)在自然語言處理（NLP）領(lǐng)域的技術(shù)創(chuàng)新能力。
文本長度的突破會帶來哪些應(yīng)用前景？趙剛認(rèn)為，長文本處理能力主要應(yīng)用于知識密集的業(yè)務(wù)場景，比如生產(chǎn)活動中的編制計(jì)劃、設(shè)計(jì)方案、廣告創(chuàng)意等；管理活動中的文案撰寫、合同編制等；文化教育中的論文撰寫、小說撰寫、劇本編寫等應(yīng)用場景。
文本處理功能擴(kuò)容帶來的應(yīng)用創(chuàng)新已經(jīng)嶄露頭角。近日，華東師范大學(xué)王峰教授團(tuán)隊(duì)發(fā)布國內(nèi)第一部人機(jī)融合式長篇小說《天命使徒》，采用國內(nèi)大語言模型+提示詞工程+人工后期潤色，整部小說超過100萬字。據(jù)介紹，該團(tuán)隊(duì)將打造一個可供公眾使用的長篇小說創(chuàng)作平臺，將好的創(chuàng)意與平臺的自動寫作服務(wù)結(jié)合起來，讓人人皆可寫作長篇小說。團(tuán)隊(duì)的下一個目標(biāo)是將同等體量小說創(chuàng)作由一個半月縮短為兩至三周。
值得注意的是，業(yè)內(nèi)人士認(rèn)為，文本長度只是反映大模型能力的一個側(cè)面，并非評判模型訓(xùn)練能力的唯一標(biāo)準(zhǔn)。郭濤表示，模型的訓(xùn)練能力還包括對不同類型數(shù)據(jù)的處理能力、模型的穩(wěn)定性、可擴(kuò)展性等多個維度。
“在多模態(tài)、參數(shù)規(guī)模、通用性等方面，我們與Open AI等海外企業(yè)還有一定距離。”趙剛坦言。
相關(guān)產(chǎn)業(yè)鏈?zhǔn)芤?/STRONG>
長文本處理能力對數(shù)據(jù)和算力提出了更高要求。郭濤告訴記者，首先，訓(xùn)練能夠處理長文本的模型，需要大量的高質(zhì)量長文本數(shù)據(jù)。這些數(shù)據(jù)需要具備多樣性和代表性，確保大模型能夠?qū)W習(xí)到廣泛的語言模式和知識。其次，長文本處理通常需要更復(fù)雜的模型結(jié)構(gòu)，會直接增加模型訓(xùn)練的計(jì)算成本。更大的模型意味著更多的參數(shù)需要調(diào)整，需要更多算力以加速訓(xùn)練過程。
大模型升級對AI算力、數(shù)據(jù)賽道的催化作用已經(jīng)體現(xiàn)在二級市場。Wind數(shù)據(jù)顯示，近20日內(nèi)，AI算力指數(shù)上漲11.56%，數(shù)據(jù)要素概念指數(shù)上漲11.94%，IDC（算力租賃）概念指數(shù)上漲13.41%。
算力方面，科大訊飛3月23日在投資者互動平臺上表示，科大訊飛算力能夠滿足未來一段時間AI算法模型訓(xùn)練和推理的需求。景嘉微3月22日表示，公司景宏系列高性能智算模塊及整機(jī)產(chǎn)品可面向AI訓(xùn)練、AI推理和科學(xué)計(jì)算等應(yīng)用領(lǐng)域。
數(shù)據(jù)方面，海天瑞聲3月22日在投資者互動平臺上表示，公司致力于為AI產(chǎn)業(yè)鏈各類機(jī)構(gòu)提供算法模型開發(fā)訓(xùn)練所需的專業(yè)數(shù)據(jù)集。例如，常規(guī)的結(jié)構(gòu)化數(shù)據(jù)分割、信息提取整合、文本摘要等。同時，公司可提供大模型強(qiáng)化學(xué)習(xí)相關(guān)數(shù)據(jù)處理服務(wù)。例如，對prompt的改寫、分類以及其回復(fù)內(nèi)容續(xù)寫改寫等。不過，公司過往并未向月之暗面提供過相關(guān)訓(xùn)練數(shù)據(jù)。
華西證券認(rèn)為，相比海外大模型，國產(chǎn)模型在中文長文本理解方面具備比較優(yōu)勢，能夠有效提升使用者工作效率。基礎(chǔ)模型能力的提升有望推進(jìn)下游應(yīng)用快速發(fā)展。AI模型、語料庫、算力租賃及運(yùn)維等板塊將繼續(xù)受益。
民生證券表示，國產(chǎn)大模型再度迎來競爭升級，以Kimi為代表的國內(nèi)大模型用戶數(shù)量激增，AI算力需求或是今年最確定的投資主線之一。
