ROM:BuidlerDAO x KNN3：大型語言模型使用經驗_MPT

作者：@於方仁@CarolineSun

編排：@黑羽小斗

LLM

大型語言模型是利用海量的文本數據進行訓練海量的模型參數。大語言模型的使用，大體可以分為兩個方向：

A.僅使用

B.微調后使用

僅使用又稱Zero-shot，因為大語言模型具備大量通用的語料信息，量變可以產生質變。即使Zero-shot也許沒得到用戶想要的結果，但加上合適的prompt則可以進一步獲取想要的知識。該基礎目前被總結為promptlearning。

大語言模型，比較流行的就是BERT和GPT。從生態上講BERT與GPT最大的區別就是前者模型開源，后者只開源了調用API，也就是目前的ChatGPT。

兩個模型均是由若干層的Transformer組成，參數數量等信息如下表所示。

目前生態上講，BERT多用于微調場景。因為微調必須在開源模型的基礎上，GPT僅開源到GPT2的系列。且相同模型參數量下BERT在特定場景的效果往往高于GPT，微調需要調整全部的模型參數，所以從性價比而言，BERT比GPT更適合微調。

而GPT目前擁有ChatGPT這種面向廣大人民群眾的應用，使用簡單。API的調用也尤其方便。所以若是僅使用LLM，則ChatGPT顯然更有優勢。

ChatGPTPrompt

Axie Infinity Builders推出“Mavis Hub：Greenlight”計劃:金色財經報道，作為 Axie Infinity 構建者計劃的一部分，Sky Mavis 推出了 Mavis Hub：Greenlight。該計劃旨在培養 Axie 生態系統中的新游戲開發者，為他們提供一個與社區分享早期游戲版本的平臺。它還提供了額外的工具和潛在的資金來支持他們的游戲開發工作。Mavis Hub 還引入了投票系統，促進社區參與和在平臺上列出 Axie 游戲的競爭。[2023/8/9 21:33:31]

下圖是OpenAI官方提出對于ChatGPT的prompt用法大類。

Figure1.PromptCategoriesbyOpenAI?

每種類別有很多具體的范例。如下圖所示：

Figure2.PromptCategoriesExamplesbyOpenAI

除此以外，我們在此提出一些略微高級的用法。

高級分類

這是一個意圖識別的例子，本質上也是分類任務，我們指定了類別，讓ChatGPT判斷用戶的意圖在這

PermaDao Builder Panda：流量入口的最終目的就是讓進入Web3.0的門檻越來越低:金色財經現場報道，在8月8日由金色財經主辦的金色沙龍活動中，PermaDao Builder Panda在《下一個十億級Web3用戶來自哪里》圓桌會議中表示，流量入口的最終目的只有一個就是讓Web3.0進入的門檻越來越低。

很多開發者會出現私鑰保管不當，發地址的時候錯發成私鑰。我從去年一直在關注MPC和AA錢包賽道，有了MPC錢包，就是讓用戶拿不到私鑰，這樣被盜的概率就會大大降低。AA錢包還有一個好處，很多新人理解不了為什么要用GAS，因為在Web2.0是免費轉賬。

在以太坊和BTC網絡存數據非常昂貴。這樣我們可以把比特幣網絡的數據和代碼放到永存網絡上，把計算邏輯和VM放到鏈下。大家可以嘗試更廉價的存儲，比如Arweave等公鏈，這也是一個新的思路。

現在看起來ZKL2是一個值得發展和探索的路子，但能不能行通不好說，也要看技術落地。因為現在交易鏈非常慢，所以要看在V神的帶領下，ZK這些項目哪個到底更好用，這也是值得期待的。[2023/8/8 21:32:36]

Figure3.PromptExamples

實體識別與關系抽取

利用ChatGPT做實體識別與關系抽取輕而易舉，例如給定一篇文本后，這么像它提問。

Figure4.ExampleTextGiventoChatGPT

Sui Network公布20個Sui Builder Hero獲獎者名單:2月22日消息，公鏈項目 Sui Network 公布 20 個 Sui Builder Hero 獲獎者名單，除現金獎勵外，該獎項還包括 Sui Builder Houses 的邀請函和 Sui 禮品。

獲獎項目包括去中心化交易平臺 Aftermath、Launchpad 平臺 BeLaunch、BlueMove、Capsule、去中心化交易平臺 Cetus、品牌服務 Cramium、錢包 Ethos 、NFT 市場 Keepsake、Kuna Labs、MovEX、OriginByte、OtterSec、Polymedia、PySui、Sui Gallery、Suia、錢包 Suiet、域名服務 SuiNS、區塊瀏覽器 Suiscan、預言機 Switchboard。[2023/2/22 12:21:42]

這是部分結果截圖：

Figure5.PartialOutputfromgivenTextonChatGPT

之后可以追問給他們的關系，例如：

Figure6.AskingrelationshiponChatGPT

這樣，一個大型的知識圖譜便可輕松建立。

Polygon BUIDLIT Summer 2022黑客松公布獲勝名單:9月16日消息，Polygon BUIDLIT Summer 2022黑客松公布獲勝項目名單，社交媒體平臺Cratch、卡牌游戲Toshimon、Web3游戲共創平臺FindTruman獲得黑客松前三名。

此外，DeFi類別前三名為DeFi for People、Nomis和Fixel。NFT類別前三名為Slise、Rakugaki和Decent Poems。游戲類別前三名為War Alpha Metaverse V2、Mothora和Cozyverse。工具和基礎設施類別前三名為Toolblox、Finity-UI和Universal Adapter Protocol。[2022/9/16 7:00:40]

分析任務

如下圖所示，我對ChatGPT提出了分析我目前需求的問題。

Figure7.ResultforneedsrequestonChatGPT

甚至還能讓它給定分數。

Figure8.Scoringtoevaluatetheidentifiedneeds

除此以外還有數不勝數的方式，在此不一一列舉。

波卡平行鏈Astar Network宣布推出Build2Earn dApp質押計劃，激勵開發人員要構建dApp:官方消息，波卡平行鏈Astar Network宣布推出Build2Earn dApp質押計劃，激勵開發人員要構建dApp。dApp質押者可以將他們的Astar和Shiden代幣提名給他們想要支持的dApp，在Astar上，只要有dApp被提名，開發者就可以獲得基本收入。dApp質押者獲得區塊獎勵，并通過減少代幣流通增加代幣價值。[2022/4/11 14:18:16]

組合Agent

另外，我們在使用ChatGPT的API時，可以將不同的prompt模板產生多次調用產生組合使用的效果。我愿稱這種使用方式叫做，組合Agent。例如Figure1展示的是一個大概的思路。

Figure9.?TheParadigmoftheCombinationAgent

具體說來，例如是一個輔助創作文章的產品。則可以這么設計，如Figure10所示。

Figure10.Agentcombinationforassistingincreation

假設用戶輸入一個請求，說“幫我寫一篇倫敦游記”,那么IntentRecognitionAgent首先做一個意圖識別，意圖識別也就是利用ChatGPT做一次分類任務。假設識別出用戶的意圖是文章生成，則接著調用ArticleGenerateAgent。

另一方面，用戶當前的輸入與歷史的輸入可以組成一個上下文，輸入給ChatContextAnalyzeAgent。當前例子中，這個agent分析出的結果傳入后面的AIReplyAgent和PhaseControlAgent的。

AIReplyAgent就是用來生成AI回復用戶的語句，假設我們的產品前端并不只有一個文章，另一個敵方還有一個框用來顯示AI引導用戶創作文章的語句，則這個AIReplyAgent就是用來干這個事情。將上下文的分析與文章一同提交給ChatGPT，讓其根據分析結果結合文章生成一個合適的回復。例如通過分析發現用戶只是在通過聊天調整文章內容，而不知道AI還能控制文章的藝術意境，則可以回復用戶你可以嘗試著對我說“調整文章的藝術意境為非現實主義風格”。

PhaseControlAgent則是用來管理用戶的階段，對于ChatGPT而言也可以是一個分類任務，例如階段分為等等。例如AI判斷可以進行文章模板的制作了，前端可以產生幾個模板選擇的按鈕。

使用不同的Agent來處理用戶輸入的不同任務，包括意圖識別、ChatContext分析、AI回復生成和階段控制，從而協同工作，為用戶生成一篇倫敦游記的文章，提供不同方面的幫助和引導，例如調整文章的藝術意境、選擇文章模板等。這樣可以通過多個Agent的協作，使用戶獲得更加個性化和滿意的文章生成體驗。?

Prompt微調

LLM雖然很厲害，但離統治人類的AI還相差甚遠。眼下有個最直觀的痛點就是LLM的模型參數太多，基于LLM的模型微調變得成本巨大。例如GPT-3模型的參數量級達到了175Billion，只有行業大頭才有這種財力可以微調LLM模型，對于小而精的公司而言該怎么辦呢。無需擔心，算法科學家們為我們創新了一個叫做prompttuning的概念。

Prompttuning簡單理解就是針對prompt進行微調操作，區別于傳統的fine-tuning，優勢在于更快捷，prompttuning僅需微調prompt相關的參數從而去逼近fine-tuning的效果。

Figure11.Promptlearning

什么是prompt相關的參數，如圖所示，prompttuning是將prompt從一些的自然語言文本設定成了由數字組成的序列向量。本身AI也會將文本從預訓練模型中提取向量從而進行后續的計算，只是在模型迭代過程中，這些向量并不會跟著迭代，因為這些向量于文本綁定住了。但是后來發現這些向量即便跟著迭代也無妨，雖然對于人類而言這些向量迭代更新后在物理世界已經找不到對應的自然語言文本可以表述出意思。但對于AI來講，文本反而無意義，prompt向量隨著訓練會將prompt變得越來越符合業務場景。

假設一句prompt由20個單詞組成，按照GPT3的設定每個單詞映射的向量維度是12288，20個單詞便是245760，理論上需要訓練的參數只有245760個，相比175billion的量級，245760這個數字可以忽略不計，當然也會增加一些額外的輔助參數，但同樣其數量也可忽略不計。

問題來了，這么少的參數真的能逼近?finetuning的效果嗎，當然還是有一定的局限性。如下圖所示，藍色部分代表初版的prompttuning,可以發現prompttuning僅有在模型參數量級達到一定程度是才有效果。雖然這可以解決大多數的場景，但在某些具體垂直領域的應用場景下則未必有用。因為垂直領域的微調往往不需要綜合的LLM預訓練模型，僅需垂直領域的LLM模型即可，但是相對的，模型參數不會那么大。所以隨著發展，改版后的prompttuning效果可以完全取代fine-tuning。下圖中的黃色部分展示的就是prompttuningv2也就是第二版本的prompttuning的效果。

Figure12.Promptlearningparameters

V2的改進是將原本僅在最初層輸入的連續prompt向量，改為在模型傳遞時每一個神經網絡層前均輸入連續prompt向量，如下圖所示。

Figure13.Promptlearningv2

還是以GPT3模型為例，GPT3總從有96層網絡，假設prompt由20個單詞組成，每個單詞映射的向量維度是12288，則所需要訓練的參數量=96*20*12288=23592960。是175billion的萬分之1.35。這個數字雖不足以忽略不計，但相對而言也非常小。

未來可能會有prompttuningv3,v4等問世，甚至我們可以自己加一些創新改進prompttuning，例如加入長短期記憶網絡的設定。(因為原版的prompttuningv2就像是一個大型的RNN,我們可以像改進RNN一般去改進prompttuningv2)。總之就目前而言，prompttuning使得微調LLM變得可行，未來一定會有很多垂直領域的優秀模型誕生。

總結

LargeLanguageModels(LLMs)和Web3技術的整合為去中心化金融領域帶來了巨大的創新和發展機遇。通過利用LLMs的能力，應用程序可以對大量不同數據源進行全面分析，生成實時的投資機會警報，并根據用戶輸入和先前的交互提供定制建議。LLMs與區塊鏈技術的結合還使得智能合約的創建成為可能，這些合約可以自主地執行交易并理解自然語言輸入，從而促進無縫和高效的用戶體驗。

這種先進技術的融合有能力徹底改變DeFi領域，并開辟出一條為投資者、交易者和參與去中心化生態系統的個體提供新型解決方案的道路。隨著Web3技術的日益普及，LLMs創造復雜且可靠解決方案的潛力也在擴大，這些解決方案提高了去中心化應用程序的功能和可用性。總之，LLMs與Web3技術的整合為DeFi領域提供了強大的工具集，提供了有深度的分析、個性化的建議和自動化的交易執行，為該領域的創新和改革提供了廣泛的可能性。

參考文獻

Tags：PROROMOMPMPTProtectors of the RealmCAROM價格KOMPETEimpt幣最新消息

波場