GPT:金融圈注意了 BloombergGPT來了_MBE

ChatGPT引爆的AI熱潮也“燒到了”金融圈，彭博社重磅發布為金融界打造的大型語言模型——BloombergGPT。

3月30日，根據彭博社最新發布的報告顯示，其構建迄今為止最大的特定領域數據集，并訓練了專門用于金融領域的LLM，開發了擁有500億參數的語言模型——BloombergGPT。

報告顯示，該模型依托彭博社的大量金融數據源，構建了一個3630億個標簽的數據集，支持金融行業內的各類任務。該模型在金融任務上的表現遠超過現有模型，且在通用場景上的表現與現有模型也能一較高下。

一般來說，在NLP領域，參數數量和復雜程度之間具有正相關性，GPT-3.5模型的參數量為2000億，GPT-3的參數量為1750億。

IMF：加密資產與股票同步波動將對金融穩定造成風險:1月12日消息，國際貨幣基金組織（IMF）在最新報告中指出，加密資產不再處于金融系統的邊緣。加密貨幣市場和股票市場之間增加且相當大的聯動表明這兩種資產類別之間的相互關聯性日益增強，這可能很快會給金融穩定帶來風險，尤其是在廣泛采用加密貨幣的國家。IMF指出，在新冠大流行之前，比特幣和以太坊等加密資產與主要股票指數幾乎沒有相關性，它們被認為有助于分散風險，并作為對沖其他資產類別波動的工具。但是，在2020年初央行對新冠疫情采取應對措施之后，這種情況發生了變化。在全球金融環境寬松和投資者風險偏好增加的情況下，加密貨幣價格和美國股市均飆升。在2017-2019年，比特幣的回報并沒有隨著標準普爾500指數的特定方向移動，它們每日變動的相關系數僅為0.01，但隨著資產同步上漲或一起下跌，該指標在2020-2021年躍升至0.36。IMF認為，應采用一個全面、協調的全球監管框架來指導國家監管，并減輕加密生態系統帶來的金融穩定風險。[2022/1/12 8:43:10]

關于BloombergGPT

韓國大型金融公司GME加入RippleNet以擴展從韓國到泰國的支付業務:Ripple宣布韓國大型金融公司GlobalMoneyExpress（GME）已通過與SBIRippleAsia（SBIHoldings和Ripple的合資企業）的合作，加入Ripple的全球金融網絡RippleNet，以擴展從韓國到泰國的支付業務。目前GMERemittance已通過RippleNet連接至泰國最大的銀行，暹羅商業銀行。此外，GMERemittance還在尋求與RippleNet現有的客戶合作以擴展泰國以及全球其他地區的支付渠道。當前RippleNet上的韓國金融機構包括了CROSSENF和Sentbe等。[2021/8/11 1:47:39]

報告指出，研究人員利用彭博社現有的數據，對資源進行創建、收集和整理，通過構建迄今為止最大的特定領域數據集來完成BloomberGPT，并基于通用和金融業務的場景進行混合模型訓練：

英國FCA將9家提供加密和金融服務的公司列入其警告名單:英國金融市場行為監管局(FCA)周一將9家提供加密和金融服務的公司列入其警告名單。這些公司包括Olympus Global、STS Royals、Bitcoin Evolution、Walker Bryan、Credit Union Fund、My Safe Market、Carter FS和Standard Bit Options。FCA還警告稱，不要效仿FCA監管的平臺Ignis Markets。FCA在警告中表示：“我們相信，這家公司一直在未經我們授權的情況下在英國提供金融服務或產品。” FCA對向英國國民提供服務的金融服務提供商保持警惕。許多騙子還試圖欺騙客戶，用高回報的承諾來吸引他們。值得注意的是，這份警告名單還包括一些提供基于加密的投資服務的平臺，而一個提供期權交易服務的平臺提供的杠桿率高達200倍。（Finance Magnates）[2020/3/17]

彭博社主要是一家金融數據公司，數據分析師在公司成立的四十年的時間里收集了大量的金融文件，擁有廣泛的金融數據檔案，涵蓋了一系列的主題。

動態 | 阿聯酋銀行與金融研究所合作建立金融科技培訓實驗室 :阿聯酋銀行與金融研究所（EIBFS）合作建立金融科技培訓實驗室，旨在加強區塊鏈、人工智能、大數據等新技術的技術培訓和技術革新。[2018/6/28]

我們將這些數據添加到公共數據集中，以創建一個擁有超過7000億個標簽的大型訓練語料庫。

使用這個訓練語料庫的一部分，我們訓練了一個具有彭博風格的，達500億參數的模型，該模型是根據Hoffmann和LeScao等人的指導方針設計，基于通用和金融業務的場景進行混合模型訓練。

結果表明，我們的混合訓練方法使我們的模型在金融任務上的表現大大超過了現有的模型，而在通用場景上的表現則與之相當甚至優于現有模型。

歐洲金融監管負責人警告有產生比特幣泡沫的信號:歐洲金融監管負責人表示，歐盟當局正在尋求加強對日益增長的加密貨幣市場的監管，他同時警告稱，最近比特幣價值的上漲顯示出“定價泡沫”的跡象。歐盟委員會副主席瓦爾迪斯·杜姆羅夫斯基斯（Valdis Dombrovskis）已經寫信給歐盟銀行業和市場監管機構，敦促他們做更多的事情來警告消費者投資比特幣可能產生的風險。英國“金融時報”撰文稱，最近市場動蕩需要監管機構“高度關注”。杜姆羅夫斯基斯先生說：“目前非常必要通過進一步的工作來評估并盡可能地提高比特幣和加密貨幣監管框架的實用性。投資者和消費者面臨與價格波動相關的明顯的風險，包括投資的完全失敗，運營和安全失效，市場操縱，以及責任缺口。”[2017/12/21]

1.BloombergGPT優勢：特定領域模型仍有其不可替代性且彭博數據來源可靠

在論文中，彭博社指出，現階段，通用的自然語言處理模型可以涵蓋許多領域，但針對特定領域模型仍有其不可替代性，因彭博社的大多數應用均為金融領域，著手構建了一個針對金融領域的模型尤其優勢，同時可以在通用LLM基準測試上保持競爭力：

除了構建金融領域的LLM外，本文的經驗也為其他研究領域的專用模型提供了參考。我們的方法是在特定領域和一般數據源上訓練LLM，以開發在特定領域和通用基準上表現優異的模型。

此外，我們的訓練數據不同于傳統的網絡爬取數據，網絡上的數據總有重復和錯誤，但我們的數據來源可靠。

2.BloombergGPT的訓練數據集：

BloombergGPT的訓練數據庫名為FINPILE，由一系列英文金融信息組成，包括新聞、文件、新聞稿、網絡爬取的金融文件以及提取到的社交媒體消息。

為了提高數據質量，FINPILE數據集也使用了公共數據集，例如ThePile、C4和Wikipedia。FINPILE的訓練數據集中大約一半是特定領域的文本，一半是通用文本。為了提高數據質量，每個數據集都進行了去重處理。

對金融領域的理解更準

報告指出，在金融領域中的自然語言處理在通用模型中也很常見，但是，針對金融領域，這些任務執行時將面臨挑戰：

以情感分析為例，一個題為“某公司將裁員1萬人”，在一般意義上表達了負面情感，但在金融情感方面，它有時可能被認為是積極的，因為它可能導致公司的股價或投資者信心增加。

報告指出，從測試來看，BloombergGPT在五項任務中的四項表現最佳，在NER中排名第二。因此，BloombergGPT有其優勢性。

測試一：ConvFinQA數據集是一個針對金融領域的問答數據集，包括從新聞文章中提取出的問題和答案，旨在測試模型對金融領域相關問題的理解和推理能力。

測試二：FiQASA，第二個情感分析任務，測試英語金融新聞和社交媒體標題中的情感走向。

測試三：標題，數據集包括關于黃金商品領域的英文新聞標題，標注了不同的子集。任務是判斷新聞標題是否包含特定信息，例如價格上漲或價格下跌等。

測試四：FPB，金融短語庫數據集包括來自金融新聞的句子情緒分類任務。

測試五：NER，命名實體識別任務，針對從提交給SEC的金融協議中收集金融數據，進行信用風險評估。

對于ConvFinQA來說，這個差距尤為顯著，因為它需要使用對話式輸入來對表格進行推理并生成答案，具有一定挑戰性。

ChatGPT為彭博點贊

華爾街見聞就這個問題專門詢問了ChatGPT，ChatGPT認為BloombergGPT是一項很有意義的技術進步：

它是專門為金融領域開發的一種語言模型，可以更好地處理金融領域的數據和任務，并且在金融領域的基準測試中表現出色。

這將有助于金融從業者更好地理解和應用自然語言處理技術，促進金融科技的發展。同時，BloombergGPT還可以為其他領域的語言模型的發展提供參考和借鑒。總的來說，BloombergGPT是一個有益的技術創新。

Tags：GPTBERERGMBEMGPT價格BERGERDOGESinergiaIDEX Membership

MANA