ChatGPT引爆的AI熱潮也“燒到了”金融圈,彭博社重磅發布為金融界打造的大型語言模型(LLM)——BloombergGPT。
3月30日,根據彭博社最新發布的報告顯示,其構建迄今為止最大的特定領域數據集,并訓練了專門用于金融領域的LLM,開發了擁有500億參數的語言模型——BloombergGPT。
報告顯示,該模型依托彭博社的大量金融數據源,構建了一個3630億個標簽的數據集,支持金融行業內的各類任務。該模型在金融任務上的表現遠超過現有模型,且在通用場景上的表現與現有模型也能一較高下。
一般來說,在NLP領域,參數數量和復雜程度之間具有正相關性,GPT-3.5模型的參數量為2000億,GPT-3的參數量為1750億。
加密金融服務公司Blofin完成5000萬美元B輪融資,KuCoin領投:3月2日消息,加密金融服務公司 Blofin 完成 5000 萬美元 B 輪融資,KuCoin 領投,SIG 和經緯創投參投。通過新一輪融資,Blofin 將招募更多的交易、技術、產品、運營、營銷和合規人才。當前 Blofin 的全球管理資產(AUM)已達 3 億美元。2021 年,Blofin 的交易量達到了超過 1000 億美元。公司將專注于改善交易基礎設施,創造新的融資產品和服務,開發和推出其移動應用程序,在多個國家擴張,并在全球獲得更多牌照。(newsfilecorp)[2022/3/2 13:31:46]
關于BloombergGPT
報告指出,研究人員利用彭博社現有的數據,對資源進行創建、收集和整理,通過構建迄今為止最大的特定領域數據集來完成BloomberGPT,并基于通用和金融業務的場景進行混合模型訓練:
谷燕西:Diem推出將大幅增加穩定幣市場流動量,促進基于穩定幣金融業務開展:12月8日,區塊鏈和加密數字資產研究者谷燕西發表專欄文章稱,互聯網技術和區塊鏈技術的應用發展正在使得未來的銀行服務能夠以更廣泛的方式,由不同類型的提供者提供。他表示,目前市場中的數字穩定幣如PAX,USDC和即將推出的Diem美元穩定幣都是在不同的區塊鏈支持的基礎上運行流通的。這些數字美元穩定幣都是按照同美元1:1的方式來產生。其所依據的美元儲備托管在有托管機制機構當中。鏈上依據這些數字穩定幣提供各種金融服務的實體,也就不再局限于銀行。非銀行機構,個人用戶,甚至是互聯網上的硬件都可以提供某一種銀行服務。谷燕西在文中還指出,預期的Diem數字美元穩定幣在2021年中的推出會大幅增加數字穩定幣在市場中的流動量。基于這些數字穩定幣的金融業務因此也會更多地開展起來。更為重要的是,這些新產生的數字穩定幣都是在合規的前提下運作的,因此基于這些穩定幣的各種應用就可以沒有合規方面的顧慮。[2020/12/8 14:32:29]
彭博社主要是一家金融數據公司,數據分析師在公司成立的四十年的時間里收集了大量的金融文件,擁有廣泛的金融數據檔案,涵蓋了一系列的主題。
動態 | 北京市金融監管局:本市未批準任何交易場所設立分支機構:11月16日訊,北京市地方金融監督管理局發布《關于交易場所分支機構未經批準開展經營活動的風險提示》,《風險提示》稱,目前北京市未批準任何交易場所設立分支機構。并指出,如有外埠交易場所(重點為金融資產交易所)分支機構在京開展經營活動屬于違規經營行為。《風險提示》強調,根據《國務院辦公廳關于清理整頓各類交易場所的實施意見》(國辦發〔2012〕37號)及清理整頓各類交易場所部際聯席會議關于清理交易場所分支機構的相關要求,設立交易場所分支機構應當分別經交易場所所在地省級人民政府及擬設分支機構所在地省級人民政府批準方可開展經營活動。[2019/11/16]
我們將這些數據添加到公共數據集中,以創建一個擁有超過7000億個標簽的大型訓練語料庫。
使用這個訓練語料庫的一部分,我們訓練了一個具有彭博風格的,達500億參數的模型,該模型是根據Hoffmann和Le Scao等人的指導方針設計,基于通用和金融業務的場景進行混合模型訓練。
動態 | 澳大利亞金融情報機構拘捕涉嫌提供未經注冊的加密交易服務的男子:澳大利亞的金融情報機構——澳大利亞交易報告分析中心(AUSTRAC)與維多利亞共同宣布,AUSTRAC的偵探今日拘捕了一名加密男子,因后者涉嫌提供未經注冊的交易服務。作為調查的一部分,相關偵探人員還從Braybrook的一家購物中心沒收了一臺加密貨幣ATM。(financefeeds)[2019/11/12]
結果表明,我們的混合訓練方法使我們的模型在金融任務上的表現大大超過了現有的模型,而在通用場景上的表現則與之相當甚至優于現有模型。
1.BloombergGPT優勢:特定領域模型仍有其不可替代性且彭博數據來源可靠
現場丨上海高級金融學院教授、美國聯邦儲蓄銀行(亞特蘭大)前研究員:通證經濟其微觀基礎是商業模式 仍在探索早期:8月15日,由UBI主辦的“全球區塊鏈合作聯盟”成立大會上,上海高級金融學院教授、美國聯邦儲蓄銀行(亞特蘭大)前研究員胡捷在講解通證商業模式時說,通證經濟其微觀基礎是商業模式,探索仍在早期。通證商業模式適合設計權益表達、權益管理、權益交換的應用。具體來說有確權存證類應用(知識產權、數據資產化、溯源防偽等),權益交換類應用(解決對手間的信任問題,如分時度假等);多方協作類應用(通過權益的產生、交換協調人的分工配合,如新電商平臺)。其待解決的問題有如何做動態調整、如何做糾紛仲裁、如何做戰略選擇等。通證經濟未來以來,我們常常高估未來一年的變化,但卻低估未來五年的變化。[2018/8/15]
在論文中,彭博社指出,現階段,通用的自然語言處理模型可以涵蓋許多領域,但針對特定領域模型仍有其不可替代性,因彭博社的大多數應用均為金融領域,著手構建了一個針對金融領域的模型尤其優勢,同時可以在通用LLM基準測試上保持競爭力:
除了構建金融領域的LLM外,本文的經驗也為其他研究領域的專用模型提供了參考。我們的方法是在特定領域和一般數據源上訓練LLM,以開發在特定領域和通用基準上表現優異的模型。
此外,我們的訓練數據不同于傳統的網絡爬取數據,網絡上的數據總有重復和錯誤,但我們的數據來源可靠。
2.BloombergGPT的訓練數據集:
BloombergGPT的訓練數據庫名為FINPILE,由一系列英文金融信息組成,包括新聞、文件、新聞稿、網絡爬取的金融文件以及提取到的社交媒體消息。
為了提高數據質量,FINPILE數據集也使用了公共數據集,例如The Pile、C4和Wikipedia。FINPILE的訓練數據集中大約一半是特定領域的文本,一半是通用文本。為了提高數據質量,每個數據集都進行了去重處理。
對金融領域的理解更準
報告指出,在金融領域中的自然語言處理在通用模型中也很常見,但是,針對金融領域,這些任務執行時將面臨挑戰:
以情感分析為例,一個題為“某公司將裁員1萬人”,在一般意義上表達了負面情感,但在金融情感方面,它有時可能被認為是積極的,因為它可能導致公司的股價或投資者信心增加。
報告指出,從測試來看,BloombergGPT在五項任務中的四項(ConvFinQA,FiQA SA,FPB和Headline)表現最佳,在NER(Named Entity Recognition)中排名第二。因此,BloombergGPT有其優勢性。
測試一:ConvFinQA數據集是一個針對金融領域的問答數據集,包括從新聞文章中提取出的問題和答案,旨在測試模型對金融領域相關問題的理解和推理能力。
測試二:FiQA SA,第二個情感分析任務,測試英語金融新聞和社交媒體標題中的情感走向。
測試三:標題,數據集包括關于黃金商品領域的英文新聞標題,標注了不同的子集。任務是判斷新聞標題是否包含特定信息,例如價格上漲或價格下跌等。
測試四:FPB,金融短語庫數據集包括來自金融新聞的句子情緒分類任務。
測試五:NER,命名實體識別任務,針對從提交給SEC的金融協議中收集金融數據,進行信用風險評估。
對于ConvFinQA來說,這個差距尤為顯著,因為它需要使用對話式輸入來對表格進行推理并生成答案,具有一定挑戰性。
ChatGPT為彭博點贊
華爾街見聞就這個問題專門詢問了ChatGPT,ChatGPT認為BloombergGPT是一項很有意義的技術進步:
它是專門為金融領域開發的一種語言模型,可以更好地處理金融領域的數據和任務,并且在金融領域的基準測試中表現出色。
這將有助于金融從業者更好地理解和應用自然語言處理技術,促進金融科技的發展。同時,BloombergGPT還可以為其他領域的語言模型的發展提供參考和借鑒。總的來說,BloombergGPT是一個有益的技術創新。
華爾街見聞
媒體專欄
閱讀更多
金色財經 善歐巴
金色早8點
白話區塊鏈
歐科云鏈
Odaily星球日報
Arcane Labs
MarsBit
深潮TechFlow
BTCStudy
鏈得得
上周發生香港的 Web3 嘉年華,我雖然沒去,但是心向往之,也密切關注其中的新觀點、新見解。學到不少,但有一點特別不滿意,就是在公開的討論中沒有人去提及一個最為重要的問題:香港 Web3 新政背.
1900/1/1 0:00:00ChatGPT讓AIGC成功“出圈”,國內外科技巨頭爭相推出自己的AIGC產品,針對AIGC的監管亦迅速推進.
1900/1/1 0:00:00一季度行情即將接近尾聲,比特幣和以太坊的走勢越來越趨同,幾乎完全相關。比推終端數據顯示,以太坊年初至今 (YTD) 上漲了 50.02%,但比特幣卻飆升了 72.30%,有望創下兩年來最佳的季度.
1900/1/1 0:00:00過去數日,以太坊主網的 gas 價格明顯上漲,且基本一直持續在 50 GWEI 左右居高不下,這讓許多習慣在主網操作的用戶感到困擾.
1900/1/1 0:00:00騰訊云與去中心化數據云平臺Oort達成合作。騰訊云將作為Oort網絡的全節點提供商,為Oort的數據服務提供支持.
1900/1/1 0:00:00「上海升級」定于 2023 年 4 月 12 日進行經過在第 157 次以太坊核心開發者會議上的討論.
1900/1/1 0:00:00