Llama:兩大可商用開源大模型同時發布！性能不輸 LLaMA，羊駝家族名字都不夠用了_JMPT幣

來源：量子位

從Meta的LLaMA發展出的羊駝家族一系列大模型，已成為開源AI重要力量。

但LLamA開源了又沒全開，只能用于研究用途，還得填申請表格等，也一直被業界詬病。

好消息是，兩大對標LLaMA的完全開源項目同時有了新進展。

可商用開源大模型來了，還一下來了倆：

MosaicML推出MPT系列模型，其中70億參數版在性能測試中與LLaMA打個平手。

Together的RedPajama系列模型，30億參數版在RTX2070游戲顯卡上就能跑。

數據：ZEN 24H漲幅37.5%，領漲隱私幣和灰度信托兩大概念:據MXC抹茶行情數據，ZEN 24H漲幅37.5%，現報27.57USDT，領漲隱私幣和灰度信托兩大概念。其他隱私概念資產，XZC漲幅10.72%，現報4.065USDT；XMR漲幅9.74%，現報169.91USDT。另外，XMR3L漲幅40.13%。灰度信托基金CEO曾發推認為，2021是隱私元年。[2021/1/12 15:58:07]

對于這些進展，特斯拉前AI主管AndrejKarpathy認為，開源大模型生態有了寒武紀大爆發的早期跡象。

MPT，與LLaMA五五開

MPT系列模型，全稱MosaicMLPretrainedTransformer，基礎版本為70億參數。

國盛證券分析師：國際央行研發數字貨幣主要受兩大現象推動:國盛證券分析師宋嘉吉認為，國際央行研發數字貨幣主要受到兩大現象推動，一是現金使用率下降，央行擔心公眾無法得到央行負債，例如瑞典央行、加拿大央行；二是私人部門發行的數字貨幣崛起，各國央行擔心法幣受沖擊，例如英國央行。此外，宋嘉吉表示，英、美、加、日等大國現金使用率并未下降到“臨界點”，現有的貨幣政策體系也較為有效，它們不認為有必要發行CBDC。（澎湃新聞）[2020/10/9]

MPT在大量數據上訓練，與LLaMA相當，高于StableLM，Pythia等其他開源模型。

支持84ktokens超長輸入，并用FlashAttention和FasterTransformer方法針對訓練和推理速度做過優化。

在各類性能評估中，與原版LLaMA不相上下。

優盾錢包：區塊鏈企業錢包兩大功能缺一不可--公鑰衍生地址，私鑰不觸網:在周三晚的《4期課程丨掌控交易所核心資產安全》第2期課程《30分鐘企業級區塊鏈錢包》中，優盾錢包資深產品經理Gary Guo分享了優盾3.0錢包的安全功能。優盾3.0即將發布的硬件錢包，支持將助記詞等信息加密存儲在硬件中，簽名等也將在硬件中進行，客戶端軟件只是連接硬件的工具，即使電腦被盜用、密碼泄漏，沒有硬件的支持還是無法將資金轉移，最大程度保證用戶資金安全。

優盾錢包，是一款企業級交易所錢包管理系統，以安全完善的技術重新定義數字資產錢包，為比特幣、以太坊等100多種幣種提供API接入；頂級私鑰BOSS自主掌握，子私鑰動態計算不觸網，硬件加持，純冷操作；多級財務審核策略，資產動向、操作日志一目了然；海量地址統一管理，余額一鍵自動歸集。[2020/7/16]

除了MPT-7BBase基礎模型外還有三個變體。

聲音 | 鏈改試驗發起人王學宗：2019區塊鏈兩大方向是共享和數字金融:鏈改試驗發起人、區塊鏈通訊創始人王學宗今日在其微博談到，2019年區塊鏈兩個大方向：一是共享計算，共享帶寬，共享存儲，第二是數字金融和數字證券，可編程證券，這是區塊鏈的殺手級應用。[2018/12/26]

MPT-7B-Instruct，用于遵循簡短指令。

MPT-7B-Chat，用于多輪聊天對話。

MPT-7B-StoryWriter-65k+，用于閱讀和編寫故事，支持65ktokens的超長上下文，用小說數據集微調。

MosaicML由前英特爾AI芯片項目Nervana負責人NaveenRao創辦。

該公司致力于降低訓練神經網絡的成本，推出的文本和圖像生成推理服務成本只有OpenAI的1/15。

RedPajama，2070就能跑

RedPajama系列模型，在5TB的同名開源數據上訓練而來。

除70億參數基礎模型外，還有一個30億參數版本，可以在5年前發售的RTX2070游戲顯卡上運行。

目前70億版本完成了80%的訓練，效果已經超過了同規模的Pythia等開源模型，略遜于LLamA。

預計在完成1Ttokens的訓練后還能繼續改進。

背后公司Together，由蘋果前高管VipulVedPrakash，斯坦福大模型研究中心主任PercyLiang，蘇黎世聯邦理工大學助理教授張策等人聯合創辦。

開源模型發布后，他們的近期目標是繼續擴展開源RedPajama數據集到兩倍規模。

OneMoreThing

來自南美洲的無峰駝類動物一共4種，已被各家大模型用完了。

Meta發布LLaMA之后，斯坦福用了Alpaca，伯克利等單位用了Alpaca，JosephCheung等開發者團隊用了Guanaco。

以至于后來者已經卷到了其他相近動物，比如IBM的單峰駱駝Dromedary，Databricks的Dolly來自克隆羊多莉。

國人研究團隊也熱衷于用古代傳說中的神獸，如UCSD聯合中山大學等推出的白澤。

港中文等推出的鳳凰……

最絕的是哈工大基于中文醫學知識的LLaMA微調模型，命名為華駝。

參考鏈接：

https://www.mosaicml.com/blog/mpt-7b

https://www.together.xyz/blog/redpajama-models-v1

https://twitter.com/karpathy/status/1654892810590650376?s=20

Tags：AMALAMALlamaMPTSHINTAMAELAMALlamaSwapJMPT幣

fil幣價格今日行情