GIN:最強組合HuggingFace+ChatGPT=「賈維斯」現在開放demo了！_GPT

來源：新智元

前段時間，浙大&微軟發布了一個大模型協作系統HuggingGPT直接爆火。

研究者提出了用ChatGPT作為控制器，連接HuggingFace社區中的各種AI模型，完成多模態復雜任務。

整個過程，只需要做的是：用自然語言將你的需求輸出。

英偉達科學家稱，這是我本周讀到的最有意思的論文。它的思想非常接近我之前說的「EverythingApp」，即萬物皆App，被AI直接讀取信息。

上手體驗

現在，HuggingGPT增加了Gradio演示。

項目地址：https://github.com/microsoft/JARVIS

有網友便上手體驗了一番，先來「識別圖上有幾個人」？

HuggingGPT根據推理結果，得出圖片中有2個人正在街道上行走。

美SEC對Green United提起訴訟:金色財經報道，美國證券交易委員會 (SEC) 已對 Green United 提起訴訟，指控這家總部位于猶他州的公司出售價值 1800 萬美元的假冒加密采礦設備，違反了聯邦證券法。根據 SEC 的投訴，Green United 和該公司創始人Wright Thurston，以及該公司的主要推廣者Kristoffer Krohn向投資者提供價值3000美元的“綠盒子”投資，這是一種專門用于挖掘Green Blockchain上的GREEN代幣的加密貨幣挖掘機。據稱，投資者被告知，開采的 GREEN 代幣支持“全球公共去中心化電網”，同時每月產生 40% 至 50% 的可觀回報。[2023/3/7 12:46:18]

具體過程如下：

首先使用圖像到文本模型nlpconnect/vit-gpt2-image-captioning進行圖像描述，生成的文本「2個女人在有火車的街道上行走」。

比特幣全網未確認交易數量為9372筆:金色財經報道，據BTC.com數據顯示，目前比特幣全網未確認交易數量為9372筆，全網算力為245.38 EH/s，24小時交易速率為3.46交易/s，目前全網難度為36.95T，預測下次難度下降6.42%至34.58T，距離調整還剩4天10小時。[2022/12/3 21:19:37]

接著，使用了目標檢測模型facebook/detrresnet50來檢測圖片中的人數。模型檢測出7個物體，2個人。

再使用視覺問題回答模型dandelin/vilt-b32-finetuned-vqa得出結果。最后，系統提供了詳細的響應和用于解答問題的模型信息。

另外，讓它理解「我愛你」這句話的情感，并將其翻譯成泰米爾語。

HuggingGPT調用了以下模型：

首先，使用了模型「dslim/bert-base-NER」對文本「lloveyou」進行情感分類，是「浪漫」。

ETC本月漲幅達184%，市場猜測“以太坊合并將導致礦工轉向ETC”:7月29日消息，CoinDesk數據顯示，Ethereum Classic（ETC）本月上漲184%，而Polygon（MATIC）的漲幅為102%，Uniswap（UNI）的漲幅為86%，BTC的漲幅為20%，ETH的漲幅為60%。加密市場總市值已從上月的7628.2億美元低點反彈至1.14萬億美元。此外，ETC今日在主流交易所的價格一度突破45美元。

以太坊即將進行的“合并”似乎推動ETC價格反彈。IntoTheBlock研究負責人Lucas Outumuro表示，“ETC價格受到ETH礦工將轉向ETC的猜測推動，而且可能會是另一個對他們有利的硬分叉。”

數據顯示，在過往以太坊升級前后的時間里，ETC經常會出現較大漲幅，比如在2021年4月以太坊柏林硬分叉升級期間。

Messari研究分析師Sami Kassab最近在研究報告中指出，“以太坊的挖礦網絡由兩種類型的硬件組成：ASIC和GPU。ASIC的問題在于，除了挖ETH之外，它們不能被重新用于不同的應用。Ethereum Classic是唯一可以用ETH ASIC挖礦的其他PoW代幣，因其哈希算法與ETH的算法兼容。”（CoinDesk）[2022/7/29 2:46:33]

然后，使用「ChatGPT」將文本翻譯成泰米爾語，即「Nanunnaikadalikiren」。

調查：印度的加密稅影響了 83% 交易者的交易頻率:金色財經報道，加密貨幣交易所 WazirX 和 Zebpay 進行的一項調查發現，83% 的交易者認為印度對所有加密貨幣和NFT轉讓征收 30% 的稅影響了他們的交易頻率。印度于 4 月 1 日實施了這項稅收，稅收實施后，印度主要加密貨幣交易所的每日交易量立即下降。根據數據聚合商 Nomics.com 的數據，從 3 月 31 日的峰值 1.6341 億美元，到 4 月 30 日，WazirX 的日交易量下降至 3397 萬美元，降幅超過 79% 。調查還發現，由于高稅收，24% 的受訪者正在考慮將交易活動轉移到國際交易所。（cryptoslate）[2022/7/7 1:56:11]

在推理結果中沒有生成的圖片、音頻或視頻文件。

轉錄MP3文件時，HuggingGPT卻失敗了。網友表示，「不確定這是否是我的輸入文件的問題。」

過去24小時有兩個Solana NFT項目進入OpenSea交易量前十:金色財經消息，OpenSea數據顯示，過去24小時，交易量最大的10個NFT項目中，有兩個來自Solanan網絡，分別是排第6和第8的Cardboard Citizens及Okay Bears。[2022/5/22 3:33:41]

再來看看圖像生成的能力。

輸入「一只貓跳舞」圖像上添加文字「ILOVEYOU」作為疊加層。

HuggingGPT首先使用了「runwayml/stable-diffusion-1-5」模型根據給定的文本生成「跳舞的貓」的圖片。

然后，使用同一個模型根據給定的文本生成了「ILOVEYOU」的圖片。

最后，將2個圖片合并在一起，輸出如下圖：

賈維斯照進現實

項目公開沒幾天，賈維斯已經在GitHub上收獲了12.5k星，以及811個fork。

研究者指出解決大型語言模型當前的問題，可能是邁向AGI的第一步，也是關鍵的一步。

因為當前大型語言模型的技術仍然存在著一些缺陷，因此在構建AGI系統的道路上面臨著一些緊迫的挑戰。

為了處理復雜的人工智能任務，LLMs應該能夠與外部模型協調，以利用它們的能力。

因此，關鍵點在于如何選擇合適的中間件來橋接LLMs和AI模型。

在這篇研究論文中，研究者提出在HuggingGPT中語言是通用的接口。其工作流程主要分為四步：

論文地址：https://arxiv.org/pdf/2303.17580.pdf

首先是任務規劃，ChatGPT解析用戶請求，將其分解為多個任務，并根據其知識規劃任務順序和依賴關系。

接著，進行模型選擇。LLM根據HuggingFace中的模型描述將解析后的任務分配給專家模型。

然后執行任務。專家模型在推理端點上執行分配的任務，并將執行信息和推理結果記錄到LLM中。

最后是響應生成。LLM總結執行過程日志和推理結果，并將摘要返回給用戶。

假如給出這樣一個請求：

請生成一個女孩正在看書的圖片，她的姿勢與example.jpg "/>中的男孩相同。然后請用你的聲音描述新圖片。

可以看到HuggingGPT是如何將它拆解為6個子任務，并分別選定模型執行得到最終結果的。

通過將AI模型描述納入提示中，ChatGPT可以被視為管理人工智能模型的大腦。因此，這一方法可以讓ChatGPT能夠調用外部模型，來解決實際任務。

簡單來講，HuggingGPT是一個協作系統，并非是大模型。

它的作用就是連接ChatGPT和HuggingFace，進而處理不同模態的輸入，并解決眾多復雜的人工智能任務。

所以，HuggingFace社區中的每個AI模型，在HuggingGPT庫中都有相應的模型描述，并將其融合到提示中以建立與ChatGPT的連接。

隨后，HuggingGPT將ChatGPT作為大腦來確定問題的答案。

到目前為止，HuggingGPT已經圍繞ChatGPT在HuggingFace上集成了數百個模型，涵蓋了文本分類、目標檢測、語義分割、圖像生成、問答、文本到語音、文本到視頻等24個任務。

實驗結果證明，HuggingGPT可以在各種形式的復雜任務上表現出良好的性能。

網友熱評

有網友稱，HuggingGPT類似于微軟此前提出的VisualChatGPT，似乎他們把最初的想法擴展到了一組龐大的預訓練模型上。

VisualChatGPT是直接基于ChatGPT構建，并向其注入了許多可視化模型。文中提出了PromptManage。

在PM的幫助下，ChatGPT可以利用這些VFMs，并以迭代的方式接收其反饋，直到滿足用戶的要求或達到結束條件。

還有網友認為，這個想法確實與ChatGPT插件非常相似。以LLM為中心進行語義理解和任務規劃，可以無限提升LLM的能力邊界。通過將LLM與其他功能或領域專家相結合，我們可以創建更強大、更靈活的AI系統，能夠更好地適應各種任務和需求。

這就是我一直以來對AGI的看法，人工智能模型能夠理解復雜任務，然后將較小的任務分派給其他更專業的AI模型。

就像大腦一樣，它也有不同的部分來完成特定的任務，聽起來很符合邏輯。

參考資料：

https://twitter.com/1littlecoder/status/1644466883813408768

https://www.youtube.com/watch?v=3_5FRLYS-2A

https://huggingface.co/spaces/microsoft/HuggingGPT

中文推特：https://twitter.com/8BTC_OFFICIAL英文推特：https://twitter.com/btcinchinaDiscord社區：https://discord.gg/defidao電報頻道：https://t.me/Mute_8btc電報社區：https://t.me/news_8btc

Tags：GPTINGGINHUG人工智能chatGPT下載DarryringCoin幣GINSHUG幣

MANA