撰文:KyleWiggers
來源:TechCrunch
圖片來源:由無界AI工具生成
從歷史上看,甚至在今天,記憶力差一直是阻礙文本生成式人工智能發揮作用的一個因素。正如《大西洋》雜志最近發表的一篇文章?所說,即使是像ChatGPT這樣復雜的生成式文本人工智能,其記憶力也像金魚一樣。每次模型生成響應時,它只考慮到非常有限的文本量,因此它也無法總結一本書或審查一個主要的編碼項目。
Web3游戲平臺HyperPlay完成1200萬美元A輪融資:金色財經報道,Web3游戲平臺HyperPlay宣布完成1200萬美元融資后結束了A輪融資。Griffin Gaming Partners和Bitkraft Ventures領投。其他投資者包括 MetaMask 的母公司 ConsenSys、Ethereal Ventures、Delphi、Game7、Mirana Ventures 和 Monoceros Ventures。[2023/6/8 21:24:32]
但Anthropic正試圖改變這種狀況。
今天,這家人工智能研究初創公司宣布,它已將Claude的上下文窗口從9000個token擴展到了10萬個token。上下文窗口指的是模型在生成額外文本之前考慮的文本,而token代表原始文本。
前WeWork首席執行官的新房地產公司計劃推出存儲加密貨幣的數字錢包:金色財經報道,由WeWork前首席執行官Adam Neumann的房地產公司Flow計劃推出一個數字錢包。Flow的發言人Davidson Goldin表示,計劃中的數字錢包不能用于為Flow管理的公寓支付租金,但可以像其他錢包一樣用于外部購買。(Forbes)
此前消息,Flow獲得了來自a16z的3.5億美元投資支持。[2022/8/18 12:34:20]
那么,這意味著什么呢?正如前面所提到的,具有小上下文窗口的模型往往會“忘記”即使是最近的對話內容--導致它們偏離主題。在幾千字左右之后,小模型也會忘記最初的指示,只根據上下文窗口中的最后的信息來進行響應。
廣州成功落地首筆數字人民幣線上消費貸款業務:金色財經報道,近日,在中國人民銀行廣州分行的大力支持下,中國郵政儲蓄銀行聯合中郵消費金融有限公司在廣州落地數字人民幣消費貸款場景,成功發放了首筆“郵你貸”個人消費貸款,拓展全流程線上化數字人民幣貸款的創新實踐。(中國新聞網)[2022/7/3 1:47:47]
鑒于大上下文窗口的好處,找出擴展的方法已成為OpenAI等AI實驗室的主要關注點,要知道,OpenAI將整個團隊都投入到了這個問題上了。OpenAI的GPT-4在上下文窗口的大小方面保持著之前的領先地位,其規模最高可達32,000個token,而改進后的ClaudeAPI已然超越了這一數字。
有了更強的“記憶力”,Claude應該能夠相對連貫地交談幾個小時——甚至幾天——而不是幾分鐘。也許更重要的是,它應該也不太可能偏離軌道。
在博文中,Anthropic對Claude增加上下文窗口的其他好處進行了介紹,包括該模型消化和分析數百頁材料的能力。Anthropic稱,除了閱讀長文本,升級后的Claude可以幫助從多個文件甚至一整本書中檢索信息,回答哪些需要跨文本的“綜合知識”問題。
Anthropic列出了一些可能的用例:
對財務報表或研究報告等文件進行消化、總結和解釋
根據公司的年度報告,分析其風險和機會
評估一項立法的優點和缺點
識別風險、主題和跨法律文件的不同論證形式。
閱讀數百頁的開發者文檔,呈現技術問題的答案
通過將整個代碼庫放入上下文中并智能地構建或修改它來快速制作原型
“普通人可以在5個小時左右閱讀10萬個token的文本,然后可能需要大量的時間來消化、記憶和分析這些信息,”Anthropic繼續說道。“Claude現在可以在不到一分鐘的時間內做到這一點。例如,我們把《了不起的蓋茨比》的全部內容輸入進了Claude......并修改了其中一行,說Mr.Carraway是‘一個在Anthropic從事機器學習工具的軟件工程師’。當我們要求Claude發現有什么不同時,它在22秒內就給出了正確答案。”
此外,Anthropic的合作伙伴AssemblyAI也進行了相關測試。在視頻演示中,該團隊用Claude-100k將一個長播客轉錄成58K單詞,然后使用Claude進行總結和問答。該團隊給出的評價是:insane!太瘋狂了!
目前,更長的上下文窗口并不能解決圍繞大型語言模型的其他與記憶有關的挑戰。Claude,像其同類的大多數模型一樣,無法將信息從一個會話保留到下一個會話。而且與人腦不同的是,它把每一條信息都視為同等重要,這使得它并不能成為一個特別可靠的敘述者。一些專家認為,解決這些問題將需要全新的模型架構。
不過,就目前而言,Anthropic似乎走在了前列。
來源:ArsTechnica 編譯:巴比特 圖片來源:由無界AI工具生成周二,人工智能初創公司Anthropic詳細介紹了其“憲法AI”訓練方法的具體原則.
1900/1/1 0:00:00前言 當前區塊鏈技術和應用尚處于快速發展的初級階段,面臨的安全風險種類繁多,從區塊鏈生態應用的安全,到智能合約安全,共識機制安全和底層基礎組件安全,安全問題分布廣泛且危險性高,對生態體系.
1900/1/1 0:00:00據路透社消息,智利央行行長MarioMarcel周一表示,智利央行將在2022年初就可能推出數字貨幣的戰略做出決定,因為全球政策制定者都在尋求跟上加密貨幣的步伐.
1900/1/1 0:00:002023年4月,溫州多家科研機構、科技公司和社會組織共同發起了溫州AIGC產業聯盟,并與溫州市服裝商會共同發起“首屆溫州鞋服產業AIGC設計大賽”活動.
1900/1/1 0:00:00往期回顧: Rust智能合約養成日記合約狀態數據定義與方法實現Rust智能合約養成日記編寫Rust智能合約單元測試Rust智能合約養成日記Rust智能合約部署.
1900/1/1 0:00:00如果創業者和投資人仍以舊范式的思維邏輯來對待Web3.0,就會應了讖語:一個新時代的來臨,必須以犧牲上一個時代的人為代價! PhotobyMichaelDonUnsplash來源:遠望資本iVi.
1900/1/1 0:00:00