買以太坊 買以太坊
Ctrl+D 買以太坊
ads
首頁 > MANA > Info

ETA:在元宇宙里怎么交朋友?Meta發布跨語種交流語音模型 支持128種語言無障礙對話_元宇宙數字虛擬人圖片

Author:

Time:1900/1/1 0:00:00

改名Meta之后,Facebook的元宇宙愿景正在一點點實現。這一次,Facebook把目光投在了元宇宙社交上。

Meta發布語音處理模型XLS-R

近日,Meta正式發布XLS-R——一套用于各類語音任務的新型自監督模型。據悉,XLS-R由海量公共數據訓練而成(數據量是過去的十倍),能夠將傳統多語言模型的語言支持量增加兩倍以上。目前,XLS-R共支持128種語言。

Meta認為,語音交流是人們最自然的一種交互形式。“隨著語音技術的發展,我們已經能夠通過對話同自己的設備及未來的虛擬世界直接互動,由此將虛擬體驗與現實世界融為一體。”

韓國電信巨頭SK將在元宇宙平臺ifland舉行虛擬演唱會Meta Hong:9月19日消息,韓國電信巨頭SK將在其元宇宙平臺ifland舉行虛擬演唱會Meta Hong音樂巡演,其中10CM、善宇正雅、嘉德花園等樂隊歌手將參加此次音樂會,從9月19日到23日,每天將依次公開1組表演,之后從24日到25日將同時展示所有的公演內容。(News1)[2022/9/19 7:05:27]

這與扎克伯格此前宣稱的“公司業務將以元宇宙優先”不謀而合。此前,扎克伯格曾概述了他建立“元世界”的計劃:一個建立在我們自己的數字世界之上的數字世界,包括虛擬現實和增強現實。“我們相信元宇宙將會接替移動互聯網”。

而XLS-R作為元宇宙社交中必不可少的一環,可以幫助母語不同的人在元宇宙無障礙對話。

微軟游戲 CEO:游戲玩家已經在元宇宙中生活了30年:金色財經報道,Watcher.Guru在社交媒體上稱,微軟游戲首席執行官表示,游戲玩家已經在元宇宙中生活了30年。[2022/8/26 12:50:46]

值得一提的是,為了通過單一模型實現對多種語言的廣泛語音理解能力,Meta對XLS-R進行了微調,使其獲得語音識別、語音翻譯及語言識別等功能。據介紹,XLS-R在BABEL、CommonVoice以及VoxPopuli語音識別基準測試,CoVoST-2的外語到英文翻譯基準測試,以及VoxLingua107語言識別基準測試中都取得了不錯的成績。

為了盡可能降低功能訪問門檻,目前,Meta與HuggingFace聯手發布了模型本體,并通過fairseqGitHubrepo全面開放。

完美世界:公司在元宇宙方面的工作,會分階段逐步推進實現:3月15日消息,完美世界(002624.SZ)在投資者互動平臺表示,公司立足內容優勢,逐步落地元宇宙相關布局。舉例來說,元宇宙需要極為扎實的技術實力以及技術累積,完美世界是業內少有的涉足過各類技術、各種引擎、并有能力自研引擎的游戲公司。此外,包括《幻塔》在內,公司有多個開放世界的項目,開放世界很容易向元宇宙貢獻內容,這些都是公司的先發優勢。公司在元宇宙方面的工作,會分階段逐步推進實現。[2022/3/15 13:56:48]

試用地址:https://huggingface.co/spaces/facebook/XLS-R-2B-22-16

XLS-R工作原理

據介紹,XLS-R在wav2vec2.0訓練集上接受了超過43萬6千小時的公開語音錄音訓練,從而實現了對語音表達的自監督學習方法。這樣的訓練量已經達到去年發布的當時最強的模型XLSR-53的10倍。利用從會議記錄到有聲讀物的多種語音數據來源,XLS-R的語言支持范圍擴展到128種,涵蓋的語種量達到前代模型的近2.5倍。

花花公子將推出Centerfold數字社交平臺并在元宇宙中建造一個花花公子大廈:2月11日消息,花花公子集團已經放棄了以兔子頭像為特色的 NFT,而是轉向推出一個名為「Centerfold」的數字社交平臺,并計劃在元宇宙中建造一個花花公子大廈(Playboy Mansion)。花花公子表示,他們希望積極擁抱 Web 3 新一波互聯網創新并對這個傳統品牌進行數字化改造。(CNBC)[2022/2/11 9:46:04]

作為Meta打造的有史以來最大模型,XLS-R中包含超過20億個參數,性能遠高于其他同類模型。Meta表示,事實證明,更多參數能夠更充分地體現、數據集中的各類語種。此外,Meta還發現,規模更大的模型在單一語言預訓練方面的性能也同樣優于其他較小模型。

Meta在四種主要多語言語音識別測試中對XLS-R做出評估,發現它在37種語言上獲得了超越以往模型的效能。具體測試場景為:BABEL中選取5種語言,CommonVoice中選取10種語言,MLS中選取8種語言,以及VoxPopuli上選取14種語言。

BABEL上的單詞錯誤率基準測試結果。XLS-R較前代模型實現了顯著改進。

此外,Meta還評估了語音翻譯模型,即將錄音資料直接翻譯成另一種語言。為了打造一套能夠執行多種任務的模型,Meta同時在CoVoST-2基準測試的數個不同翻譯方向上對XLS-R進行了微調,使其能夠在英語與多達21種語言之間實現內容互譯。

在使用XLS-R對英語以外的其他語言進行編碼時,獲得了顯著的效能提升,這也是多語言語音表達領域的一次重大突破。據Meta介紹,XLS-R在低資源語言學習中實現了顯著改進,例如印尼語到英語的翻譯,其中BLEU準確率平均翻了一番。BLEU指標的提升是指模型給出的自動翻譯結果與處理同一內容的人工翻譯結果間重合度更高,代表著模型在改進口語翻譯能力方面邁出了一大步。

以BLEU指標衡量的自動語音翻譯準確率,其中較高值表示XLS-R從高資源語言(例如法語、德語)、中資源語言(例如俄語、葡萄牙語)或低資源語言(例如泰米爾語、土耳其語)語音記錄翻譯至英語時的準確率。

Meta認為,XLS-R證明擴大跨語言預訓練規模可以進一步提高低資源語言的理解性能。它不僅提高了語音識別率,同時也將由外語到英語的語音翻譯準確率提高了一倍以上。

“XLS-R是我們朝著以單一模型理解多種不同語言(語音)目標邁出的重要一步,也代表著我們在利用公共數據推進多語言預訓練方面做出的最大努力。我們堅信這是一條正確的探索方向,將讓機器學習應用更好地理解所有人類語音、并促進后續研究,大大降低語音技術在全球范圍內、特別是服務匱乏社群中的使用門檻。我們將不斷開發新方法,通過低監督學習拓展模型的語言理解能力、逐步使其覆蓋全球7000多種語言,實現算法的持續更新。”Meta提到。

https://ai.facebook.com/blog/xls-r-self-supervised-speech-processing-for-128-languages/

Tags:XLS元宇宙METAETAXLSHIBA元宇宙數字虛擬人圖片SMETA幣METALUNA

MANA
GAME:專訪無盡戰場執行副總裁鄧卓冉:游戲性將是GameFi2.0時代的主旋律_Game Engine System

2021年,一款名為《Axie?Infinity》的區塊鏈游戲在東南亞地區產生了巨大影響,一些因疫情失去了工作機會的居民開始在這款游戲中獲得穩定收入.

1900/1/1 0:00:00
WEB:晚間必讀5篇 | 《經濟學人》:DeFi 市場爭奪戰正愈演愈烈_web3.0幣狗狗幣

1.金色觀察|淺談區塊鏈、Web3.0和元宇宙自2018年以來,科技熱詞層出不窮。區塊鏈之后,又掀起了元宇宙熱潮,最近有關Web3.0的討論也再次升溫,特斯拉首席執行官馬斯克、Twitter前C.

1900/1/1 0:00:00
BDC:金色前哨 | 美國銀行:美國最早可能在2025年推出數字貨幣_數字資產和數字貨幣的區別

美國銀行在一份新報告中談到了美國中央銀行數字貨幣的好處,并指出中央銀行數字貨幣是“當今電子貨幣的必然演變”,美國最早可能在2025年推出一種數字貨幣.

1900/1/1 0:00:00
GAS:以太坊轉POS后Gas費不會降低 擺脫“貴族鏈”還需分片與L2_ETH

吳說作者?|?吳卓鋮 本期編輯?|?ColinWu人們對以太坊2.0抱著極大期望,但普遍存在誤解,認為“以太坊2.0將降低Gas費”.

1900/1/1 0:00:00
BIT:年關將近 加密版「百世可樂」「王仔牛奶」已上架 解鎖反釣魚新姿勢_bitcoin幣比股票的比例

商紂王暴虐,周文王決心推翻暴政。太公姜子牙受命下界幫助文王。申公豹聽說此事后決定冒充姜子牙,于是在文王回都途中,變幻為姜子牙模樣坐于河邊,用沒有魚餌的直鉤釣魚.

1900/1/1 0:00:00
ANI:Ergo第三屆黑客松隱私與安全即將舉行_ENERGY價格

在上周五的AMA開場白中,Dan向社區更新了他在Ergo基金會所做的工作。關于上線交易所,他告訴觀眾,這項工作可能會非常快或非常慢,但他們正在與幾個不同的交易所積極溝通,并努力謀求上線.

1900/1/1 0:00:00
ads