來源:VR陀螺
作者:元橋
圖片來源:由無界AI工具生成
VR一直都以輕量化內容為主,缺重度內容已久。
重度內容相較于輕量化內容更能滿足用戶的沉浸式體驗,以游戲為例,好的體驗感需要大量高精度3D素材,豐富的游戲角色和精美的畫面場景,在此基礎上增加空間感知與交互、玩法等。
傳統的建模方式不僅成本較高而且具備較高的門檻,同時人工建模領域優秀的建模師稀缺,這也使成本再次上升。因此,業內都在尋求高效且低成本的3D內容生成方式。
近期,生成式AI爆火,從AIGC到3D模型,各大公司都開始自研或發布AI3D創作解決方案。例如騰訊AILab提出自研3D虛擬場景自動生成解決方案,幫助游戲開發者以更低成本創造風格多樣、貼近現實的虛擬城市,提升3D虛擬場景的生產效率。
生成式AI僅僅依靠一張圖片或者輸入關鍵文字就能轉化成3D模型,這種驚人的創作很快就讓人對這個領域產生了一連串的暢想:AI3D創作真的要來了嗎?內容創作者的飯碗還穩嗎?以下將從VR內容制作的兩個重要環節:建模與渲染進行分析。
AI3D建模正加速到來?
3D素材是包括游戲、影視、社交等所有3D應用的基石,如果可以通過輸入文本快速生成三維模型,3D建模師就可以結合這項技術提高工作的效率,達到降本增效的效果,而海量的3D素材無疑會進一步推動VR的發展。
OpenAI CEO:需要政府采取行動,規范人工智能(行業):金色財經報道,OpenAI CEO:需要政府采取行動,規范人工智能(行業)。跟埃隆·馬斯克的關系仍然良好。[2023/5/5 14:45:15]
前面也提到由于人工建模需要花費大量的時間和成本,因此很難滿足AR/VR對3D素材的需求。若想推動元宇宙產業快速發展,海量的3D素材少不了,這也是為什么各大企業都在紛紛研發結合AI創建3D建模的技術。
2022年谷歌曾發表過一篇論文《DreamFusion:Text-To-3DUsing2DDiffusion》,詳細概述了“DreamFusion”。簡單來看,“DreamFusion”是先使用一個預訓練2D擴散模型基于文本提示生成多個視角的3D視圖,再依據NeRF重建。
NeRF與Imagen互相影響,沒有一個訓練得比較好的NeRF,Imagen很難生成連貫的多視角圖;反之,就得不到好的NeRF。于是作者提出NeRF和Imagen來回迭代的方法。這種來回迭代有個缺陷是耗時,如來回迭代15000次,生成一個模型就需要在4塊TPUv4上訓練1.5小時。
圖:3DNeRF和2D生成模型來回迭代優化
目前很多三維方法都是基于NeRF所生成的,這種方式生成的三維物體在效率、渲染、質量上都有顯著的提升,但現階段還不能做結構數據,也就是Mesh,無法用來開發VR重度內容。關于NeRF詳細介紹,可以參閱VR陀螺近期文章《高效低成本構建元宇宙場景:NeRF神經輻射場》
American Software Capital宣布完成對AI WORLD首輪300萬美元的種子輪投資:4月25日消息,據官方消息,American Software Capital 于 4 月 12 日宣布完成對 AI WORLD 首輪 300 萬美元的種子輪投資。據悉,此次投資不僅為 AI WORLD 的發展提供了重要資金支持,也為 American Software Capital 在人工智能領域的投資布局打下了堅實的基礎。[2023/4/25 14:26:07]
2022年,英偉達也發表了一篇關于《Magic3D:High-ResolutionText-to-3DContentCreation》的論文。文中闡述了生成式AI如何無需特殊培訓也可創建3D模型的過程。
隨著近期AIGC的爆火,Magic3D在業內得到了極大的關注。也正因為看到Magic3D建模的效果,業內人士普遍認為AI3D創作真的要來了。
Magic3D將重建過程分成了兩部分,一是先使用低分辨率創建粗略的模型,到第二階段從粗神經表示初始化的紋理網格模型,使用與高分辨率潛在擴散模型交互的高效可微的光柵化渲染器進行優化。類似于DreamFusion使用文本到生成2D圖像,然后基于NeRF創建3D模型一般。
Magic3D還可以根據給定主題實例輸入圖像,使用DreamBooth微調擴散模型,并使用給定的提示優化3D模型。
Huobi鎖倉DOT挖礦RAI 獎勵率達125%,鎖倉HT達308%:據Huobi 數據,用戶在Huobi Global 挖礦寶靈活鎖DOT參與RAI 新幣挖礦獎勵率達到125%,鎖HT獎勵率達到308%,鎖STPT獎勵率達到1014%。
據悉,Huobi Global“全球觀察區”將于2021年4月7日上線波卡板塊項目 RAI (RAI Finance),Huobi將于4月7日10:00 開放 RAI的充幣業務;4月7日15:00 開放 RAI幣幣交易。
同時Huobi 已上線RAI挖礦活動。4月1日至4月7日期間,用戶在Huobi 靈活鎖定HT、DOT、STPT 參與RAI 新幣挖礦,每日總挖礦獎勵為83.3萬RAI。鎖定HT、DOT、STPT 可隨存隨取。[2021/4/3 19:42:32]
同時,只需要40分鐘左右,Magic3D就可以創建一個帶有彩色紋理的3D網格模型,相比DreamFusion快了2倍。
目前DreamFusion和Magic3D尚未開源,同時也未達到商業化的成熟度。AI創作對數據、算法有著極高的要求,而3D數據又具有天然的稀缺性,難收集等特點,即便有了龐大的數據,AI如何從龐大的數據中學習創作也是一個問題;而從2D直接擴展到3D,也需要極大的計算量,如何加快優化速度,如何撰寫正確的腳本都是需要解決的算法問題。
此外,AI3D創作在落地場景、可行性的商業化路徑、技術風險等方面都尚無法達到工業化的生產標準,甚至還有很長一段路要走,據業內預估可能五年或長達十年之久。但可以看到的是ChatGPT已經可以根據一段文字描述進行編碼生成腳本,而GPT-5大模型也在籌備中了,就像互相迭代一樣,通過不斷地反饋更改,AI會變得越來越智能,所生成的編碼會逐步優化升級,達到初步使用的需求。
穩定幣DAI 40%的市場流通量已質押進YFII 2號池:Meet.One官方推特表示,截至目前,市面上流通的40%的DAI代幣都已經被質押進入YFII 2號池。YFII是由YFI(DeFi平臺yearn的治理代幣,yearn是一個DeFi協議的聚合平臺)社區第八方案通過后分叉而來的,代幣總量為40000枚,產量每周減半。[2020/7/31]
一旦生成式AI的3D創作技術成熟,就可以加速VR游戲、視頻以及應用程序的開發。屆時,或將會解決VR海量內容需求的一大痛點。
AI實時渲染:技術仍有限?
除了建模,VR內容制作另一個重要環節便是渲染了。渲染對用戶體驗有直接的影響,一般在AR/VR場景中,為了能夠實現靈活的交互方式和豐富的感官體驗,需要在內容生產中提升配套的實時渲染能力。
相對于傳統的非實時渲染,實時渲染所見即所得,能夠更加直觀地看到輸出效果,方便制作人員進行調整。目前,人工智能已經開始在實時運算渲染領域初顯本領了。
近期,海外一款名為ArkoAI的人工智能渲染器在設計創作領域得到了極大關注,以插件形式安裝在SketchUp、Rhino、Revit中。
使用者只需要輸入關鍵詞,僅幾秒就可以渲染出較好的效果圖;同時還可以將模型置于不同的場景中,即便是簡單的幾何形體也能渲染出效果圖。
ArkoAI的初衷是簡化設計師繁瑣的工作流程,但目前還只是一個簡單的AI生成器,生成的圖片大部分是關于建筑和室內領域;同時,渲染水平也停留在比較初級的階段,對建筑風格和結構的理解非常有限。前面也提到AI的核心是算法和數據,在渲染層面亦是如此。
Amber AI Group合伙人:目前市場非常溫和 流動性全面走低:據彭博社報道,加拿大密碼對沖基金Amber AI Group的合伙人Tiantian Zhang Kullander表示:“目前加密市場非常溫和,流動性全面走低,尤其是與最近幾個季度相比。日本金融廳對加密貨幣交易所發布行政處罰,國際清算銀行的報告和Bithumb遭黑客攻擊都在影響著市場情緒。”[2018/6/23]
目前AI渲染還達不到真正的使用需求,同時在多次輸入相同關鍵詞的情況下,渲染的圖會逐漸變得模糊甚至走形,AI的“智能”程度仍然有限。
雖然還不能切入VR內容的創作層面,但是這個風向標卻越來越清晰了。
在GTC2023大會上,英偉達也針對AI視頻、圖像生成、大型語言模型、圖形渲染等推出了NVIDIAL40,旨在利用AI加速渲染,基于數據和神經網絡訓練方法形成的自動化的材質生產鏈路,具有高度還原離線材質、速度快、且能夠快速迭代的優勢。
此外,如前面提到的英偉達Magic3D也可以從文字描述中渲染出彩色紋理的3D網格模型,例如最近比較火的“一只坐在睡蓮上的藍色鏢蛙”。
Meta、微軟、谷歌等企業也都在投資實時3D渲染,在未來數年里,無論是AI渲染還是AI建模的技術都會比現在進化的更好,無疑會給3D創作帶來巨大的進步,也將會使創作環節變得更快、制作成本更低。
AI的觸角在3D創作設計領域延伸的越來越深,甚至日本已經有企業開始采用AI作畫實現商業化運行了。從AI到AI3D建模再到實時渲染,我們正在經歷“技術改變創作領域甚至一切設計工作”這一場景。隨著研發深入,未來創作者直接輸入會變得更少,3D素材呈現巨量增長的態勢。
AI搶工作成定局?
在人工智能普遍成為各行各業的底層技術背景下,大家都在思考AI還能做什么?我們的工作是不是正在面臨被淘汰的局面?不僅在科技領域,傳統行業如律師、編輯等都發出了相似的感嘆。甚至也有機構作出細化分析,哪些職位未來不會被取代。一夜之間,所有人對AI的恐慌好像都上了一個層次。
其實AI創作會不會真的搶人類的“飯碗”得就具體崗位而論,就像工業4.0大潮中替代一線工人的機器人一樣,甚至有些工廠已經實現了全自動化運行,大量不需要創意、簡單且重復性的勞動已經被替代。
本輪AI的大潮與工業4.0的本質區別在于“智能化”,AI已經展現出“創作”的能力,即使目前的創意還能看到諸多樣本的痕跡,建模和渲染的AIGC能力也還處于早期,但AI在部分領域能提升生產力已經成為不爭的事實。
與其擔心自己的工作是否會被AI替代,不如思考如何結合AI將現有的工作更完美地完成,如何讓AI變得更好,因為被錯誤的大數據喂養,扭曲AI的認知,那時AI做的事情可能會超越人類的底線。
《失控》的作者凱文·凱利認為“未來將有數以萬計創業公司,他們會從事人工智能用于某一個領域的工作。使用者越來越多的話,機器會越來越聰明,這是一種滾雪球的方式。”
也就是說技術進步是必然的,同時由于基礎數據不斷擴大,機器的思維方式會變得越來越靈活。但技術給社會帶來的變革,并不是以搶工作為最終目標,而是成為一種提升效率的生產方式。
凱文·凱利也曾在一次演講中表示,每一項新技術的誕生都會引發一場恐慌周期,一般會經歷7個階段:
別讓我看到這些垃圾,根本沒用。
好吧,這東西確實發生了,但是很危險,因為效果并不好。
等等,它太好用了,我們必須得做點什么擾亂它!
這東西太強大了,對于那些無法觸達它的人來說是不公平的。
現在它無處不在,無法逃離,這不公平。
我打算戒掉它,戒一個月。
讓我們關注真正重要的問題ーー下一個會出現的技術是什么?
其實大多數人對新技術持負面態度多源于對技術的不了解,當人們不了解一樣產品的時候,往往會持有不看好的態度。但細究下來會發現技術做的事情只是在讓原有東西變得更加智能,例如AI輔助飛機駕駛,飛行員只要做好基礎的操作,剩下的都是AI在駕駛飛機,可以有效緩解飛行員一路的疲勞與提高飛行安全程度。
因此,AI3D的創作也并不會真正取代建模師以及渲染師的工作,反而可以多維度地給建模師提供多重視角,也讓建模師可以從繁瑣的工作中簡化出來,做更有意義的事情。但我們總會抱著戲謔的態度看待AI,以古怪刁鉆的問題去調戲AI,從而給人工智能定義上“人工智障”的名號。
順理成章的把AI看作人類的對立面,也理所應當的不會樂于接受新技術的到來。馬斯克曾說過一句話,無論你接受與不接受,無論人類如何呼吁停止采用新技術,總會有企業在馬不停蹄地研究,在你不知道的地方,不知道的領域,它會在某一天就來了。
與此同時,毋庸置疑的是人工智能在某一方面已經開始比人類聰明了,甚至可以跨專業地協同工作。但由于機器與人類的思考方式不同,機器變得越聰明時反而會推動人類工作的進步。此外,技術的進步也會創造出新的工作,改變就業的生態格局,人+AI將是未來任何工作領域的一個普遍現象。
參考文獻
元宇宙時代超高清視音頻技術白皮書
凱文凱利:AI將改變一切設計工作https://www.wired.com/story/picture-limitless-creativity-ai-image-generators/
https://research.nvidia.com/labs/dir/magic3d/
TaichiNeRF(下):關于3DAIGC的務實探討
作者:DonovanChoy,Bankless翻譯:金色財經xiaozou2021年8月以太坊主網實施EIP-1559,標志著以太坊網絡第一次開始burnETH.
1900/1/1 0:00:00四月即將結束,在這一月中,耐克、阿迪和彪馬三大運動品牌在Web3領域里動作頻頻,下面就讓我們一起來梳理看看他們最近都在忙些什么吧。 首先,來看看耐克.
1900/1/1 0:00:00將現實生活中的體驗帶入一個全新的維度,ERMLABS專注于將現實生活中的娛樂及冒險體驗以游戲獨特架構設計擴展到元宇宙里.
1900/1/1 0:00:00自誕生起的15年間,比特幣很少被用于點對點轉賬及價值存儲外的其他用途。但隨著Ordinals?協議的出現,這條古老的公鏈也煥發了新的生機.
1900/1/1 0:00:00頭條 ▌Bittrex:估計負債和資產都在5億至10億美元之間根據破產追蹤機構Chapter11Dockets的RandallReese分享的一份法庭文件.
1900/1/1 0:00:00來源|Decrypt 編譯|潮外音 加密貨幣交易所Coinbase報告第一財季出現虧損,但這家總部位于舊金山的公司受到加密貨幣寒冬的影響遠低于預期.
1900/1/1 0:00:00