FLO:Stable Diffusion 團隊放大招！新繪畫模型直出 AI 海報，像素級生成_BABYFLOKIPUP幣

來源：量子位

開源AI繪畫扛把子，StableDiffusion背后公司StabilityAI再放大招！

全新開源模型DeepFloydIF，一下獲星2千+并登上GitHub熱門榜。

DeepFloydIF不光圖像質量是照片級的，還解決了文生圖的兩大難題：

準確繪制文字。

以及準確理解空間關系。

Cardano生態Stablecoin Djed將于下周上線主網:1月25日消息，Cardano首個去中心化Stablecoin Djed將于下周在主網上線。

此前報道，Djed由Coti公司與Cardano首席開發商Input Out put合作開發，是一種與美元軟掛鉤的去中心化Stablecoin。Djed推出時將被集成到Cardano生態系統中的40個應用程序中。

Djed推出后，Cardano用戶將能夠使用Cardano的原生Token ADA作為抵押品來鑄造Stablecoin，Stablecoin被設計為超額抵押，每個Djed都需要超過400%的抵押品價值才能鑄造。（CoinDesk）[2023/1/25 11:29:36]

ETH 2.0項目負責人稱階段0預計很快推出 V神明確反對zk-STARKS應用:ETH 2.0項目負責人Danny Ryan近日在reddit上解答ETH 2.0有關進展和功能時表示，ETH 2.0的開發當前集中在“信標鏈”的構建上，這是ETH 2.0的基礎。但是階段1的開發正在逐步進行，該階段引入了用于與信標鏈連接的“分片”的分片鏈，并且階段0發布預計將很快推出。此外，Ryan還表示，團隊的目標是讓整個以太坊社區參與進來，并與盡可能多的客戶建立聯系。

而針對有人提出的量子保護隱私保護技術“ zk-STARKS”的“ Etherium 3.0”的想法，Vitalik Buterin本人在reddit上明確表示不支持。V神稱，目前，希望以太坊的基本結構在ETH 2.0發布后不會改變。（注：zk-STARKS是一種區塊鏈隱私解決方案，該方案能夠將大量信息壓縮成名為starks的小樣本并使用零知識來保護信息的隱私。）（Coinpost）[2020/6/1]

網友表示，這可是個大事，之前想讓Midjourneyv5在霓虹燈招牌上寫個字AI都是瞎劃拉兩筆，對于鏡子理解的也不對。

2500萬枚XRP轉入Bitstamp交易所，價值521.7萬美元:WhaleAlert數據顯示，北京時間03月10日16:44，2500萬枚XRP從rKQDgX開頭地址轉入Bitstamp交易所，按當前價格計算，價值約521.7萬美元，交易哈希為：58D3FAC3B72C7878D1ABEAD5219B6BC7F6D042AF2BADFEE3F8141783365E056B。[2020/3/10]

使用DeepFloydIF，可以把指定文字巧妙放置在畫面中任何地方。

霓虹燈招牌、街頭涂鴉、服飾、手繪插畫，文字都會以合適的字體、風格、排版出現在合理的地方。

動態 | Instagram再現冒名Martin Lewis的加密欺詐廣告:Facebook旗下社交媒體Instagram上出現冒名的英國知名財經門戶網站“省錢專家”的創始人Martin Lewis的欺詐廣告。該欺詐廣告包含一項加密投資。而此前2018年10月消息，Martin Lewis已因欺詐性加密廣告起訴Facebook。（Cointelegraph）[2020/1/7]

這意味著，AI直出商品渲染圖、海報等實用工作流程又打通一環。

還在視頻特效上開辟了新方向。

動態 | Bitstamp采用Cinnober開發的新引擎速度提高了1,250倍:據coinspeaker消息，加密貨幣交易所Bitstamp將用Cinnober的TRADExpress交易系統取代其技術，這將使匹配速度提高1250倍。Bitstamp首席技術官David Osojnik表示：雖然Bitstamp的匹配引擎已經非常適合加密標準，但這將使我們與擁有數十年經驗的傳統交易所處于同一聯盟。我們平臺的訂單匹配速度預計將快1250倍，而吞吐量將增加400倍。[2018/11/6]

目前DeepFloydIF以非商用許可開源，不過團隊解釋這是暫時的，獲得足夠的用戶反饋后將轉向更寬松的協議。

有需求的小伙伴可以抓緊反饋起來了。

像素級圖像生成

DeepFloydIF仍然基于擴散模型，但與之前的StableDiffusion相比有兩大不同。

負責理解文字的部分從OpenAI的CLIP換成了谷歌T5-XXL，結合超分辨率模塊中額外的注意力層，獲得更準確的文本理解。

負責生成圖像的部分從潛擴散模型換成了像素級擴散模型。

也就是擴散過程不再作用于表示圖像編碼的潛空間，而是直接作用于像素。

官方還提供了一組DeepFloydIF與其他AI繪畫模型的直觀對比。

可以看出，使用T5做文本理解的谷歌Parti和英偉達eDiff-1也都可以準確繪制文字，AI不會寫字這事就是CLIP的鍋。

不過英偉達eDiff-1不開源，谷歌的幾個模型更是連個Demo都不給，DeepFloydIF就成了更實際的選擇。

具體生成圖像上DeepFloydIF與之前模型一致，語言模型理解文本后先生成64×64分辨率的小圖，再經過不同層次的擴散模型和超分辨率模型放大。

在這種架構上，通過把指定圖像縮小回64×64再使用新的提示詞重新執行擴散，也實現以圖生圖并調整風格、內容和細節。

并且不需要對模型做微調就可直接實現。

另外，DeepFloydIF的優勢還在于，IF-4.3B基礎模型是目前擴散模型中U-Net部分有效參數是最多的。

在實驗中，IF-4.3B取得了最好的FID分數，并達到SOTA。

誰是DeepFloyd

DeepFloydAIResearch是StabilityAI旗下的獨立研發團隊，深受搖滾樂隊平克弗洛伊德影響，自稱為一只“研發樂隊”。

主要成員只有4人，從姓氏來看均為東歐背景。

這次除了開源代碼外，團隊在HuggingFace上還提供了DeepFloydIF模型的在線試玩。

我們也試了試，很可惜的是目前對中文還不太支持。

原因可能是其訓練數據集LAION-A里面中文內容不多，不過既然開源了，相信在中文數據集上訓練好的變體也不會太晚出現。

OneMoreThing

DeepFloydIF并不是StabilityAI昨晚在開源上的唯一動作

語言模型方面，他們也推出了首個開源并引入RLHF技術的聊天機器人StableVicuna，基于小羊駝Vicuna-13B模型實現。

目前代碼和模型權重已開放下載。

完整的桌面和移動界面也即將發布。

DeepfloydIF在線試玩：

https://huggingface.co/spaces/DeepFloyd/IF

代碼：

https://github.com/deep-floyd/IF

StableVicuna在線試玩：

https://huggingface.co/spaces/CarperAI/StableVicuna

權重下載：

https://huggingface.co/CarperAI/stable-vicuna-13b-delta

參考鏈接：

https://deepfloyd.ai/deepfloyd-if

https://stability.ai/blog/deepfloyd-if-text-to-image-model

https://stability.ai/blog/stablevicuna-open-source-rlhf-chatbot

https://stable-diffusion-art.com/how-stable-diffusion-work/

Tags：STAFLODEEPTABstarl幣最新消息BABYFLOKIPUP幣deeponionDola USD Stablecoin

波場