NTR:清華美院硬核輸出：AI繪畫可控性研究與應用_NET

來源：AIGC研修社

作者：逗砂

原標題：《AI繪畫可控性研究與應用》

這是昨天在清華美院課程的文字稿和PPT，主要分享的是AI繪畫可控性的研究和應用。梳理了一下AI繪畫可控性的一些整體知識脈絡，和最新發布的controlnet1.1。

目前的AI繪畫大部分都是基于diffusion這個模型的，我們可以注意到無論是現在最流行的開源的stablediffusion還是最開始的discodiffusion，他們都是基于擴散算法的，這個算法的優勢在于它的隨機性，隨機性可以給我們帶來很多意想不到的結果，擴散模型生成的每一張圖都不一樣。這個特性最大的好處就是可以帶來無窮無盡的想象力，很多時候這些想象力甚至會超越人類自己。

但是這些隨機性帶來的想象力有一個很大的問題，就是它不可控。大家都戲稱這種創作叫抽卡式創作，你也不知道最終的生成效果是什么樣的。有時候運氣好出來一張非常驚艷的圖，但是不可復現，感覺跟你也沒啥關系。

這就是去年開始早期AI繪畫的狀況，它雖然可以生成很多漂亮的圖片了，但是它本質上還是一個玩具，因為所有的設計領域都需要對結果可控，對于設計師來說，不能修改，不能控制畫面中的內容，無法精準的滿足甲方爸爸的要求，這種工具也只能在早期頭腦風暴的階段使用。

但是后面出現的微調模型和controlnet，把這個狀態打破了。所以我說controlnet的出現補完了AI繪畫工業化生產的最后一塊拼圖。AI繪畫這個工具正式的進入設計師的工作流了。

我們現在回到AI繪畫的可控性有哪些這個問題上。廣義上來講，AI繪畫的生成結果可以通過下面幾種方式控制。

第一個就是提示詞，文生圖的意思就是通過文字去控制畫面。其實從去年到現在市面上有大量的教程教你如何去寫提示詞，我們把特別擅長寫提示詞的人稱為提示詞工程師。但是作為一個最廣泛的控制手段，提示詞有它的局限性，這個一會講。

除了文字提示之外，我們還可以使用圖片作為提示，也就是墊圖。圖片提示可以更加精準的控制畫面的構圖和元素。

Galaxy Digital赴美上市計劃或因Luna相關訴訟再次延遲:8月3日消息，若一項與 Luna 有關的未決訴訟被認定為集體訴訟，加拿大加密投資公司 Galaxy Digital 在納斯達克上市的計劃可能會面臨新的延遲。該案于去年 12 月在加拿大安大略省高等法院提起，原告指控 Galaxy 首席執行官 Mike Novogratz 在 Luna 崩盤之前就公司對加密貨幣的風險做出了虛假陳述。Galaxy 計劃對這些指控進行抗辯。

由于該案在審理過程中可能出現新的證據。律所 Scott & Scott 的 Sean Masson 律師表示，Galaxy Digital 在美國上市的努力可能會再次受阻。[2023/8/3 16:16:08]

我們還可以使用AI繪畫進行圖片編輯，涂抹掉不想要的部分然后重新生成，這個技術最早出現在dalle2上，后面迅速的被應用到了SD上。

在最近剛更新的controlnet1.1版本里其實把圖像提示和圖像編輯都整合進去了。我們今天會重點講解controlnet1.1的功能。

最后還有一種控制方式也非常重要，叫微調模型，目前市面上最流行的微調模型叫lora。微調模型是通過收斂好的模型來更加精準的控制輸出的風格和元素。

我們剛剛提到了提示詞控制畫面有它的局限性，這個局限性主要體現在哪些方面呢？

下面這幾張圖是同一提示詞在midjourney不同模型算法的下的生成結果。我這里只使用了一個單詞女孩。我們可以看到在初代版本的人物生成結果是非常差的，這個跟早期discodiffusion的效果類似。我記得去年4五月份還有很多人去花了大量時間研究怎么寫提示詞和調整參數讓DD來畫出一個像樣點的人物圖。

可是隨著MJ算法的迭代和SD的出現，這些對提示詞的研究瞬間就失去了意義。我們可以看到從MJ的第三代算法開始，人物生成已經越來越好了，三代算法對于一些手部的細節還有瑕疵。所以那個時候很多人嘲笑AI不會畫手，但是最新版本的MJ算法已經解決了這個問題。

這個過程大家可以看到，提示詞的生成效果極度的依賴與模型算法。所以我不建議花太多時間去研究提示詞，提示詞掌握到78分就差不多了，因為今天研究的東西，廢了很多時間總結出來的規律可能新的技術一出來就完全失效了。

Coinbase BTC 溢價指數漲超3000%，美國買盤強于亞洲買盤:金色財經報道，AlCoin數據顯示，當前Coinbase BTC溢價指數為0.000145，即Coinbase溢價0.0145%較24小時前上漲3525%，表明當前美國買盤強于亞洲買盤。[2023/4/25 14:25:51]

提示詞的生成效果極度依賴模型，模型對生成結果的影響力遠大于提示詞，這個特性我們可以發現，通過微調模型去控制AI繪畫的生成結果是一條比寫提示詞更有效的方式。

那么有哪些微調模型的自訓練方式呢？

目前市面上主要有四種基于SD的微調模型方法。這四種方法里目前最流行的是一款叫lora的方法。

接下來我挨個介紹一下這四種方法的不同之處和應用范圍。

首先是這個embedding的微調模型，它是通過使用文本提示來訓練模型的方法。它的原理其實是通過在大模型的隱空間，找到對應特征的圖像文字映射，然后通過打包重新定義這個映射來達到穩定輸出特定圖像的效果。

因為它并不會改動原有的大模型，所以文件非常小。效果也還好，并且對系統計算資源要求不高。

接下來這個hypernetwork其實是一種針對畫風訓練的微調模型。生成的模型文件要比embedding大一些。

前面這兩種方法其實對于精準生成特定的物體效果都不太理想。dreambooth其實是目前為止最能穩定生成特定人或者物的微調模型。比如你有一個產品需要訓練模型，dreambooth是最能讓每個產品的細節特征都復現的。而且它不需要太多的數據集就可以訓練，前面兩種動不動就是幾十張上百張的數據，它都不需要，dreambooth最少使用3~5張圖就可以了。

一巨鯨購買66.5947萬枚ARB 買入均價為1.39美元:金色財經報道，據Lookonchain監測，一鯨魚曾用300個ETH（約49.8萬美元）買入12,445枚GMX((目前價值約92.7萬美元)，GMX價格為40美元。

然后用12,445枚GMX買入665,947枚ARB，買入均價為1.39美元。[2023/3/26 13:26:51]

話說回來dreambooth這么好，為什么現在不流行呢？因為它有個很大的問題就是模型文件太大了。而且對訓練設備的性能要求很高。而且它的訓練時間也很慢。

那么我們現在來看看目前最流行的lora。它其實是一種為了簡化微調超級大模型需要大量的算力而產生的算法。它對于算力的要求不高，模型大小也適中，對于人物復現的精確度要優于embedding，已經很接近dreambooth了，最重要的是，它還能通過調整權重進行多模型的融合。我們可以像調雞尾酒一樣調整模型。

那么如何使用微調模型去應用到設計的工作流上呢？

其實方式有非常多，可以穩定生成特定的人物或者畫風，在游戲，廣告，動畫等等領域都有非常大的應用空間。

這里我舉兩個在品牌營銷方面的例子。

這是可口可樂通過微調模型穩定的輸出品牌logo，然后讓用戶自己去生成創意圖片的一個活動。

除了這個國外的案例，去年國內也有一個類似的例子。

雪佛蘭做過一個這樣的活動。它通過讓用戶使用微調好的模型，穩定的生成雪佛蘭汽車在不同環境場景下的圖片。通過這個方式讓用戶參與到品牌的宣傳之中。

從這兩個活動中我們可以發現什么？

過去的廣告方式都是中心化的，廣告公司生產創意，然后同一個內容讓用戶被動接受。

經濟學家Henrik Zeberg：只要經濟不陷入衰退比特幣和其他加密貨幣會繼續上漲:金色財經報道，經濟學家、資深交易員Henrik Zeberg就BTC和整個加密貨幣市場的現狀發表了詳細的看法，Zeberg對當前市場狀況的看法目前仍然樂觀。只要經濟不陷入衰退，比特幣和其他加密貨幣的價格就會繼續上漲。Zeberg 說，這是由于流動性涌入系統。

\u2028至于中期前景，Henrik Zeberg仍然持悲觀態度。此前，這位經濟學家曾聲稱，自 1929 年以來最嚴重的金融危機即將到來，而且今年可能已經發生。提請注意所有相同的 Swissblock 指標，Zeberg 表示已經達到頂峰，頂部開始崩塌，這與 2008 年類似，是崩盤的開始。[2023/3/16 13:08:03]

但是AIGC時代的營銷方式，可以讓每個用戶即是創意的生產者也是傳播者和接收者。這很像病營銷，但是比傳統的病營銷要好。

過去的病營銷只是同一創意的轉發，沒有強的參與感，aigc讓每個人都有參與創作的可能。

在這個語境下，設計師需要設計如何引導用戶生產內容，而不是自己做一個多么厲害的作品。

微調模型延展資料

國外模型平臺：

https://civitai.com/

國內模型平臺：

https://draft.art/model

國內在線訓練微調模型的產品：

右腦科技：https://work.rightbrain.art/目前免費

特贊AIGCPlayground：https://musedam.cc/home/ai?目前免費

無界AI：https://www.wujieai.com/pro做了個colab的國內鏡像版收費

最后，我補充一些關于微調模型的資料，大部分市面上的教程，都是基于云端colab或者本地訓練的，這個我就不重復了。

國內可以簡單使用的產品還有下面幾個。一個是右腦科技的產品，這個目前還是免費的效果也還不錯。

還有的就是特贊的AIGC平臺，這個目前暫時也是免費的，無界ai做了一個云端的鏡像版本，這個是按算力收費的。

除了這幾個訓練模型的平臺之外，國內外還有一些模型的聚合平臺，這些平臺上的模型大部分也都是可以調用的，大家自己訓練好之后也可以上傳到這些平臺上。

Sorare與阿根廷足球協會達成NFT合作伙伴關系:金色財經消息，NFT夢幻足球平臺Sorare已將阿根廷足球協會加入其體育合作伙伴名單，NFT夢幻足球平臺已經與阿根廷足協簽署了一項多年協議，將NFT帶給阿根廷球迷。作為協議的一部分，阿根廷足球運動員將被要求參與Sorare的全球夢幻足球游戲。

阿根廷足球協會（AFA）在與Sorare合作為其球迷帶來數字收藏品后，已經深入到Web3熱潮中。他們將能夠收集和交易以阿根廷國家隊和萊昂內爾-梅西、保羅-迪巴拉和安赫爾-迪-瑪麗亞等球員為主題的NFT。（Coindesk）[2022/7/14 2:12:15]

微調模型部分就介紹到這里。接下來重點講解contronlnet。

controlnet就是控制網的意思，其實就是在大模型外部通過疊加一個神經網絡來達到精準控制輸出的內容。

這個技術是今年二月由一個叫張呂敏的斯坦福博士生發布的。這個人也挺神奇的，他本科在蘇州大學讀的醫學專業，后面才轉到編程。但是他從大一就在發表人工智能相關的論文了。

從2017年開始一致專注在AI填色這個領域。之前全世界最火的一款AI填色的程序也是他開發的。

2月的時候他發布了controlnet1.0版本，在火遍全世界之后就消失了，然后最近又發布了1.1的加強版。今天的內容主要針對這個最新版本。

我們接下來看看controlnet一共包含多少種不同的控制方式。我這里大致分了四個類別，首先最大的這個類別是通過邊緣或者線稿來控制，這個他分的非常細，一共有六種方式。這可能是跟他多年都在研究AI填色有關系。這六種模型里面，canny精細邊緣控制用的最多，MLSD是主要應用在建筑和室內的生成上。還有涂鴉這種針對粗糙線條的控制。

可以提取深度信息的主要有兩種，depth和normal，它們有一些細微的差別。

這個版本還增加了幾種圖像處理的模型，這幾種其實都是SD和dalle2之前已經有的功能，不過這次controlnet做了整合。控制網開始包含一切的控制方式。

最重要的部分其實是針對元素的細節控制，這里有兩種語義分割和openpose的姿勢控制。

線的控制方式里，用的最多的就是這種。這里分享一個針對品牌的比較有趣的玩法，就是可以提取品牌的邊緣然后生成各種有logo圖案的大場景。

normal的模型可以跟3D軟件結合進行快速的渲染，而不用通過貼圖和各種復雜的材質設置。

openpose應該是controlnet最重要的功能之一了，之前的1.0版本還只能控制大致的姿勢，現在已經對手部和面部的細節也能很好的控制。我們既可以通過提取畫面中的人物姿勢去生成類似的圖像，也可以直接用調整好的姿勢圖來生成相應的圖。

openpose可以應用在漫畫，動畫，廣告海報，游戲設計等諸多領域。不過目前只支持人物的姿勢，對于動物和其他類別還不能生成。

https://docs.google.com/spreadsheets/d/1se8YEtb2detS7OuPE86fXGyD269pMycAWe2mtKUj2W8/edit#gid=0

github地址：https://github.com/facebookresearch/segment-anything

demo演示地址：https://segment-anything.com/demo

論文地址：https://arxiv.org/abs/2304.02643

Controlnet延展資料

controlnet高階組合用法合集

https://www.bilibili.com/video/BV1cL41197ji/?spm_id_from=333.337.search-card.all.click&vd_source=453933dd6891757733da4e4288779255

騰訊發布類似的controlnet的技術T2I-Adapters

https://github.com/TencentARC/T2I-Adapter

AIGC教程：如何用StableDiffusion+ControlNet做角色設計？

https://mp.weixin.qq.com/s/-5U3oHWP4c4YN0X4Vji0LA

提供免費TPU的ControlNet微調活動來啦

https://mp.weixin.qq.com/s/o7PTTyTXsLjo8ayq93W55w

控制名為AI的魔法，關于將AI繪畫融合于工作流的案例和經驗。

https://mp.weixin.qq.com/s/U-ks7Fs0fSDHJp6rCmAYoA

游戲要結束了：ControlNet正在補完AIGC工業化的最后一塊拼圖

https://mp.weixin.qq.com/s/-r7qAkZbG4K2Clo-EvvRjA

精確控制AI圖像生成的破冰方案，ControlNet和T2I-Adapter

https://mp.weixin.qq.com/s/ylVbqeeZc7XUHmrIrNmw9Q

ControlNet項目地址

https://github.com/lllyasviel/ControlNet

ControlNet的WebUI擴展

https://github.com/Mikubill/sd-webui-controlnet#examples

國內加入controlnet的產品

https://www.wujieai.com/lab?無界AI付費

https://musedam.cc/home/ai特贊AIGCPlayground?目前免費ZQ

Tags：NETNTRCONCONTOasis NetworkContractNetContents Protocolmcontent幣燃燒

OKB