STA:Stable Diffusion 團隊放大招！新繪畫模型直出 AI 海報，像素級生成

來源：量子位

開源AI繪畫扛把子，StableDiffusion背后公司StabilityAI再放大招！

全新開源模型DeepFloydIF，一下獲星2千+并登上GitHub熱門榜。

DeepFloydIF不光圖像質量是照片級的，還解決了文生圖的兩大難題：

準確繪制文字。

以及準確理解空間關系。

Instagram創始人推出應用程序Artifact:金色財經報道，Instagram兩位創始人推出了一款新的“基于文本的”新聞應用程序。凱文·西斯特羅姆和邁克·克里格本周成立了一家名為Artifact的新公司。他們于2012年創立了照片分享應用Instagram，并以10億美元的價格將其出售給了Facebook。[2023/2/3 11:44:20]

網友表示，這可是個大事，之前想讓Midjourneyv5在霓虹燈招牌上寫個字AI都是瞎劃拉兩筆，對于鏡子理解的也不對。

Meta正測試如何在Facebook和Instagram之間進行切換:9月27日消息，Meta Platform正測試如何輕松地在旗下Facebook和Instagram兩款軟件之間進行切換。（財聯社）[2022/9/27 22:31:29]

使用DeepFloydIF，可以把指定文字巧妙放置在畫面中任何地方。

霓虹燈招牌、街頭涂鴉、服飾、手繪插畫，文字都會以合適的字體、風格、排版出現在合理的地方。

這意味著，AI直出商品渲染圖、海報等實用工作流程又打通一環。

還在視頻特效上開辟了新方向。

BNB Chain引入Ankr、Stader和pStake三種流動性質押協議:金色財經消息，BNB Chain宣布引入Ankr、Stader和pStake三種流動性質押協議，用戶可以將BNB分配給流動質押協議并獲得可交易的aBNBc、BNBX和stkBNB來賺取利息。截至目前，三個協議中共鎖定約101,100枚BNB，約合3000萬美元。（CoinDesk）[2022/8/30 12:58:13]

目前DeepFloydIF以非商用許可開源，不過團隊解釋這是暫時的，獲得足夠的用戶反饋后將轉向更寬松的協議。

分析 | 以太坊Staking挖礦模式的盈利能力取決于用戶居住地以及已經擁有的東西:LongHash發文稱，V神的最新提議是把以太坊Staking的年收益率固定在5%，至少需抵押32個ETH才能成為驗證節點，可以獲得5%的利潤。新的ETH挖礦模式的盈利能力取決于你住在哪里以及你已經擁有了什么。 如果從零開始，需要購買32個ETH。5月初購買的成本略低于5500美元；假設在美國亞馬遜買了售價329美元的鴻基 Aspire E 15，每小時耗電 30 瓦，在美國運行這臺電腦一年的開銷大概是31.5美元。以太坊Staking一年的總成本約為5810美元。 你的利潤在很大程度上會取決于ETH的價格走向。ETH價格上漲得越多，收回成本需要的時間會相應減少。如果ETH價格達到300美元，收回成本需要的時間減到12年。如果回到近1500美元的歷史最高點，可在不到兩年半內收回投資成本（假設把收益套現來支付賬單）。 假設你沒有足夠ETH在不需要進一步投資的情況下參與Staking，如果沒有信心ETH價格會在買入后出現大幅上漲，或許ETH Staking并不值得。如果你已持有相當多的ETH，已擁有32個ETH和一臺電腦，獲得這筆利潤就費不了多少力氣，還可以最大限度地抵消電費。[2019/5/16]

有需求的小伙伴可以抓緊反饋起來了。

Penta與韓國知名娛樂應用項目Stayge達成合作協議:Penta公鏈（PNT）近日于韓國首爾首次舉辦了“連接全球節點”Meetup，同時參會韓國區塊鏈領區塊鏈活動——2018 Crypto Forum。Penta CEO David Ritter在接受韓國媒體采訪時表示，Penta已經和韓國娛樂行業的知名應用項目Stayge簽署了合作備忘錄，后者正在開發一個基于區塊鏈技術的粉絲社區平臺，韓流明星及其擁躉都是該平臺的目標用戶，Stayge也將以此為契機大舉滲透韓國發達的娛樂產業。[2018/5/25]

像素級圖像生成

DeepFloydIF仍然基于擴散模型，但與之前的StableDiffusion相比有兩大不同。

負責理解文字的部分從OpenAI的CLIP換成了谷歌T5-XXL，結合超分辨率模塊中額外的注意力層，獲得更準確的文本理解。

負責生成圖像的部分從潛擴散模型換成了像素級擴散模型。

也就是擴散過程不再作用于表示圖像編碼的潛空間，而是直接作用于像素。

官方還提供了一組DeepFloydIF與其他AI繪畫模型的直觀對比。

可以看出，使用T5做文本理解的谷歌Parti和英偉達eDiff-1也都可以準確繪制文字，AI不會寫字這事就是CLIP的鍋。

不過英偉達eDiff-1不開源，谷歌的幾個模型更是連個Demo都不給，DeepFloydIF就成了更實際的選擇。

具體生成圖像上DeepFloydIF與之前模型一致，語言模型理解文本后先生成64×64分辨率的小圖，再經過不同層次的擴散模型和超分辨率模型放大。

在這種架構上，通過把指定圖像縮小回64×64再使用新的提示詞重新執行擴散，也實現以圖生圖并調整風格、內容和細節。

并且不需要對模型做微調就可直接實現。

另外，DeepFloydIF的優勢還在于，IF-4.3B基礎模型是目前擴散模型中U-Net部分有效參數是最多的。

在實驗中，IF-4.3B取得了最好的FID分數，并達到SOTA。

誰是DeepFloyd

DeepFloydAIResearch是StabilityAI旗下的獨立研發團隊，深受搖滾樂隊平克弗洛伊德影響，自稱為一只“研發樂隊”。

主要成員只有4人，從姓氏來看均為東歐背景。

這次除了開源代碼外，團隊在HuggingFace上還提供了DeepFloydIF模型的在線試玩。

我們也試了試，很可惜的是目前對中文還不太支持。

原因可能是其訓練數據集LAION-A里面中文內容不多，不過既然開源了，相信在中文數據集上訓練好的變體也不會太晚出現。

OneMoreThing

DeepFloydIF并不是StabilityAI昨晚在開源上的唯一動作

語言模型方面，他們也推出了首個開源并引入RLHF技術的聊天機器人StableVicuna，基于小羊駝Vicuna-13B模型實現。

目前代碼和模型權重已開放下載。

完整的桌面和移動界面也即將發布。

DeepfloydIF在線試玩：

https://huggingface.co/spaces/DeepFloyd/IF

代碼：

https://github.com/deep-floyd/IF

StableVicuna在線試玩：

https://huggingface.co/spaces/CarperAI/StableVicuna

權重下載：

https://huggingface.co/CarperAI/stable-vicuna-13b-delta

參考鏈接：

https://deepfloyd.ai/deepfloyd-if

https://stability.ai/blog/deepfloyd-if-text-to-image-model

https://stability.ai/blog/stablevicuna-open-source-rlhf-chatbot

https://stable-diffusion-art.com/how-stable-diffusion-work/

Tags：STADEEPFLOPFLAstar NetworkDEEP價格FLOKIAIPFL幣

Fil