蕭簫 發(fā)自 凹非寺
量子位 | 公眾號 QbitAI

只需隨手錄制一段視頻，AI就能把你完美放進動漫中！

無論是線條、色彩還是光影呈現(xiàn)，都與美漫中的寫實風格如出一轍，動畫也是細膩流暢，幀數顯然不低：

制作這樣一部包含120個VFX（視覺效果）鏡頭的動漫，需要投入多少精力？

僅僅3個人就行，也無需服化和道具小組。

相比之下，此前拍攝的不少大片動畫特效往往需要投入大量精力，制作精良的團隊甚至達到上百人。

這部動漫被放到油管上后，三天就攬獲了150w+播放量，11萬+點贊。

已經有畫師看完感到害怕了：

我畢生致力于繪畫……然而這些幾年后就會被取代。

還有網友感到“兒時夢想成真”：

當年我還小的時候，一直以為動畫就是基于真實視頻做出來的。現(xiàn)在看到這個，覺得超酷。

那么，這樣一部動漫究竟是如何制作出來的？

過程一共分為三個部分。

第一部分是用AI創(chuàng)建并生成動漫人物，建立它與演員之間的關聯(lián)；第二部分是創(chuàng)作動漫場景；第三部分是合成并調整最終動漫效果。

先來看看第一部分的用AI改畫人物動漫。這部分是用Stable Diffusion完成的，同時采用了谷歌推出的DreamBooth擴散模型進行微調。

以動漫中的這名角色為例，左上角是演員原型，右下角是AI創(chuàng)作出來的動漫角色：

這可不是直接把視頻一幀幀放進Stable Diffusion中就能做出來的效果。

為了確保人物的動漫畫風達到他們想要的效果，作者們收集了經典動漫《吸血鬼獵人D》中的大量人物截圖，各種角度都有，將它們喂給AI：

與此同時，還需讓AI學會并記住真人從面部到身體上的各種細節(jié)特征。

因此，要提前給演員拍攝不同光照、多個角度、各類動作下的大量照片：

這樣一來，就能讓AI在看見視頻中的演員時，迅速以《吸血鬼獵人D》為作畫風格基礎，畫出演員長相的動漫風格人物來。

至于在某些不容易掌控的人臉放大鏡頭中，還采用了ControlNet進一步控制生成的效果。

不過，直接用AI生成的動漫，還存在一個問題。

即使幀與幀之間的差異不大，銜接起來并不完全連貫，一些“反復橫跳”的發(fā)梢和光影細節(jié)會導致畫面瘋狂閃爍：

作者們想到用DEFlicker去閃爍插件解決這件事，同時稍微調低一點幀率，保證畫面的流暢感。

第二部分就是生成場景了，這部分作者們直接用了虛幻引擎和里面自帶的一些3D模型，來制作動漫背景。

例如這段看起來非常炫酷的旋轉背景：

背后就是將大量場景照片合成起來，快速滾動做成的：

最后一部分就是合成之后的潤色了。

這部分倒是團隊自己完成的，他們在視頻中一方面加入了部分3D模型（如一晃而過的蠟燭）來增加人物的沉浸感：

另一方面添加了大量復古的視覺特效，使得動畫看起來又精良了不少：

最終就有了這部AI協(xié)助創(chuàng)作的動漫。

這部動漫創(chuàng)作背后的團隊Corridor Crew，來自一家叫做Corridor Digital的美國制作工作室。

Corridor Digital成立于2009年，這些年來創(chuàng)作了不少特效為主的流行短視頻。

比較為人所熟知的是2019年惡搞波士頓動力機器人的那個“Atlas的反擊”（New Robot Can Now Fight Back!）。

視頻中Atlas被人們反復霸凌虐待，最終忍無可忍，對人類發(fā)起攻擊：

△來源“Bosstown Dynamics”（狗頭）

這段視頻一度被人們認為是從波士頓動力流出的真實錄像，直到Corridor Digital出面否認。

隨后，波士頓動力也官方辟謠稱這只是Corridor Digital制作的一段CGI。

Corridor Digital工作室旗下的Corridor Crew團隊，則負責做專門解讀各種大片特效和背后制作技術流程的“揭秘節(jié)目”，團隊成員會篩選一些電視劇和電影，并討論和分解其中的視覺特效鏡頭。

他們也曾經邀請過不少特效師和演員來節(jié)目中做客，觀察他們對各種特效的反應。

對于團隊制作的這檔AI動漫，有網友調侃：

不如下次就邀請動畫師們如何？看看他們對于這部AI動漫的反應。

那么，你覺得AI做出來的這部動漫效果怎么樣？

參考鏈接：
[1]https://www.youtube.com/watch?v=_9LX9HSQkWo
[2]https://www.youtube.com/watch?v=ljBSmQdL_Ow
[3]https://twitter.com/bilawalsidhu/status/1631043203515449344

— 完 —

量子位 QbitAI · 頭條號簽約

關注我們，第一時間獲知前沿科技動態(tài)