作者 / Pel 编辑 / 彼方
“一种非常吃后期的转描动画。”
(资料图片)
这两天，一个叫做《石头剪刀布》的动画短片突然在动画圈子里火了起来。
影片讲述了一对双胞胎王子通过“石头剪刀布”的形式争夺王位继承权的故事。其中令人捧腹的无厘头剧情以及模仿日式动画的沙雕演出，让很多人印象深刻。
但它的火爆，最主要还不是因为讲了什么故事，而是因为——
这是一部使用AI工具制作的动画。
在AI大举“攻占”围棋、绘画、文书等领域之后。再一次，连「动画」这样一个流程相当复杂的行当，也要被“取代”了吗？
我知道你可能很焦虑，但可以先别焦虑。本篇推送，学术趴就为各位分享这部AI动画的「制作难点」「制作流程」以及我们的「观后感想」。不妨先一起来看一看这部动画是怎么做的，制作方是活跃于特效领域的YouTube博主Corridor，发布这部动画的同时，他们也公开了自己的制作幕后。
了解之后，或许你不仅能加深对AI动画的理解，还会发现：至少这部片子的制作背后并没有什么惊天地泣鬼神的AI进化，主要仍是现有技术的整合，有不少“取巧”的成分，不妨说——是一种非常吃后期的转描动画——AI仍是我们挥洒创意的工具啦。
*动画短片原网址：https://www.youtube.com/watch?v=GVT3WUa-48Y*幕后揭秘原网址：https://www.youtube.com/watch?v=_9LX9HSQkWo
01技术难点这部短片制作的整体思路是——把实拍影像变成动画。只不过手段不是让动画师「转描」也不是用昂贵仪器「动捕」，而是用机器学习模型Stable Diffusion把图像逐帧转化为动画风格。
没错，图像参考来自实拍，不是用关键词直接生成的，所以不会出现“画不来手”的情况。
听上去很简单，我们都已见过AI绘画的威力，但此前为什么很少有成熟的动画作品出现呢？
技术难点之一在于消除“噪点”。
AI（至少Stable Diffusion）转换图像画风的工作原理，就是通过公式和学习，获取图像数据，并添加噪点、删去噪点，再复原图片的过程。
我们都知道实拍和动画的本质都是连续的图像，问题在于AI给每一帧转换风格之后，帧与帧差异相当之大，衔接起来的结果相当【怪异、不流畅】
如果在一段时间内冻结噪点，就可以得到较为连续的画面，但结果会很有涂抹感，细节也时隐时现；
他们的解决方案是逆向操作，直接把原来的画面帧生成噪点图，再把噪点图覆盖在原视频上，噪点就不会过于随机地改变，也不会一直停在原地。
技术难点之二在于保持画风
动起来之后，依然会遇到“闪烁”的问题，每一帧的画面风格并不统一。
他们的解决方案，是用Stable Diffusion训练风格模型，采用了Nitrosocke的Diffusion模型，将图像调整成特定风格。
为进一步解决各种五官、褶皱的细节混在一起的缺陷，他们会专门训练单个演员的模型（统一绿幕背景+服化道），提升帧与帧的连续性。
如果还不够连贯清晰，就使用去闪烁的特效插件。
接下来就可以“拍”动画了。
02流程介绍
step1 “拍”动画！首先，最灵魂的编剧、分镜、表演编排，依然是由人类创作的。
然后录制台词、准备服装（corridor直接选择网购廉价制服，尤其是他们选了有很多纽扣的衣服，其中复杂的纹理在手绘动画中并不常见）。
准备好之后，在绿幕面前摆造型，截取单帧。（不配口型，只需一直阿八阿八）
全程只要两个人负责摄影和打光，毕竟他们想要靠近的手绘动画质感，其光影本来就不会太复杂。
step2 训练每个演员的模型
根据上述原理，让AI根据实拍逐帧“转描”实拍的画面。用Stable Diffusion训练能够将【演员】与【模仿风格】对位转换的模型
他们对标的风格是日本动画名作《吸血鬼猎人D》（我们曾发表文章深度解析过这部作品，点击阅读：赛璐珞动画的巅峰之作——瑰丽两字远不足以形容它），截取了上百个不同角色/物件、不同景别的截图用于训练。
其中遇到一个问题：演员有胡子，而《吸血鬼猎人D》里的角色大多没有，直接生成会很凌乱。解决方案便是再做几个演员形象的动画滤镜，跟《吸血鬼猎人D》截图一同放进资料库训练。
step3 实际生成图像在这一环节，创作者化身“召唤师”，用添加关键词、排除关键词、来回调整细节数值的方法，将实拍画面批量生成为24帧每秒的“动画”。这可能是全程最无聊最机械的一个环节。
其中会有1-2帧略显跳跃，corridor的解决方案也相当简单粗暴，将镜头放入视效合成软件Fusion，加入防闪烁插件，设置为fluoro light模式，一个节点不够，就再贴一个。
肉眼感觉足够流畅之后，将角色从绿幕中抠出来，帧率减半变为12，使其更像动画、更自然。
step4 处理背景
使用虚幻引擎里的场景（封闭教堂），根据想要的效果微调渲染和光照。找到适合当作背景的场景，截取4张图片。把截图丢给Stable Diffusion，输入关键词（见下图），进一步转换画风。
step5 合成
将前景的角色和背景合成在一起，添加特写效果。把四张背景贴在一起，高速横向运动，增加模糊效果；需要特写时候拉近到下图中有窗户的位置；加入light rays插件，模拟光照效果。
找几个三维物件（蜡烛台），转换成动画风格，放在摄影机前景，增加模糊效果，使镜头更有摄影机旋转的实感。最后在关键位置加一两条手绘效果线。
⬇️⬇️最终的效果。
step6 剪辑
剪辑，导出。
03观后感想
从技术层面上来讲，这个动画的生产流程并没有对技术底层做出较大革新，更多可以视为一次现有技术的整合样例。相比于一味渲染焦虑情绪，我们在保持谨慎观察态度的基础上，也看到了目前AI在动画生产当中的局限。
一方面，虽然没有在视频当中明言，但制作团队之所以选择“石头剪刀布”这样的题材，应该还是因为这个题材涉及的镜头与场景并不复杂——我们在片中大多看到的是单一角色出现的场景，角色之间也没有进行直接的交互；分镜方面，镜头的调度和设计也相对简单。
再进一步，片中大量使用了针对《吸血鬼猎人D》这部作品的采样。目前关于AI训练的版权争端尚未有定论，如这一流程的使用场景扩大，也势必引起相关的争端。
不过上述的这些局限是否会在短期内被突破，我们尚未可知，或许很快我们就会看到这种“AI转描”动画迎来广阔的商用前景。笔者不禁畅想，比方筹备拍摄某部真人剧集的同时，片方也聘请艺术家（群体）制作大量绘画素材，用于投喂训练模型——然后通过算法将真人影视改为动画，同步推出形似神不似或神似形不似的动画版？
以及，过往就有部分动画人倡导“转描动画也有美学”，比如《怪猫菲力兹》《指环王》动画版导演拉尔夫·巴克希和《爱在黎明破晓前》《阿波罗10½号：太空时代的童年》导演理查德·林克莱特，但这种选择始终未能成为动画行业的主流，或许有产能效率的因素，或许有审美惯性的因素。假若攫取实拍素材制作成的动画大行其道，这种比传统动画更奇特/违和的视觉风格，或许会开拓动画艺术新的道路？
你觉得AI将在何种程度上影响动画的发展？
本文来自「动画学术趴」，未经授权请勿转载。
