Midjourney + Gen-2 联手将图片转成各种动画

#暑期创作大赛#

Midjourney 是第一个关键字输入可以实现图片的工具，而 Gen-2 可以让静态的图片动起来；那如果将这两个工具结合，是否能产生令人叹为观止的动画？

结果是否跟我们想的一样呢？就让我们实际操作看看吧！

STEP 1：用 Midjourney 产生图片

目前Midjourney需要付费才能使用，如果你是第一次认识Midjourney，可以参考之前分享的文章；如果你没有Midjourney账户，通过DALLE或者使用在后面提供的图片也可以体验。

STEP 2：注册 Runway 帐号

runway： https://runwayml.com/

可以使用Google帐号或其他方案来注册，成功后会询问您是否要订阅他们的最新资讯。

然后会有弹窗显示目前的付费方案，我们先选择“免费”来尝试看看。

STEP 3：使用Gen-2模型，将图片转成动画

这篇文章的目的是让静态图片动起来，所以我们选择右上角的“Image to Video”。

进入后你会看到右上角显示「还剩105s」，这是指你可以产生的影片秒数。

在 Gen-2 的模式下，可以使用「上传图片」或排列「输入文字」来生成影片，我们采用上传图片的方案，点击「生成」后就开始生成。

你会发现右上角的105s变成101s了

下面就是图片转为影片的结果喔！ 目前Gen2只能生成4秒的影片；如果你想让影片更长，可以用最后一张图当支撑让它产生。

musical imitation — ar 16:9

更多案例展示

下面是看看作者将图片转为动画的各种实验，大家可以先浏览，最后我再分享一下自己的心得。

场景

A beautiful place wallpaper — ar 16:9

可爱的动物（有点魔性）

The rabbit and his two friends are crazing Sprinkle banknotes towards the sky, the picture is full of banknotes and celebrate New Year , 3d , shiny , cute , painting by ghibli studio — ar 16:9（兔子和他的两个朋友疯狂地向天空撒钞票，画面里满是钞票，庆祝新年，3d，闪亮，可爱，吉卜力工作室绘画）

人像

a young male person with silver hair standing on the beach, in the style of sandara tang, piratepunk, karol bak, video, white and amber, hiroshi nagai, enchanting — ar 128:71

（一个银发的年轻男性站在海滩上，风格为 sandara tang、海盗朋克、karol bak、视频、白色和琥珀色、hiroshi nagai、迷人）

结语

尝试各种素材后，我发现了以下规则：

• 图片不要有太多元素，当细节太多时，哪一部分会成为动画完全依靠运气。
• 人物尽量只挑上半身，否则生成的影片会很奇怪。
• 多种素材下来测试，场景的表现是最好的。

下面分享一些悲剧的案例：

在云端拉小提琴结果摔下去了

原本希望在沙漠前行，结果变成了鬼步

虽然部分结果不如预期，但这些成果也足够惊人；从业内人士的角度来看，AI影视产业产生巨大的冲击，就像绿幕刚诞生的时候一样。