生成AIで静止画から動画へと変容させるときには、プロンプトにちょっとした技術が要るようだ。
さしあたり、chatGPTに聞いてプロンプトを英語で書いてもらい、それを使ってみる。
上の画像から、下の画像（webpファイルから取り出した静止画）へ変換する。
偶然、おもしろいものができる場合がある。下の場合は、ビル群の中に拡声器を生成AIが移してしまった。
静止画から動画へ
返信
「ComfyUI」カテゴリーアーカイブ
「崖の上の家」の周辺
川で捕ったアユを持ち帰り、裏庭で焼き魚にしてみんなで食べている情景の画像を作った。
下の絵は漫画ふうになってしまったので、没。
こういう画像から短い動画を作っていく。
かわいいのができた！
ChatGPTでかわいい画像ができた。これを短いビデオにもできる。
ChatGPTは有料版ではないので、生成しているうちに、作れなくなる。Adobe Fireflyだと、InDesignを使っているので、制限なく利用できるのを忘れていて、さっきさっそくやってみた。
かわいいといっても真ん中のはなんか子熊みたいではある。
「崖の上の家」を俯瞰する
物語を作るには今のtext to videoのやり方のみだとうまくできないが、手順を調べてわかるまではやたらに画像やビデオを生成することをやってみる。
いまのやり方で多少まとまりがつくのは、テキストで気に入った雰囲気の情景ができたら、それに少しずつイメージをプラスしていく感じで作ることだ。下のは煙突から煙が出ていくと指定したのに、違う場所から出るようになってしまった。
パンダの話の発展
今日はパンダが吊り橋を渡って遊んでいるビデオをアップロードした。
最近、貴州省や四川省の山々を歩く動画を配信している小雪さんという人のYouTubeをよく見ているが、四川省の山の家を訪ねたときに、住人が子どものころ朝方にパンダが来ていたらしいという話をしていた。
作った動画は下にリンクしたもの。
https://youtube.com/shorts/y4ijdA51TJU?feature=share
下の詩の朗読は、7月8日にアップロードしたもの。
パンダとヒョウタン
昨日はまたblogを書くのを忘れて眠ってしまったようだ。
生成AIで作る「崖の上の家」の映像の話の流れは、パンダを定住させるということになった。
明日YouTubeで公開する動画は、家の住人が崖の上に流れている小川で釣りをする際に、ヒョウタンがたくさんなっている茂みを見つけて、持ち帰った、という内容にした。ヒョウタンという言葉はあまり生成AIには造形できないようなものらしい。でも1つのビデオでよく見かけるヒョウタンができた。
今日はパンダがそのヒョウタンをおもちゃにして遊んでいるという場面にしたが、よくできかなかったかもしれない。
向こうの小屋はパンダ小屋。落ちている実は柑橘類に見える。
朗読のファイルは5日にYouTubeにアップロードしたもの。
スイカの成るビル
「崖の上の家」のpromptが決まってきたので、応用して「高層ビルの上階の一画」という状態にして、同じように作ってみた。
未来の高層ビルは上階で焚火をしても大丈夫という設定で、焚火を表示したりシラサギをとまらせたりしたが、もう少し日常的にならないかなと思う。
詩の朗読ファイルは、7月2日にYouTubeにアップロードしたもの。
魚のイメージ
魚のイメージで、模様を作ってみた。
プロンプトは「Surrealism. A fish swallows another fish. A fish with only bones flies. Beautiful with intricate patterns.」としたが、具体的な指定とは離れているが、なんかきれいな図柄。
未来都市
生成AIでは未来の建物を作るときに、比較的破綻がなくできる気がする。
下の画像はくつろぐには危なっかしい高層ビルの一画。
初夏の山の小道
季節の雰囲気を生成AIでコンパクトに出せないかな、と思って夏の山の画像を作ってみた。
YouTubeで特にshort番組をよく見ているのだが、見ている範囲からいえば、アイデアにしのぎを削っている感じがある。たぶん瞬間的な視聴でとらえる情報発信を舞台にした競争がある。生成AIでもいろいろと年中何か新しいアイデアがないかなと考えている人が世界中にたくさんいそうに思う。
18日にアップロードした朗読ファイル。