今日もComfyUIでいろいろ作る

生成AIで画像やビデオを作るのも、だいぶ慣れてきた。とりあえず、一連の作業でまとめるやり方を見つけたので、進めてみることにする。
サボテン、多肉植物は好きなので、これからたくさん生成してみようと思う。

なぜか切り立った場所にある小さい家のイメージが好きなので、これも発展させてみたい。

これは3日前にYouTubeにアップロードした朗読ファイル。

通常動画の編集を進める

パソコンの製作過程のビデオをKdenliveに入れて、半分ぐらい編集した。
自分が作っていったのをたどって整然と記録するのは、後で思い出して役に立つかもしれない。
詩や幻想小説の話題へのつなげ方が難しいが、生成AIをとっかかりにすればなんとかつなげることができるかもしれない。
今日ComfyUIで作った静止画像。プロンプトの書き方のコツを覚える必要がある。

変な動物だが、かわいい。

朗読動画はYouTubeへのアップロードから数日遅れて、リンクしている。

今日も生成AIで画像を作る

かじりはじめたばかりだが、下のような画像を作った。
YouTubeの通常動画を今日から週に1~2度アップロードするときに、背景画として使った。
窓があまりないビル群だが、いちおう未来都市を生成してみた。

これは昨日アップロードした朗読。

ComfyUIをインストール

動画も出力できるので、Stable DiffusionよりComfyUIのほうがいいかな、ということでComfyUIをインストールした。GPUを使うので、新しく発売されている僕が使っているNVIDIAのGK-RTX5070いちばん新しいデバイスドライバをNVIDIAのサイトからダウンロードしてインストールした。4月30日に公開したものらしい。これを使わないとComfyUIはGPUを使えない状態だったと思う。
さっそく画像を生成してみた。画像生成のための文章は書くときに、規則があることがわかった。とりあえずchatGPTに聞いたらたくさんのサンプルを表示してくれた。
この文章を書くときのやり方についてはYouTubeなどにも番組がある。
動画についてはいくつか追加でインストールする必要があるが、簡単にできそうだった。しばらく静止画の練習をしようと思う。
下の風景の映像はchatGPTが表示してくれたサンプルから作ったもの。

この画像のための文章は以下である。

Top Tips for Capturing Stunning Landscapes

  1. Golden Hour Magic: Shoot during sunrise or sunset for the best light.
  2. Rule of Thirds: Use the rule of thirds to create balanced compositions.
  3. Foreground Interest: Include elements in the foreground to add depth.

[Read More Tips] [Join Our Workshop]

下のようにワークフローがそのまま、生成の条件を決めるようになっている。

動画などの場合は、もっと複雑なワークフロー画面になると思う。
昨日アップロードした朗読ファイル。

新マシンで画像生成を試す

今日は新マシンの整備をしていた。
さっそく新しいマシンにもInDesignをインストールして、画像生成を試みた。
初めから、画像生成ツールが表示された。
軽く生成できた。いい感じで3回ほど試した。

このWordPressへの書き込みは新パソコンで行っている。

昨日、YouTubeにアップロードした詩の朗読のビデオ。

明日新パソコンを組み立て

今日はリモートで仕事をしていた。夕方から雨になって散歩できなかった。
写真のように、明後日ごろできあがるのでシールをパソコンケース前面に貼っておいた。
今回はStable Diffusionを入れて、生成AIを使い込もうということが目的である。
OSはLinuxで本当はDebianかUbuntuにしたいのだが、たぶんGeforce rtx 5070のnvidiaのドライバがLinuxの正式Packageに入っていない。とにかく使いたいので、Windows11にインストールするのが近道だと思った。いずれDebianで使えるようにしたい。

これはMidjourneyとPikaというソフトで作ったという。こういうのが作れるとなるとワクワクする。
僕が孫から教えてもらったsunoという作曲AIもこの人はよく使っている。

「しげ旅」が更新された。
激辛の料理とパンダの四川省成都。パンダの姿もうまくとらえている。

今日お昼ごろアップロードした詩の朗読ファイル。今日も朗読を収録した。視覚的に派手すぎるのもよくないし、そのビデオに合うデザインを見つけるのも難しい。

生成AIの画像

生成AIでいろいろ画像や動画を作ってみたいと思っているが、とりあえずAdobeのInDesignを使っているので、firefly.adobeのアカウントがある。
これを使って、テキストから画像にするコツを習得したいと思う。
下が1行ほどのテキストから生成した画像。

けっこう使えるようなものが生成される。

今日はパソコンのパーツがいくつか届いた。
今回の製作は初めて水冷クーラーを使うことにした。
というのもけっこう熱を持ちそうなので。
下はアップロードした詩の朗読ファイル。

藤の花

藤の花が近所で見られる。
生成AIによる画像生成や動画生成について、いろいろ調べて少しわかってきた。
花の写真はスマホ内に多数あるので、なんとなく使える可能性を秘めているようにも思える。

下の朗読ファイルは今日の昼にアップロードしたもの。

「しげ旅」も新しいのがアップロードされた。香港編。食や観光でアジア一巡り、自然にその国の生活が垣間見えて、それが視野を広げて身になる感じがする。

朗読videoファイルを少し加工する

firefly.adobeで詩から映像を生成して、朗読の生の声、sunoによる曲の生成、など加工して少しリズムをつけてみた。
映像生成は英語のほうがよさそうなので、chatGPTで英訳してプロンプトに入れて生成。

いつもと違う文字の網目を
投げかけた
同じふうに巻き付くのに
ガチの洗い場
寒がりのお茶など
残存寄生映像が
似ているのは
なぜだろう

English Translation:

A net of unfamiliar characters
was cast upon me.
Though it wraps around the same way as always,
this is a real washing station.
Things like tea that’s afraid of the cold,
and lingering parasitic images—
why do they
seem so alike?


YouTubeはぼくが気に入っているサイト「しげ旅」が更新されたが、まだ見ていないので貼り付けは後日にする。
下はお昼にuploadした朗読ファイル。