藤田将のホームページ

最近、時間が空いているため、新しいことをいろいろ始めている

ここ数日は、comfyuiを勉強した

comfyuiとは、ノードベースで画像生成などができるツールのようだ

存在自体は前々から知っていたが、この度、時間もあるので勉強してみることにした

AIツール関連に関しては、激動期なので、どのツールが生き残るのか、ちょっと離れたところから見守るという方針だったのだが、

ただ、いろいろ調べていく中で、comfyuiはツールの枠を超え、プラットフォーム的な機能も持ち始めている気がしたので、今後のプロの現場で生き残るのでは？　という気がした

インターフェースがノードベースなのも、うれしいところだ

blenderではノードを使ったお仕事をしているところだが、やはりノードはその手軽さに加え、柔軟にワークフローを組み替えることができる点が使いやすい

今回、自分が検討していたのは、

blenderでカメラワーク、デク人形による演技を行い、

生成AI用に所定の形式に整えて書き出し

comfyuiに読み込み、あらかじめ用意された設定資料のキャラクターに置き換えて生成する

というようなものだった

こうすることで、カメラワークや演技などはblenderを用いて完全に自分の意図で映像を作ることができるし、

同時に、個人的に求めるルックのキャラクターを作ることができる気がした

というのも、僕は正直、だいぶ前から、3Dでのキャラクターづくりには限界を感じている

やっぱり、最終的には、キャラクターに関しては2D手描きキャラクターにはかなわないと思う

髪の揺れるシルエットや、服のシワなどに至るまで、カメラから見て最良の結果にするためには、3Dというのはハンデでしかない

3Dのキャラクターの髪の毛はさらさらした感じには見えないし、顔の輪郭も具体的すぎるので、僕の求める、情報量の少ない世界観に見せることができない気がしている

情報量が増えてしまうので、どうしても演技の情報量も増えてしまい、結果として毎フレーム動いてしまう、ピクサーみたいな動きになってしまう

別にそれが悪いとは思わないが、個人的な趣味としては、やはり、日本アニメの持つデフォルメを表現していきたい

本当は2Dのアニメーターの方々に描いていただくのが最良なのだが、僕にはそんな資金も企画もないので、

自主制作時代の手段として、ひとまず、comfyuiを用いてラフ3Dを撮影素材にしてくれるようなワークフローを考えた

まず、今日の朝。comfyuiのことを全く知らない僕は、なんとなく具体的に定義できる画像があればいいんでしょ、くらいの気持ちで、4種類のパスを書き出した

ちなみに、このモーションとデク人形はMixamoからダウンロードしたものだ

4つのパスについて説明する

１つ目が、キャラクターのlightingを定義するための画像だ

他のパスも基本的にはそうだが、AOVを用いて、マテリアルノード内の色を直接出力している

こうすることによって、出力する素材を割と自由に調整することができる

lightingに関しては、まず、ジオメトリノードによって法線にブラーをかけ、若干抽象的影が落ちるような状態にしたうえで、シェーダーtoRGBで作ったものをそのまま出力した

２つ目が、セグメント指定用のマスク画像だ

これに関してはAIなんだからこれくらい理解できるだろうくらいの気持ちで雑に着色して出力したが、

どうやら今日一日勉強してみて、モデルによってどういう色をどの部分だと判断する、というのはまちまちのようだ

これに関してはどうしようもないので、blender側でセグメントの色を変えるか、

もしくはもっと別の良い方法があるのか、今のところよくわからない

３つ目がノーマルだ

ノーマルに関してはコンポジターで正規化して画像にした

ちなみに、最初、カメラベースで正規化しようとしたのだが、どうやらチャットGPTに聞いたところ、それをしてしまうとキャラが回転した時などに破綻しやすい感じになってしまうらしい

ちゃんと、この値はZマイナスですというような、一貫した定義がないと変な出力になってしまうようだ

なので、カメラアングル関係なく、0-1の値に収まるように正規化して、出力した

そして4つ目が、Z深度だ

これに関しても、ただ単にミストをカラーランプを通して出力しただけだ

これに関しては、最初、Z深度の情報をそのまま送る手段はないのか、とさえ思っていたが、どうやらまだ、comfyuiはそこまで開拓されている感じでもなく、

今のところは画像からのコントロールネットがメインの入力となっているようだった

これは夕方くらいに知ったことだが、どうやらオープンポーズというのもあり、それを用いることでポーズを定義できるようだった

今日、あまり成功しなかったのは、この、4つのコントロールネットがうまく使えなかったことにあると思われる

結局、Z深度しか使うことができず、そこまで良い出力は得られなかった

あとは、そもそもモデルというものを知らないまま作り始めていたし、そのモデルにも互換性のようなものがあったり、学ぶことは多そうだ

comfyuiは意外とお堅いツールで、互換性やフォーマットなど、いろいろ決まっている

が、それはむしろうれしい誤算かもしれない

例えば、先に挙げた4つのパスを正しい形でcomfyuiに渡し

加えて、openposeによる指定もできれば

ポーズや画面レイアウトに関しては情報の不足は起こらない気がする

問題は、それをしっかり解釈してくれるモデルが今世の中に無いのでは、ということだ

モデルを自作する。みたいな、専門家みたいなことができればよいが、さすがにそこまで頑張る時間もない

だとすると、今あるモデルで頑張るしかない気がしてきたが、それだと他の人との差別化ができない

僕がやりたいのは、blenderでつくったカメラワークと演技を、設定画のキャラクターに変換してbookとして出力し、人の手で撮影処理をする。ということだ

これはただ単に工数削減だけでなく、先に触れたとおり、個人的に感じている3Dキャラクター表現の限界を打破することができるワークフローとなるはずだ

その点、今回のcomfyuiのワークフローはもう少し検討してみたい

もしかしたら、今後のアニメ制作は、中間工程が無くなる方向性になるのかもしれない

P,S,設定資料として使用した画像について

今回のトライは完全に個人的な勉強目的のため、何も考えずに生成AIサービスを用いて生成したが、

雑に打ち込んだプロンプトでこんな画像が出てきたので、驚いた

キャラクターについては知識も少なく、今後も勉強が必要だと思っていたが、

こんなのを数分で出されたら、今後のコンテンツ業界どうなるんだ？　とも思った

このままでは使えないが、少なくとも、初手のたたき台としては使えるくらいのものな気がした

便利すぎるツールを目の前にして若干戸惑っている