Blender 3.3 LTS 新機能でVFX初心者が張り紙を捏造してみた

本記事はFIXER Advent Calendar 2022 12/7の記事です。

ご覧いただきありがとうございます! クラウドソリューションエンジニア(?) 兼 Studioチーム店長をしている、新卒3年目のSīnaと申します。 モーキャプ&3Dアバター制作、動画絵コンテ作成、曲リミックス、Terraform勉強、Unity WebGL弄り、VJごっこ、PMに落ちたりしてたら、あっという間に1年が終わってしまいそうで戦慄してます。

前回は阿部 渚さんの [Unity初心者demo] Shader Graphで簡単に葉を揺らす方法 です。 シェーダーコードを書かずに、風にそよぐ枝葉を表現できるみたい……? こちらも是非ご覧下さい!

今回のトピックは、Blender 3.3 LTSで追加されたVFX トラッキングの新機能 「平面トラック」 を試してみたレポートです。 この機能を使うと、実写動画の平面に好きなテクスチャを貼り付けることができます。 VFXってやってみたいけど、難しそう……という方におすすめの、お手軽な機能です!

環境情報

• Blender 3.3.1 LTS

https://www.blender.org/

• Affinity Photo 2.0.0

https://affinity.serif.com/en-us/photo/

• Windows 11 Pro 22H2
• そこそこ強いPC

(ThinkPad Z16, AMD Radeon RX 6500M 4GB)

Blender, VFXって何ぞ?

先程からBlender, VFX, LTSなどとアルファベットのAcronymばかり続いてしまったので、まずは使用するソフトウェアから説明します。 あまり聞いたことのない方やバリバリ駆使している方もいらっしゃるかと思いますが、BlenderはWikipediaで次のように説明されています。

Blender (ブレンダー) はオープンソースの統合型3DCG製作、2Dアニメーション製作、VFX向けデジタル合成、動画編集ソフトウェアである。

はい、実はBlender君は3Dモデリング機能だけではなく、一通りの3DCGに必要な機能や2D、ライブなどのVFX演出、終いには動画編集までできちゃうのです。 映画やゲームなどの有名スタジオでも利用されることもありながら、誰でも無料で制限なく利用できる凄いソフトウェアなんです。 今回はそんなソフトウェアに「LTS: 長期サポート」のバージョンがリリースされたため、記事として相成りました。

続いて、VFXとは何でしょう。 これは英語での視覚効果という単語の略語で、主に後処理で追加される現実にはない効果を指します。 Blenderではそんな、実写とCGを融合させていく機能が多数搭載されています。 今回も実際は紙に書かれていない内容を、Blenderの機能を使って修正を効かせていくので、VFXという訳ですね! 実写合成では以下の流れが大枠となるのですが、初めの Matchmove という段階の機能が今回の主役ですよ～

1. Matchmove: 特徴的なものの動きを追跡しカメラの動きを推測する
2. Composite: 実写とCGを実際に合体させる
3. Rendering: 最終的な映像を出力する

Blenderをインストールしてみよう!

先程も述べた通り、Blenderは無料で使い放題の凄いやつです。 待ちきれない方もいらっしゃると思うので、早速インストールしてみましょう! https://www.blender.org/download/ このリンクからBlender公式サイトに移動し、ページ上部にあるダウンロードボタンをクリックします。 (MacOS, Linuxをお使いの方もご安心下さい、しっかり対応しているのでボタン下部のOther versionsからインストーラーをゲットしましょう) Blenderの基本的な使い方などについては、他のサイト様にて調べてみて下さい。

Let's 捏造!

事前準備として、置き換えたい平面のある動画を撮影しておいて下さい。 10秒前後あればよいかと思います。

Step.1 VFXワークスペースを開く

まずはBlenderを起動すると、このような画面になるかと思います。 (少し違う場合は、一度終了してもう一度起動してみます)

まずは右下の数字が3.3.xになっていることを確認しましょう。 問題なければ、スプラッシュスクリーンから VFX を選択しましょう。 普段と違う画面になりましたでしょうか?

Step.2 動画を撮影してBlenderに取り込む

VFXが選択できていると、Motion Trackingワークスペースが最初に開かれます。 そして、冒頭で撮影した動画ファイルを中央ビューポートのOpenボタンから読み込みます。

Step.3 マーカーを追加してトラックを準備する

その後、TrackツールメニューにあるMarker: Addを押してから画面上の特徴的な部分をクリックします。 今回は平面を追跡したいので、四隅をそれぞれクリックするとよいでしょう。 クリック位置はアバウトで大丈夫です。 (以下動画です)

その後、それぞれのマーカーごとにクリックしてから、Ctrl + TでマーカーのTrackを生成させましょう。 途中でTrackが途切れてしまう場合は、ご自身で置いたマーカーの位置から大きくずれたフレームで、マーカー位置を手直しします。 すると、キーフレームが自動的に挿入されるので、もう一度Ctrl + TでTrackの生成が再開できます!

Step.4 追跡したい平面を定義する

Trackが4個以上画面内に用意出来たら、TrackツールからSolveツールに移動します。 ここにはPlane Track: Create Plane Trackというボタンがあるので、押してから平面の範囲を指定しましょう。

指定が終わったら一度再生し、Planeが良い感じに対象へ張り付いていることを確認します。 問題なさそうであれば、Trackナビゲーションへ行き、Plane Track: Plane Track Image Specials: New Image from Plane Markerを押しましょう。 恐らく右上の3D Viewportが余っていると思うので、Image Editorに切り替えましょう。 そしてセレクターを見ると、"Plane Track"という画像が追加されているかと思います。

Step.5 平面の画像を捏造 レタッチする

前のステップで用意したテクスチャをいい感じに調整します。 今回はカバンを置かないでほしいようなので、カバンを置く文言に手直しします。

Step.6 元の画像と差し替える

画像の調整が終わったら、もう一度Trackナビゲーションへ行き、Plane Track: Open Imageから新しい画像に差し替えましょう。 (以下動画です)

これで完成です! 再生してみると分かりますが、今までの平面に新しい画像が張り付き、荷物を置いてもよさそうになりました。 (Opacityスライダーで上乗せする画像の透過度を調整できます)

おわりに

Blenderのリリースノートを見て「書けるかも?」と思いつきやってみたら、思いのほか読みやすく書けず四苦八苦しました() この機能、置き換えだけでなく平面の連番EXRを吐き出すのにも、かなり便利なのでは……? ここでご紹介しましたのは一つの方法ですので、「アイデア」が思いついたときにそれを容にする一助になれば、幸いです!

FIXERではクラウドの技術以外も、「その他いろいろ」を幅広く扱っています。 表現などが得意/興味がある/ちょっと話を聞いてみたいという方は是非、いつでも開催中のカジュアル面談までお申し込み下さい。

次回は堀 広三朗さんの AWS Lambdaでローカルデバッグする方法 です! お楽しみに👍

使ったリンク

• https://wiki.blender.org/wiki/Reference/Release_Notes/3.3/VFX
• https://docs.blender.org/manual/en/latest/movie_clip/tracking/index.html
• https://youtu.be/PDphO-w2SsA