[QuartzComposer] リアルタイムなスルー映像に任意のタイミングでテロップ＆音を重ねる

友人結婚式で制作した余興映像(詳しくは 前記事 – 結婚式余興 よちもち☆モチオネア)で、下記のように当日の寸劇の様子に合わせてテロップを重ね合わせた映像をスクリーンに流していました。演者の動きや進行に応じて、PC操作でテロップ内容や音声を切り替えるというものです。

リアルタイムに映像ミキシングするなら QuartzComposer しか思いつかなかったのもあり、QuartzComposer の勉強がてら試行錯誤してみましたので、その記録です。

完成映像はコチラ。

図にするとこんな感じです。(クリックで拡大)

ひとつひとつ比較しながら見ていきます。

まず、QuartzComposer では出力映像はレイヤー状にいくつでも配置できます。数字が多いものほど上に重なって、これらが組合わさって投影されています。

パッチについて詳しい説明は省きますが、QuartzComposer では出力用パッチ (Render Patch) が数種類用意されていて、用途に応じて使い分けることができます。ここでは用途に応じて以下のパッチを利用しています。

他、QuartzComposer のパッチについては下記のサイトが詳しいです。
Quartz Composer/パッチ – おなかすいたWiki!

上でいう「出力映像 3」に表示する映像は全て背景透明の映像として準備し、キーボード操作によって任意の映像を再生できるようにしています。QuartzComposerでは音のみの扱いはデフォルトではできないのと、音に合わせたアニメーション等は、ひとまとめの映像としてしまった方が楽でした。映像の数だけ Movie Importerパッチを準備します。

7つの映像はQuartzComposerのファイルと同じ階層に置いて準備しました。

02〜06の映像は、進行が遅くても間が持つように音楽をループで流した尺の長い映像として用意し、当日の進行が早ければ映像の途中でも次の映像へキーボードで移動できるようにしていました。

この時、次の映像へキーボードで送っても前の映像の音声だけが残るという現象があったんですが、それを防ぐために Movie Importerパッチに直接映像URLを書かずに、Javascriptパッチで渡すということをしています。それについては後述。

映像を切り替えるキーボード入力は、基本左右キーしか利用してません。左キー押下で+1、右キー押下で-1、というように左右キーでは単純に0〜6の範囲で数字の増減をさせています。

QuartzComposer で便利なのは Javascript を扱えることです。Javascriptパッチでは自由にコードを記述できるのですが、QuartzComposerデフォルトのパッチでは逆に複雑になってしまう処理等は、直接コードを記述して対応できます。

ここでは数字を+1させる要素として、「右キー押下」と「再生終了後自動的に」の2要素を加えたかったので、敢えて切り分けて下記のようにJavascriptで記述しています。すごいまどろこっしい書き方なのでもっと良い方法ありそうですが、「右キー押下」で Inputs[0] が ture に、01〜05の動画再生終了後も Inputs[1]〜[5] に ture が入るようになってて、どの Inputs が ture になっても、数字+1されるというようになってます。

//→ボタンと、movie終了時に、increasing signal
if(inputs[0] || inputs[1] || inputs[2] || inputs[3] || inputs[4] || inputs[5] ){
	outputs[0] = true;
}else{
	outputs[0] = false;
}

そうやって上でカウントされる数字(0〜6の範囲)を受け取り、その数字によって再生する映像を下記で切り換えています。

02〜06映像はほぼ処理が一緒ですが、Movie Importerパッチの左右にJavascriptパッチを置いて、映像を再生する直前と直後で処理をさせています。

Movie Importerパッチの直前に置いてあるJavascriptパッチは以下のようになっていて再生シグナルを受け取ったら、再生映像のURL(Movie Location)と、再生スタート位置の秒数(Selection Start)、何秒再生させるか(Selection Duration: 0で制限なし)、をMovie Importerパッチに流します。なぜ最初からMovie Importerパッチに記述しないで再生シグナルを受け取ってからURL等を渡しているかというと、映像が2重に表示されてしまったり、前述したように前の映像の音だけ残ってしまうなどの不具合を回避するためです。

//outputs[0] Movie Location
//outputs[1] Selection Start
//outputs[2] Selection Duration
//outputs[3] Video Capture

if(inputs[0] == 1){ //movieの時だけ、movie再生&音ならす
	outputs[0] = "./01_movie.mp4";
	//outputs[0] = "./02_fadeInToThrough.mov";
	outputs[1] = 0; //selection start 520
	outputs[2] = 0; //selectiion duration
	//outputs[3] = true;
}else{
	outputs[0] = "";
	outputs[1] = 0;
	outputs[2] = 1;
	//outputs[3] = true;
}

コメントアウトしてある Outputs[3] はこのミキシング映像をキャプチャするかどうかを判別するためのものなんですが、当日キャプチャしたらMacが火を吹きそうだったので実行しませんでした。キャプチャ自体もデフォルトではできませんが今回は説明省きます。

Movie Importerパッチの直後に置いてあるjavascriptパッチでは、映像の再生が終了したことをカウンターパッチに知らせる処理が記述してあります。そのシグナルを受け取ってカウンターで数字を+1にして自動的に次の映像へ移動させるようになっています。01の余興映像本編のみ、映像終了と同時にスルー画をONにするよう Outputs[1] で知らせるようになっていますが基本処理は他と一緒です。

if(inputs[1] == 0){
	outputs[0] = false;
	return;
}

if(inputs[1] - inputs[0] < 0.5){
	outputs[0] = true;
	outputs[1] = true; //映像本編が終わったら、スルー画を出す
}else{
	outputs[0] = false;
	outputs[1] = false;
}

ちなみに Movie Importerパッチの中身はこんな感じで、映像再生のシグナルを受けるまで Movie Location は空っぽ状態です。

あと、Movie Importerパッチで「Asynchronous Mode」にチェックをつけないと、映像の音が再生されないので注意!この設定項目自体、初期の QuartzComposer にはなかったのでもう少ししたら音単体も扱えるようなパッチもデフォルトでリリースされるかもしれませんね。

以上が、今回余興で作った QuartzComposer による映像ミキシングの全貌ですー。説明してて自分でも訳分かんなくなってきたから、他人が読んだら更に訳分かんないかもですが。。
不明点などあればコメントで残していただけると幸いです。

つたないファイルで恐縮ですがこちらに QuartzComposer のファイルを置いておきますので、もし参考にされたい方いましたらどうぞダウンロードしてください。

ダウンロード: RealtimeVideoComposition.qtz