Mixed Reality Capture Tools
『OculusQuestでMR動画がとりたい』の3回目です。
今回でこのシリーズは最終回となり、実際に『Mixed Reality Capture Tools』を使用した撮影方法の解説をいたします。
1回目でグリーンバックを作成し、2回目で実際に撮影した動画をお見せする事ができました。3回分の記事を通して読んでいただければ、ややこしいMR動画撮影も何とかなると思います。
MRって何？
MRって何？と言う人のために今更ですが、MRについて簡単に説明します。
MRとは、『Mixed Reality』の略で、日本語では「複合現実」と呼びます。
簡単に言うと仮想現実と現実を融合させる技術です。
必要な物一覧
PCについて詳しくは、下記リンクの公式サイトをご確認下さい。
デバイス とシステムの構成（公式サイト）
Device and System Configuration | Oculus Developers
グリーンバックを作成したい人は過去記事を参照にして下さい。
sinnaka41.hatenablog.com
作業手順
今回は6段階に分けて解説いたします。
Step1
『Mixed Reality Capture Tools』（無料）のインストール
公式サイトよりアプリケーション（以下アプリ）をダウンロードしインストールして下さい。
20200908現在のバージョンは4.04です。
公式サイト
developer.oculus.com
インストール場所は変更して構いません。
『Mixed Reality Capture App (Quest)』（無料）のインストール
次にクエス ト本体にアプリをインストールします。公式サイトに移動し、購入ボタンを押してください。こちらも無料ですが、インストールするためには、購入ボタンを押す必要があります。
公式サイト
www.oculus.com
購入後クエス ト本体を装着します。
「ライブラリ」→「未インストール」と進み、「Mixed Reality Capture 」をクリックします。
インストール後、起動します。IPアドレス が表示されていればOKです。
Step 2 カメラセッテイング
すでにUSBカメラがPCと接続されている場合、このステップは飛ばして結構です。
Webカメラ がない場合、スマートフォン をWebカメラ として利用する方法があります。
詳しくは、こちらの動画を参考にして下さい。
VIDEO youtu.be
動画ではドロイドカムを利用していますが、別にどちらのアプリを利用していただいても構いません。
カメラの画像がPCで確認できればこのステップはOKです。
ここからが本番です。キャリブレーション はゲーム内のコントローラーと現実のコントローラーの位置を一致させ、ファイルに保存します。
いくつかの注意点があります。
クエス ト本体をガーディアンから出さない。
クエス ト本体を休止状態にしない。
カメラを移動しない
また、作成したファイルですが、次の動作で無効になる気がします（？）
上記の2つは実際に行ってみてその様に感じました。間違っている可能性は十分あるので気を付けて下さい。
それではキャリブレーション を開始します。
グリーンバックを設置して下さい。
Webカメラ をスタートして下さい。
クエス ト本体を装着します。
Step1でインストールした『Mixed Reality Capture』を起動し、IPアドレス を確認します。クエス ト本体を少し上にずらし目が見えるようにします。(頭にサングラスを被る様なイメージ）
PCを操作し、『Mixed Reality Capture Tools』を起動します。
「Get Started」→「Agree」→「Quest」→「Continue」と進みます。
「Serch for Device」を押しクエス ト本体と無線で接続します。緑のマークが点灯しIPアドレス が一致していたら接続成功です。本体が見つからない場合、「Enter a different IP address manually」をクリックし、IPアドレス を直接入力して下さい。
成功すると下画像のような緑のマークが点灯します。
接続が完了したら、「Calibrate Your Camera」をクリックし、キャリブレーション を開始します。
上の画像のようにPCに表示されれるコントローラと位置を合わせてトリガーでチェックします。全部で10か所行います。Step3始めの注意点に気を付けながら進めて下さい。
作用を終了後、「Generate OBS Scene Collection」をクリックし、この作業をファイルに保存します。
その際、拡張子は『.json 』となります。
このファイルは次のStepのOBS設定で必要となるため、名前と保存場所は覚えやすいものにして下さい。
最後に「Finish」でアプリを閉じます。
Step4 OBS Studio 設定
OBSの公式サイトよりOBSスタジオをインストールします。
obsproject.com
Win版、Mac 版、Linux 版がありますので、各自必要なソフトをインストールして下さい。追加でプラグイン を入れる必要があるため、インストール場所は忘れないで下さい。
次に「OBS Studio」に「MRC Tools」のプラグイン を入れます。下は公式の切取りですが、赤線の箇所に「Mixed Reality Capture Plugin」ファルダをコピーしろと記載がありますが、残念ながらその名前のフォルダは存在しません。
公式サイトより
このプラグイン を入れないとクエス ト本体からOBSに映像を出力できないためとても重要な作業ですが、とても時間がかかりました。
コピーするフォルダーはStep1でダウンロードした、「Mixed Reality Capture Tools」の中にあります。
リンク
MRC_Tools_4.0.4\oculus-mrc_OBS\version24\obs-plugins
ダウンロードした場所は各自違うと思いますが、必要なフォルダは解凍した「MRC Tools 4.0.4」以下のフォルダ内にあります。リンクをたどって下さい。
この「obs-plugins」内の『64bit 』と言うフォルダをコピーして下さい。（同名のフォルダが複数あるので気を付けて下さい）
次にコピーしたフォルダをOBS Studioをインストールしたフォルダ内に貼り付けます。
リンク
C:\Program Files\obs-studio\obs-plugins
「obs-plugins」と言うフォルダ内を右クリックし、貼り付けて下さい。64bitと言う同名のフォルダ内がありますが、気にせずに上書きして下さい。
次にOBSスタジオ（以下OBS）を起動します。
OBS上部の「シーンコレクション」→「インポート」をクリックし、コレクションパスの右側を開きStep3キャリブレーション にて作成した「.json 」ファイルを選択しインポートします。
インポート後、再度シーンコレクションを確認すると「Quest MRC」がありますので、こちらを選択します。
すると「OculusMrcSource」のプロパティが開くので、クエス ト本体のIPアドレス を入力し、OKボタンをクリックします。
IPアドレス 入力後、OBSを閉じましょう。
Step5 クエス ト操作
クエス ト本体を操作します。
今回は大人気のリズムゲーム 「BeatSaber」を撮影します。
BeatSaberを起動し、左下の「SETTINGS」→「MIXED REALITY CAPTURE」に進みます。右上のボタンを「On 」に変更します。
これで事前の準備は全て終了です。
Step6 録画開始
早速撮影を開始したいところではありますが、ここで2つの問題があります。
OBS上でゲームの音声がとれない
OBS上でクロマキー合成がうまくできない
どちらの問題も私の各種ツールの理解度が原因かもしれませんが、OBSに詳しい方であるなら全て解決し、OBS上で撮影できる可能性もあります。
今回、私は2つの問題点をこのように解決しました。
音声については、クエス ト本体でも同時に録画をおこない、動画編集時に音声のみMR動画に加える。
クロマキー合成については、私自身の映像はWebカメラ の映像をそのまま録画し、OBSではクエス トから出力された映像のみ録画する。
それぞれの映像を動画編集時にクロマキー合成する。
とても面倒ではありますが、最終的にMR動画は完成するので今回は上記の方法で撮影したいと思います。
では実際に撮影を開始します。録画は３つ行います。
BeatSaberを立ち上げ、クエス ト本体の録画を開始
OBSを立ち上げ、ソース内の「OculusMRCSource」をダブルクリックし、プロパティを開きます。「Connect to MRC-enabled game running on Quest」をクリックし、BeatSaber映像を取り込む。映像のサイズと向きを調整する。（映像の向きについては後述します。）OBS録画開始
ダブルクリックでプロパティを開く
このボタンで映像取り込みを開始します。
成功すると、BeatSaberの映像が映し出されます。
赤い枠線を引っ張り映像のサイズを調整します。
映像の向きについて
向きについてはキャリブレーション の精度で若干ばらつきはありますが、基本的にWebカメラ の方向が真正面となっているようです。そのままですと、真正面の録画になります。映像角度の変更は右コントローラーの「オキュラスボタン」で行います。
後方斜めの角度から映像をとる場合、カメラの真後ろを向いてから30度程度体を回転し、オキュラスボタンを押します。
Webカメラ の録画はどのような方法でも構いません。例を挙げると次の通りです。
もともと利用していたWebカメラ の録画機能
Windows10標準のキャプチャ機能
録画編集ソフトの録画（キャプチャ）機能
私は動画編集ソフトに「Filmora9」を利用しているので、そのキャプチャ機能を利用しました。
こちらが3つの映像です。
この映像を動画編集ソフトで合成します。
撮影に関する一連の動作はとても大変ですが、何回か繰り返すうちに上手に撮影できるようになります。
私の場合、もちろん一人で撮影しているので納得のいく映像を撮影できるまでには複数日かかってしまいました。
最終的にできた動画をYouTube にアップしました。よろしければご覧ください。
OculusQuestでMR動画をとる 完結編 BeatSaber
いかがでしたか？OculusQuestでもLIVを使わずに、ここまでのMR動画をとる事ができます。
撮影方法をもっと考えればこれよりもさらにすごい映像をとる事も出来るはずです。
クエス トユーザーの皆さんがんばりましょう！
現在のMRC Tools対応オキュラスソフト（2020年5月）
・Audica ・Beat Saber ・Dead & Buried 2 ・Gadgeteer ・Kingspray ・Racket Fury ・Real VR Fishing ・Richie’s Plank Experience ・SUPERHOT VR ・Space Pirate Trainer ・Thrill of the Fight
最後にクエス トから大きなデータを簡単に引っ張る方法を以前紹介しました。
sinnaka41.hatenablog.com
動画編
VIDEO youtu.be
twitter ・・・更新情報のみ発信しています。
twitter.com
Got it！を押すとスタートします。
