【ウェブカメラだけでフルボディトラッキング⁈】PoseNetToVRのご紹介《VRChat》
みなさん、VRChatというゲームはご存じですか？
VRを持っている人でももっていない人でも遊べるコミュニケーションツールですね！
そして、VRChatというのはフルボディトラッキングに対応しています。
フルボディトラッキングというのは、手足や顔腰の動きをVR内で反映させることです！
ですが、フルボディトラッキングって高い機材を買わなければいけない場合が多いです…
しかし、今回はなんとウェブカメラ１つだけでフルボディトラッキングをすることができるソフトウェアを見つけましたので、ご紹介していきたいと思います！
また、ダウンロードしてからSteamVRで実際に使うまでの流れが少しややこしいので、そちらも紹介していきたいと思います！
是非、最後まで読んでみて下さい！
PoseNetToVRとは？
PoseNetToVRとは、ウェブカメラから推定した姿勢を、SteamVRにVMTというものを通して仮想トラッカーを追加するものです。
まだ、開発段階ですが、無料で使用可能となっているソフトウェアです。
ウェブカメラだけを使ってフルボディトラッキングをできるソフトウェアというのは調べた限り世界にもこれ１つしかないと思います。
（商品には有料のものもありますが、これは無料のものと同じです。開発資金が尽きそうとのことなので、是非寄付をして支援しましょう👍）
また、開発者さんが書いている通り、深層学習によるモデルなどを使って動かしているため、推奨GPUがそこそこ高いです。
この記事は、製作者さんから許可を得て書いています。
開発者さんのツイッターはこちらから → @nPonta_Tanuki
使い方
まずは、PoseNetToVRを導入する前に、VMTという、SteamVRとPoseNetToVRをつなげるためものをインストールしなければならないので、そちらから始めていきましょう。
バーチャルモーションキャプチャーなどの他のソフトウェアでVMTを一度導入したことがある方はスキップしてもらって大丈夫です。
VMT（Virtual Motion Tracker）の導入
まずは、VMTをダウンロードします。
https://github.com/gpsnmeajp/VirtualMotionTracker
以下の「Download / ダウンロード」から、「vmt_〇〇〇.zip」をクリックしてダウンロードしましょう！
ダウンロードできたら、解凍して、
「vmt_manager」ファイルの中の、「vmt_manager.exe」をクリックして起動しましょう。
起動と同時にSteamVRも起動するはずです。
VMT Managerが起動すれば、左上の「Install」というボタンをクリックしましょう。
うまくいけば、「OK」とインストール成功が表示されるはずです。
これでVMTの導入はおしまいです。
PoseNetToVRのダウンロードから起動まで
まずは、配布されているページからPoseNetToVRをダウンロードしましょう。
https://nponta-tanuki.booth.pm/items/2492481
無料版と有料版は全く同じなので、寄付をしたい方は有料版を購入しましょう。
あとは、ダウンロードしたファイルを解凍して、中にある「Barracuda-PoseNet-ToVR.exe」を起動しましょう。
起動したら、まず初めに、左上でカメラを選択して、「Start Cam」を押しましょう。
すると、左上の２つの四角にカメラの映像が映し出されて、そこに人が写ると、真ん中の箱がその人の動きと同じ動きをするはずです。
これで、準備は完了です。
最後に少しだけ最初に設定しておくべきことを書いておきます。
右上にある「None」と書かれたタブをクリックすることで、各種設定をいじることが出来ます。
最初にPoseNetToVRを起動すると、自分の体の位置があってない可能性が高いので、「Offset」のタブを開きましょう。
「Calibrate」を押すことで、自動で設定してくれますし、合わなければ上の数値を適度に弄りましょう。
実際にプレイするには
先ほどの準備が終われば、あとはVRChatを起動するだけでOKです。
PoseNetToVRを起動すると、自動でSteamVR側にトラッカーが反映されるようになっています。
VRChatの場合は、起動した後に、Tポーズを取って右と左のトリガーを引くことで全身のトラッキングが始まります。
もしトラッキングがうまくいかなかったり、PoseNetToVRを起動してもSteamVRに反映されていない場合には、まずVMTを再導入しましょう。
他にもSteamVR側がセーフモードになっていたり、スペックが足りていなくてPoseNetToVRがうまく動いていないなどの問題もあると思います。
スマホをウェブカメラ化する
フルボディトラッキングをしてみたいけど、ウェブカメラを持っていないという人は結構多いのではないでしょうか。
ですがウェブカメラを買おうとすると、今のコロナ禍によるテレワークが普及したことにより、ウェブカメラの需要が上がって、値上がりしています。
そこで、自分が持っているスマホのカメラをパソコンにつなげてウェブカメラ化することが出来るんです。
そこらへんで売っているウェブカメラよりスマホのカメラというのは非常に画質が良いものなので、是非スマホのカメラを使って試してみたいですね。
スマホをウェブカメラ化する記事は別でまとめていますので、是非そちらを参考にしてください。
スマホのウェブカメラ化の記事は製作中です。
もう少しお待ちください。
最後に
というわけで今回は、ウェブカメラだけでフルボディトラッキングが出来る素晴らしいソフト、PoseNetToVRをご紹介しました！
このソフトはまだ開発途中らしいですが、VRChatなどで十分に使うことが出来るので、是非是非使ってみて下さい！
長くなってしまいましたが、
最後まで読んでいただき、ありがとうございました！
このブログでは、他にも初心者向けのプログラミングの記事やゲーム紹介の記事を書いていますので、良ければ是非読んでみて下さい！
おすすめ記事：
【超おすすめ】あまり知られていない隠れた神ゲー〈３選〉
みなさんはゲームは好きですか？ このブログの運営主のただの大学生は、ゲームが大大好きです。 今まで様々なハード…