誰でもVTuber!?『KinectをMMDで使う方法』をまとめてみた。

KinectでMMDを使う方法は以前も記事にしたのですが、結構困っている人が多いみたいなのでもう一度出来るだけ丁寧にまとめ直してみました。

Kinect v1をWindows 10環境で使う手順になります。

Kinectとは？

Kinectはマイクロソフトが開発したジェスチャーや音声を認識出来るデバイス。　ゲーム機のXbox用に家庭用で発売され、日本では『カラダまるごとコントローラー』のキャッチコピーで販売されました。

元々モーションキャプチャーは数千万円もするもので、一般家庭には縁遠い存在でしたがKinectが1万円台で登場したことでゲームのみならず多くの研究者に愛用されました。

用意すべきもの

Windowsのパソコン

何はともあれWindowsのパソコンを用意してください。

この記事では最新版のWindows10での利用方法をご紹介しますが、Windows7やWindows8.1についてもほぼ同様の手順でいけると思います。　なお、Windows7や8.1については既にマイクロソフトのメインストリームサポートが終了しているのでまだこのOSを使っている場合は早めに最新のWindowsへの乗り換えをオススメします。

パソコンの動作環境：

OS：Windows7以降

接続：USB 2.0（Kinectアダプターが必要です）

CPU：Dual Core 2.66GHz以上

RAM：2GB以上

[amazon_link asins='B079VC3GPZ' template='auto-ts' store='api-wpxxxx314320-22' marketplace='JP' link_id='6d485901-e1b8-11e8-b405-898f96248fcf']

Kinect v1センサー

Xbox 360のKinectセンサーことKinect v1センサーを用意してください。

Xbox One Kinect センサー及びKinect v2センサーはMMD向けソフトがほぼ存在しないので、利用することが出来ません。　必ずv1センサーを用意しましょう。

[amazon_link asins='B003T9VDJQ' template='auto-ts' store='api-wpxxxx314320-22' marketplace='JP' link_id='754ccf31-e1b8-11e8-aeff-1bdf0af55f17']

Kinect v1用USBアダプタ

Kinectセンサーを繋ぐためのケーブル。

Xbox 360初期型やWindows PCに繋ぐために必要なケーブルで、Xbox 360 Sなどでは専用端子があるためアダプタは不要でした。　そのため本体バンドル版などではケーブルがついていないこともあるため注意が必要です。

WindowsでKinectを使う準備をしよう

まずはパソコンでKinectを使うための準備をしましょう。

下記のURLからKinect for Windows SDK v1.8をダウンロードしてインストールしましょう。

[st-card-ex url="https://www.microsoft.com/en-us/download/details.aspx?id=40278" target="_blank" rel="nofollow" label="" name="" bgcolor="" color="" readmore="続きを見る"]

KinectのためにインストールすべきファイルはKinect for Windows SDKのみです。　OpenNIなどのMicrosoft以外のKinectドライバーなどがインストールされていると正常に動作しません。　もしもインストールしてしまっていたらすべてアンインストールしてから上記のKinect for Windows SDKをインストールしてください。

Kinectを接続しよう

Kinect SDKのインストールが出来たら、次はパソコンにUSB経由でKinectを接続してみましょう。

スタートボタンを右クリックし、デバイスマネージャーを起動してください。　デバイスマネージャーの『Kinect for Windows』の項目がすべて正常に動作しているかを確認してください。

Kinect for Windows Audio Array Control
Kinect for Windows Camera
Kinect for Windows Device
Kinect for Windows Security Control

上記の画像のように、⚠がついていた場合は動作していません。　ケーブルを挿し直す、パソコンの再起動などを試してください。

すべてのマークがきちんと動作しているのが確認出来たら次の項目に進みましょう。

MMDを準備しよう

1.MMD本体をダウンロード

MikumikuDanceの用意をしましょう。

MikumikuDance(MMD）は以下のVPVP様からダウンロード出来ます。

出来るだけ最新のものをダウンロードするようにしてください。

[st-card-ex url="https://sites.google.com/view/vpvp/" target="_blank" rel="nofollow" label="" name="" bgcolor="" color="" readmore="続きを見る"]

2.MoogNUIをダウンロード

続いてKinectをMMDで使うためのファイルをダウンロードします。

これはMoggProject様で配布されている物を使います。

下記のページの｢MOGGNUI｣というファイルの｢Version 0.3.2｣を｢DOWNLOAD｣してください。

[st-card-ex url="https://sites.google.com/site/moggproject/" target="_blank" rel="nofollow" label="" name="" bgcolor="" color="" readmore="続きを見る"]

3MoogNUIをMikuMikuDanceに入れる

Kinectを使うためのMoogNUIをMikuMikuDanceに入れましょう。

MoogNUIをダウンロードし、ZIPを解凍した時にできる以下のファイルを、MikuMikuDanceの｢Data｣フォルダ内にコピーしてください。

｢ja｣フォルダ
DxOpenNI.dll
MoggNuiConfig.exe

MMDを動かしてみよう

MMDで動いてみよう

MMDの下準備が出来たら、とりあえずMMDとKinectを動かしてみましょう。

MMDを起動したら、モデル操作から好きなモデルを読み込んでください。

次｢ツールバー｣から｢モーションキャプチャ（K)｣を選び、｢Kinect｣にチェックを入れてください。

チェックを入れることが出来たら、Kinectの前に前身が移るようにしてたてば、数秒後に認識しモーションが追従してくれるようになります。

もしもエラーが出たら･･･

エラーが出てしまったら以下の点を再び確認してください。

別のUSBポートに差し込んでアプリを再起動後に試してください
ドライバーは正常に動作していますか？
不要なドライバーはインストールしていませんか？
USBの電力不足の可能性があります　他のUSBを抜いてみてください

MMDで動きを録画する

MMDでモーションを録画したいときはツールバーの｢モーションキャプチャー(K)｣から｢キャプチャ(C)｣を選ぼう。　再びキャプチャを押せば録画を終了し、モーションデーターがMMDに表示されるようになる。

MoogNUIの設定で調整出来ること

MoogNUIは設定で微調整を行うことが出来ます。

これは、MikuMikuDanceのDataフォルダに入れた｢MoggNuiConfig.exe｣を開くことで設定を調整出来ます。

調整出来ること

ボーンを認識するまでの時間
上半身のみ取得（座った状態で使うときに有効にしましょう）
トラッキング対象がいない場合に位置をリセット（範囲から外れたときの動作を変更します）

MikuMikuCaptureを使おう

MMDとは別にKinectキャプチャーに最適化されたソフト、MikuMikuCaptureを使うことで、3Dモデルへのモーションキャプチャーがさらに高機能に行うことが出来ます。

MikuMikuCaptureとは？

MMD互換のモーションキャプチャー用ソフトウェア。

MMDでKinectを使うよりも以下の点で優れています。

細かなスムージング補正が出来るため、自然な動きが可能
つま先の検知、表情認識に対応
複数人物キャプチャも可能

MikuMikuCaptureは以下のページからダウンロード出来ます。

[st-card-ex url="https://sites.google.com/site/mikumikucapture/" target="_blank" rel="nofollow" label="" name="" bgcolor="" color="" readmore="続きを見る"]

MikuMikuCaptureの基本設定方法

MikuMikuCaptureを起動したら、ツールバーの｢設定｣から｢キャプチャ設定｣を選び、Kinectの項目を｢DxMsNui4Win.dll｣に変更します。　（これはXbox 360 Kinectセンサーを使っている場合で、使っているデバイスなどに合わせて変更しましょう）

MikuMikuCaptureの基本的な使い方

MikuMikuCaptureは非常に便利なツールなのですが、意外と他のサイトでは解説が少なかったので筆者が触ってみてわかったことをざっくり書いていきます。

モデル操作関連

モデルの基本操作。

モデルを追加する

MMDモデルを追加しましょう。

右側のメニューから｢モデル｣を選び｢🙍‍♀️➕｣を押すとモデルを追加出来ます。

※人型→人型　＝モデルを入れ替える

※人型→×　＝モデルを削除する

※↑↓　＝モデルの並び替え

モデルの輪郭線を調整する

モデルを読み込んだ状態で、上の数字を調整すると、輪郭線を調整出来ます。

0にすれば完全に消すことも出来ます。

モデルの詳細を調整する

モデル画面の名前の右側にある｢＞｣を押すと、モデルの詳細へ移動します。　ここでモデルの座標、モーフ、モーション、IKなどを設定出来ます。

モデルを並べて表示したいときなどはここで座標を動かしておくと良いかもしれません。

キャプチャーする・停止する

キャプチャからKinectに接続（F5）を押せばキャプチャーを開始します。

終わりたいときは｢すべてのキャプチャ機器を切断（F8）｣を押してください。

キャプチャを記録する・停止する

キャプチャを記録したいときは、キャプチャから記録開始（F9）を押します。　停止したいときは記録停止（F10）を押しましょう。

Kinectを調整する

右側のメニューからキャプチャ＞Kinectを選ぶとKinectの詳細を設定出来ます。

モデルの認識を調整する

キャプチャ＞KinectからKinect（モデル名）の右にある｢＞｣を選択します。

すると詳細設定画面になります。

｢スムージング｣を調整すると、補正の強さを調整出来ます。　値が高いほどなめらかに動きますが、認識の機敏さは落ちます。　低いほどあなたの動きを早く捉えてくれますが、認識が荒ぶることが増えます。
｢スムージング｣の個別設定を行うと、腕や足、首など気になる場所だけをスムージングの量を増やすことが出来ます。
｢表情認識｣を有効にすると、顔の動きをキャプチャ出来ます。　これはRGBカメラを使うため明るい環境で使ってください。

ビデオ出力について

右側のメニューからキャプチャの下の方にビデオ出力という項目があります。　これを使うと、カメラ扱いで映像を出力することが出来ます。　配信ソフトなどで映像を読み取ることが出来て便利な機能なのですが、私の環境では動作が安定しませんでした。　一応使い方を書いておきます。

ビデオ出力設定からビデオキャプチャフィルタの登録を行う
ビデオ出力開始を押す
ON AIRが画面に表示されるのを確認する
配信ソフトなどでMikumikuCaptureを追加する

よくある質問

Q.Mac環境でも大丈夫ですか？

基本的にKinectはWindowsでしか対応していません。

Q.Kinect v2は使えますか？

使えません。

Q.なぜKinect v2は使えないの？

KinectのブームがXbox One Kinectが登場する頃には既に終わっており、対応したソフトウェアが殆ど開発されなかったためです。

なのでもしもあなたがKinect v2向けのMMD対応ソフトウェアを1から作成できるのであれば、Kinect v2でも利用できるかも知れません。

Q.配信で使えるグリーンバックなどの背景をください

下の画像をMMC、MMDなどで画像として読み込んでください。

[st-card-ex url="https://mega.nz/#!PBw3lSCL!gx_Vz_cFArLdBo3K44nkX6HppKdqtJpCrcpZSi5I5FM" target="_blank" rel="nofollow" label="" name="" bgcolor="" color="" readmore="続きを見る"]