Unite Japanで4月8日、クリプトン・フューチャー・メディアの田地正宏氏は「円筒スクリーンを撮影する実写カメラにセンサーを設置してモデルを実写カメラに追随させる」と題した講演で、その一端を披露。なお、本講演の概要はYoutubeの初音ミク公式チャンネル内で、「【Hatsune Miku】初音ミク ドキュメンタリー テクノロジー編」として、動画でも開設されていますので、あわせてご覧ください。
はじめにPVの撮影状況について簡単に整理しておきましょう。スタジオの中央に直径3メートルの円筒形スクリーンが設置され、ここに初音ミク（本作のためにデザインされた「14モデル」）が投影されます。スクリーンの周囲にはBUMP OF CHICKENのメンバーが立ち、楽曲を演奏。その周囲にドリーに載せた実写カメラが配置され、スクリーンに対してぐるぐる回転移動しながら、演奏風景とスクリーン上の初音ミクを同時に撮影していく仕組みです。
初音ミクの映像自体はUnity上でリアルタイムレンダリングされ、背景のエフェクト（ムービーテクスチャとして再生）とあわさってプロジェクターに出力されます。PC上では円筒スクリーンは横長の長方形スクリーンとして認識され、この上を初音ミクが左右に移動しながら歌い、踊ることになります。ただし前述のように「演出意図にあわせてメンバーと初音ミクを同時に撮影する」という仕様上、実写カメラの動きとスクリーン上のミクの表示位置を同期させる必要がありました。
まずUnityではマルチディスプレイ出力に対応していないため、今回のような横長のスクリーン出力は標準では不可能です。そこでマルチモニタ対応グラフィックボックスの「TripleHead2Go」を使用し、3840×1080ピクセルの画面サイズを確保しました。また背景に使用するエフェクト動画でも問題が発生。Unity標準のムービーテクスチャでは、動画の任意の地点から再生できなかったため、アセットストアからプラグインを購入して対応されました。
ドリー上の実写カメラには、3軸の加速度センサーとジャイロを合わせた6軸センサーを搭載し、Wi-fiでスクリーン中央部にある親機に角度情報を配信する形をとりました。センサー側で移動情報から角度情報を生成し、Androidデバイスを経由してWi-fiで送信。親機からUnity側に情報をわたし、角度情報を解析してミクの表示場所を決定しています。
ちなみに、このセンサーは当初人間の頭部に設置して使用することを目的に、研究開発されていたものでした。それが実写カメラの移動解析に用いられることになるとは、誰も想像できなかったようです。
このほかバックアップとして、MIDI信号を用いた同期システムも採用されています。MIDI信号をコンバータアプリで受信してコマンドに変換し、ソケット通信でUnityに送信した後に、解析して使用するという流れです。具体的には音楽演奏データをネットワーク経由でリアルタイムに共有するための通信プロトコル、OSCを用いて情報がやりとりされています。
田地氏の講演は短いながらも、非常に濃い内容のものでした。本講演内容を含む一連の技術開発は、すべてクリプトン・フューチャー・メディアが担当し、いわば共同開発といったところ。同社の高い技術力が大いに感じられました。
編集部おすすめの記事
特集
ゲームビジネス アクセスランキング
-
【TECMO PRESS CONFERENCE 2008 Autumn】西村京太郎氏も登場！秋〜夏のテクモ注目タイトルが紹介
-
「キミの心の応援団長」バーチャルYouTuber富士葵が込める想いとはーーキーマンインタビュー
-
「2021年最も活躍したと思うゲーム実況者は？」第1位に輝いたのはあの“インターネットヒーロー”！
-
プレイステーション3版『頭文字D EXTREME STAGE』・・・開発者に聞く
-
ドラコレスタジオ兼吉氏が語る 「メイド・イン・ジャパン」で世界を目指すコナミのソーシャルコンテンツ
-
なぜ「アイカツ」のライブ映像は、ユーザーを魅了するのか…製作の裏側をサムライピクチャーズ谷口氏が語る
-
「高知県からスタークリエイターを」―若き経営者の考える地域の未来
-
ソニックファンの少年、ハリネズミを飼う権利を勝ち取る
-
発覚！元任天堂広報H氏2度目の転職
