人生にゲームをプラスするメディア

ピアノに合わせてミクが歌うAR技術が凄い!約4年半にも及ぶその足跡を辿ってみた

その他 全般

ピアノに合わせてミクが歌うAR技術が凄い!約4年半にも及ぶその足跡を辿ってみた
  • ピアノに合わせてミクが歌うAR技術が凄い!約4年半にも及ぶその足跡を辿ってみた
  • ピアノに合わせてミクが歌うAR技術が凄い!約4年半にも及ぶその足跡を辿ってみた
  • ピアノに合わせてミクが歌うAR技術が凄い!約4年半にも及ぶその足跡を辿ってみた
  • ピアノに合わせてミクが歌うAR技術が凄い!約4年半にも及ぶその足跡を辿ってみた
  • ピアノに合わせてミクが歌うAR技術が凄い!約4年半にも及ぶその足跡を辿ってみた
  • ピアノに合わせてミクが歌うAR技術が凄い!約4年半にも及ぶその足跡を辿ってみた
電子の歌姫・初音ミクをきっかけに、音楽のみならず様々な創作活動に励んだという方は少なくありません。そんな活動の中で生まれた新たなARアプリケーションを、今回ご紹介します。

2014年7月12日にニコニコ動画にて公開された映像「【AR】ピアノに合わせてミクが歌う Tell Your World【MMD】」では、人間によるピアノの演奏を認識し、それに合わせて初音ミクが歌うというインタラクティブ要素を取り入れたARアプリケーションがお披露目されました。まるでピアノの上に実在するかのようなミクが、軽やかなダンスと共に見事な歌声を披露してくれます。



このARアプリは、ピアノの打鍵情報をMIDIで受信し、演奏位置とテンポを推定。多少のミスタッチやテンポの乱れがあっても追従できるため、下手な演奏にも対応してくれるという臨機応変さも備えています。またミクの声はピアノ打鍵の解析結果をもとに、リアルタイムにテンポを調整しているので、演奏を早めればミクの歌も早くなり、ゆっくりと弾けばミクもそのテンポへと調整するという優れものなアプリです。



このARアプリを制作したfoxcage氏はマイリストを公開しており、その中でもっとも古い投稿は2010年の2月24日。「【AR】 テーブルの上でストロボナイツ 【MMD】」という、OpenCVを利用したARアプリを収めた動画を発表しています。トランプのカードをマーカーとしてミクが歌とダンスを見せてくれますが、そのアクションは残念ながらスムーズとは言いにくいものがありました。



2作目の動画となる「【AR】テーブルの上で「教えて!! 魔法のLyric」【MMD】」を公開したのは、約5ヶ月後の7月26日。「ソフトウェアをいろいろ改善しました」とのコメント通り、その動きは格段に滑らかなものへと進化。ふわりと遅れてついてくる髪の毛の挙動にも、つい目を奪われてしまいました。この短期間で目を見張る躍進ぶりを見せてくれます。



そしてクオリティを上げた後は、全体の技術を更に押し上げるとともに、2つのARマーカーを直角に配置することによりカメラワークの自由度を拡げるという試みも実施。1年5ヶ月後となる2011年12月28日に発表された「【AR】スイートマジック【MMD】」は、見る者の目を捉えて離さない魅力を備えることに成功しました。



それから8ヶ月ほど経過する2012年8月29日に登場したのは、冒頭で紹介した動画の方向性を切り開いた「【AR】ピアノに合わせてミクに歌ってもらった【MMD】」。ピアノの上に貼った緑色のシールを認識してCGをリアルタイム合成すると共に、特定の打鍵パターンをトリガーとしてCGアニメーションと音声の再生を制御。曲の要所にトリガーを設定することで、ピアノ演奏とミクの動き・歌声を同期させています。こうして、生の伴奏と共に歌うfoxcage氏のミクがここに誕生したのです。なお1年4ヶ月の時を経てこちらの映像のメイキング動画も作られました。



一見すると2012年8月29日の時点で、このたび発表された動画と同等のことをクリアしているようにも思えますが、この時はまだ歌うテンポは一定で、演奏側の速度に対しての対応はしていません。それを踏まえて「【AR】ピアノに合わせてミクが歌う Tell Your World【MMD】」を見てみると、その躍進ぶりを更に実感できることでしょう。

foxcage氏がARアプリ制作に駆け抜けた約4年半を、公開された動画をなぞる形で追いかけてみました。このミクのように上手な「追従」とはいきませんでしたが、少しでも興味を持たれた方がいましたら幸いです。
《臥待 弦(ふしまち ゆずる)》

編集部おすすめの記事

その他 アクセスランキング

  1. 「スパイダーマン:ホームカミング」初映像をお披露目、アイアンマンと空を飛ぶ

    「スパイダーマン:ホームカミング」初映像をお披露目、アイアンマンと空を飛ぶ

  2. 【昨日のまとめ】『ドラクエXI』現時点の情報まとめ、『GRAVITY DAZE 2』の魅力を描く映像、剣と楯と魔法で戦うVRゲームがアーケード進出…など(12/10)

    【昨日のまとめ】『ドラクエXI』現時点の情報まとめ、『GRAVITY DAZE 2』の魅力を描く映像、剣と楯と魔法で戦うVRゲームがアーケード進出…など(12/10)

  3. 『サークル オブ セイバーズ』がアーケードに! 剣と楯と魔法で戦うVRゲームが渋谷と梅田に登場

    『サークル オブ セイバーズ』がアーケードに! 剣と楯と魔法で戦うVRゲームが渋谷と梅田に登場

  4. 『燃えプロ』や『忍者じゃじゃ丸くん』など80タイトル内蔵のゲームハードが登場…ジャレコやアイレムの作品がずらり

  5. NHKで『ドラゴンクエスト』30周年記念特番が放送決定、12月29日22時より

  6. 【昨日のまとめ】短編アニメ「ポケモンジェネレーションズ」EP1~6公開、『モンハン ダブルクロス』レンキンスタイル詳細、『スーパーマリオラン』を一足先に体験…など(12/9)

  7. “提督たちが愛用する文具”としてデザインされた「艦これ万年筆」が登場! ハードな勤務をこなす貴方へ

  8. セーラー服型パジャマに“着る毛布タイプ”登場!「セルフこたつ」であったか&キュート

  9. 「ポプテピピック」がまさかの「ねんどろいど」化!“例のビル”破壊シーンや“エイサイハラマスコイおどり”を再現可能

  10. 『ニーア』オフィシャルライブの試聴映像が公開―女性アーティストによる美しい歌声

アクセスランキングをもっと見る