人生にゲームをプラスするメディア

ドワンゴがイラスト投稿前に“閲覧数などを予測”する技術を発表、画像解析による自動タグ付けも

その他 全般

セマンティックモーフィングおよび意味的類似画像検索(参考画像)
  • セマンティックモーフィングおよび意味的類似画像検索(参考画像)
  • イラスト画像からニコニコ静画での閲覧数の事前予測(参考画像)
ドワンゴは、CGとインタラクティブ技術の展示会「第8回ACM シーグラフアジア2015」にて「ニコニコ静画」を用いた技術発表を展示しました。

「ニコニコ静画」内のイラストデータを用いたディープラーニング技術の応用デモンストレーションでは、大きく分けて3つの技術デモが発表されました。どれもが、ニコニコ静画に投稿されたイラスト・画像から蓄積されたデータを用いたもので、ユーザーの投稿や利用を支援するツールとなるように研究されています。


◆ニコニコ静画を用いたディープラーニング技術の研究発表


ドワンゴと東京大学大学院 情報理工学系研究科 相澤・山崎研究室との共同研究結果として、これまで投稿されたイラストに付けられたタグをディープラーニング技術によって学習することで得られた応用技術から、2つの技術デモが発表されました。

■自動タグ付け
「ニコニコ静画」にアップロードされたイラストの画像データを解析し、キャラクター名やシチュエーション、ジャンルなどを予測。ユーザーに付けられる「タグ」を推定し自動的に設定します。

■セマンティックモーフィング および 意味的類似画像検索

「セマンティックモーフィング」は、2つのイラストの画像データから特徴を抽出し、その類似性の中間に位置する画像を検索する技術です。上記「自動タグ付け」で解析する、髪色・髪の長さ・服装・デフォルメの度合いなどを段階的に抽出することで、2つのイラストの画像データの中間(モーフィング)を見つけることが可能です。


◆イラスト画像からニコニコ静画での閲覧数の事前予測


もうひとつの展示デモンストレーション「イラスト画像からの閲覧数予測」では、「ニコニコ静画」に投稿された、これまでのイラストの閲覧数とお気に入り数を両方同時にニューラルネットで学習し、一切のメタデータを使わず、画像データのみから「閲覧数」や「お気に入り数」を予測します。


この技術を利用すると、イラストを投稿・公開する前に、画像データのみで「閲覧数」「お気に入り数」をある程度予測できるようになり、投稿前に予想スコアが上がるまで描き直しを行ったり、その都度予測値のチェックしたりといったことが可能となります。

また、この技術を応用して、画像を複数のエリアに分け、どの箇所がどの程度予測閲覧数に寄与しているかを提示し、画像のエリア別重要度を可視化できるような、クリエイターの投稿支援なども研究しているとのことです。

◆◆◆ ◆◆◆ ◆◆◆

今回発表された技術が実用段階を迎えると、イラストを描く側の人は自分のイラストの修正点などが客観的なデータで示され、イラストを見る側の人は自分好みのイラストにより辿り着きやすくなります。ニコニコ静画のイラストに限らず、さまざまな分野で応用が可能な技術でもあるため、より精度が高まるよう研究されていくことに期待です。

尚、今回の展示に利用した、データセット及びデモに必要なディープラーニングの学習済みモデルデータの研究利用向けデータは、「nico opendata(http://nico-opendata.jp/)」で公開されています。また、学習済みモデルデータは、2015年9月17日発表したGPUサーバファーム「紅莉栖(くりす)(参考:http://dwango.co.jp/pi/ns/2015/0917/index2.html)」を使用し、「ニコニコ静画」に投稿された200万枚を超えるイラストを学習したディープラーニングのモデルデータとなっています。これらのモデルデータと、イラストデータセット(イラスト及び、タイトルや説明文等のメタデータ)は、大学などの学術機関に研究目的でデータ提供を行うとしています。
《津久井箇人 a.k.a. そそそ》

編集部おすすめの記事

その他 アクセスランキング

  1. 「すーぱーそに子 10th Anniversary Book」発売を記念するイラスト展を開催! 高精細出力の複製イラスト30点を掲示

    「すーぱーそに子 10th Anniversary Book」発売を記念するイラスト展を開催! 高精細出力の複製イラスト30点を掲示

  2. 「けものフレンズ」最終回に備える、一挙振り返り放送を実施─ニコニコ生放送にて3月25日に

    「けものフレンズ」最終回に備える、一挙振り返り放送を実施─ニコニコ生放送にて3月25日に

  3. 【昨日のまとめ】『ポケモンGO』最新アプデ情報が公開、『スーパーマリオラン』無料で遊べる範囲が増加、『Bloodstained』Wii U版がキャンセル―スイッチへと開発移行…など(3/22)

    【昨日のまとめ】『ポケモンGO』最新アプデ情報が公開、『スーパーマリオラン』無料で遊べる範囲が増加、『Bloodstained』Wii U版がキャンセル―スイッチへと開発移行…など(3/22)

  4. 「ガルパン劇場版」秋山殿が制服Verでfigmaに!敬礼が似合う「ドヤ顔」やあの「信号ラッパ」も

  5. 『ポケモンGO』や「君の名は。」選ばれる―第20回文化庁メデイア芸術祭受賞作品発表

  6. アトラス、今年発売する新作タイトルに迫る特別番組を実施! 3DSソフト『ラジアントヒストリア パーフェクトクロノロジー』など登場

  7. 「ヱヴァンゲリヲンと日本刀展」仙台にて3月25日開催─「ロンギヌスの槍」などを展示、三石琴乃による音声ガイドも

  8. 【昨日のまとめ】スイッチ『聖剣伝説コレクション』6月1日発売、『スプラトゥーン2』先行試射会で使えるブキを発表、PC版「PS Now」リリース!お勧めPS3タイトル」を紹介…など(3/21)

  9. 東京・神田明神に「明神カフェ」が4月中旬オープン!様々なアニメ・ゲーム作品とコラボ予定

  10. 『GRAVITY DAZE 2』の「グラビティ・クロウ」がfigma化!相棒の「クスィ」や仮面も付属

アクセスランキングをもっと見る