« オーケー、中間決算、増収、大幅増益! | Main | イオン、三菱商事と資本業務提携を解消! »

January 01, 2019

NHK紅白歌合戦、Perfumeとディープラーニング!

Perfume とライゾマティクスの新たな試みを支える Google の機械学習:
・google:6/4
・3 月 20、21 日に NHK ホールで開催された Perfume のライブ ステージ「Reframe」。このステージは、NHK が東京オリンピック・パラリンピックに向けて文化面においても機運を高めていくイベント「This is NIPPON プレミアムシアター」の一環として開催したもので、NHK と Perfume がこれまで生み出してきたパフォーマンスの最新テクノロジーによる「再構築」をテーマに、インタラクション デザインを担当したライゾマティクスによるドローンや AR 技術をふんだんに投入した演出が話題となりました。

ミュージックビデオのシーンを Cloud Vision API で類似検索:
・その試みのひとつが、Google の画像認識サービス Cloud Vision API によるミュージックビデオ シーンの類似検索です。ライブ ステージ開催に先立って、NHK Perfume x TECHNOLOGY Web サイト上で「Reframe Your Photo」と題し写真を一般から公募。アップロードされた約 23,000 枚の写真をリアルタイムに画像解析し、Perfume のミュージックビデオの類似したフレームを検索するインタラクティブ コンテンツとして公開されたほか、ライブ当日はステージ上の演出素材としても効果的に活用されました。

TensorFlow による画像特徴抽出でコラージュを構成:
・サイト上で公開されたもうひとつのコンテンツが「Reframe Visualization」です。これは Perfume のこれまでのミュージックビデオを構成する膨大な数のフレームを切り出し、機械学習を用いてコラージュ画像を自動生成するというもの。ここでは、Google の機械学習ライブラリ TensorFlow が活用されています。
・このコンテンツで用いられた手法について、浅井氏は次のように説明します。「Perfume のすべてのミュージックビデオをフレーム画像として用意し、TensorFlow でディープラーニングによる画像認識を適用しました。その時に認識結果として得られる 2048 次元の特徴ベクトルを抽出し、t-SNE により 2 次元空間に次元削減しています。この手法により、画像に含まれる色や形、パターン等の『画像の特徴の近さ』が、2 次元空間上の距離の近さにマッピングされ、コラージュが生成されます」(浅井氏)

ライゾマティクスが Google の機械学習に期待すること:

PI研のコメント(facebook):
・NHK、紅白歌合戦で後半6番目にPerfumeが登場、冒頭に、ディープラーニングを取り入れたとの前置きがあり、どこにディープラーングが使われているのかが気になり、調べてみました。googleがその前哨戦となる記事を公開しており、そのタイトルは、「Perfume とライゾマティクスの新たな試みを支える Google の機械学習」です。これを見ると、すでに、今年の初めからPerfumeはNHKとともに、Googleのディープラーニングを取り入れています。そして、オリンピック、8Kを視野に様々な試みがなされ、その一環として紅白歌合戦があったといえます。では、どこにディープラーンングが使われているかですが、まずは、「Perfume のすべてのミュージックビデオをフレーム画像として用意し、TensorFlow でディープラーニングによる画像認識を適用」、ここです。さらに、「その時に認識結果として得られる 2048 次元の特徴ベクトルを抽出し、t-SNE により 2 次元空間に次元削減」、これが核心です。結果、「画像に含まれる色や形、パターン等の『画像の特徴の近さ』が、2 次元空間上の距離の近さにマッピングされ、コラージュが生成」され、これがPerfumeの歌とシンクロし、映像に昇華されることになるといえます。ポイントは、次元縮減し、2次元空間で画像が表現されることです。通常、アートとディープラーングはその接点を見出すのは難しいテーマですが、このように次元縮減し、2次元で表現できると、膨大な次元の映像でもアートに還元できるといえ、実に、興味深い試みといえます。その意味で、Perfumeは、ディープラーニングの新たな可能性を示したといえます。翻って、今後、データ分析にも、この観点を入れるとことにより、いままで結びつかなかったものを結び付け、新たな解を生み出すことができるのではないかと思います。Perfume、今後、東京オリンピックに向け、どのような最新テクノロジーを加え、新たなパフォーマンス生み出してゆくのか、その動向に注目です。

続きは、・・:https://twitter.com/PurchaseTW

━━━━━━ お知らせ! ━━━━━━━━━━━━
 1.New、リリース!
    2018年度版、食品スーパー・ドラッグストア財務3表連環分析!
    *お申し込みはこちら:
      *食品スーパー・ドラッグストア、全上場企業約100社を対象!
      *分析事例:eラーニングで公開
 2.週間!食品スーパーマーケット最新情報:まぐまぐ
 3.facebookに「食品スーパーマーケット最新情報」グループ創設_800人! 事務系」(同+8円、+0.7%)など全職種でプラスとなった。

January 1, 2019 |

TrackBack

TrackBack URL for this entry:
http://app.cocolog-nifty.com/t/trackback/62283/67542965

Listed below are links to weblogs that reference NHK紅白歌合戦、Perfumeとディープラーニング!:

Comments

Post a comment