音楽とAIの未来を考える理化学研究所が提案するサウンドスコープパットは、VRコンサート体験を提供します。iPadといつもお使いのイヤフォンやヘッドフォンさえあれば、iPadの方向に応じて、あなたを取り囲むように立った奏者を見ることができます。聴きたい奏者を探し、その方向へ耳を澄ませるようなポーズをすることで、そのパートが強調されAIと仮想現実(VR)、空間音響を使った能動的な音楽鑑賞体験ができます。
【VRコンサート体験】
イヤフォンやヘッドフォンを装着して、サウンドスコープパットの再生ボタンを押してください。すると、あなたを取り囲むように立ったパフォーマーが演奏を始め、あなたの前方にいる3人のパフォーマーをiPadの画面上に見ることができます。iPadを左に向けると、左にいたパフォーマーが画面に表れ、右に向けると右にいたパフォーマーが画面に表れます。
【空間音響体験】
画面左下のプリビュー画面であなたの顔をトラッキングできているのが見えると思います。その状態で右を向けは、あなたの右で聴こえていた演奏が正面になります。左を向けは左で聴こえていた演奏が正面になります。さらに、iPadを手に持ったまま180度後方を見てみてください。あなたの後ろで聴こえていた演奏が正面できこえるようになります。
【能動的音楽鑑賞体験】
能動的に、あなたが聴きたいパフォーマーの演奏を強調してみましょう。まず、聴きたいパフォーマーの方向を向いてください。すると、目的の演奏が正面で聴こえるようになり少し聴きやすくなったと思います。次に、左右どちらかの手で、耳を澄ませるようなポーズをして、その手のひらを耳に近づけたり離したりしてみてください。すると、演奏を強調する範囲が連続的に変化することがわかると思います。強調度合いは、手が画面中央へ近づくほど強くなります。この強調度合いをうまく調節することで、一つのパートのみを強調することも、ホーンセクションやリズム隊といった複数のパートにフォーカスすることもできます。パフォーマーのいる方向やあなたが向いている方向は、画面中央に表示された位置表示画面で確認できます。中心にある円があなたのアバターです。アバターをタップすると、位置表示は初期設定に戻ります。
【開発経緯】
理化学研究所 革新知能統合研究センター 音楽情報知能チームでは、AIを使った音楽の新しい創り方、聴き方の可能性を探求しています。サウンドスコープフォンは、たとえばクラシック曲を聞いているときに、「第一バイオリンの音をもうちょっとはっきり聴きたい」とか、 「トロンボーンの音をもうちょっと抑えたい」もしくは，「フルートの音だけ聴いてみたい」というような要望を簡単に叶えてくれるアプリです。
このような音楽の聴き方が、多くの方に受け入れられるかの調査を兼ねてアプリの公開をしています。アプリをしばらく使ってアンケートのお願いが出ましたらどうぞご協力ください。今後、曲の追加を予定しています。アプリおよび技術に興味のあるかたは、サポートURLよりご連絡ください。
【個人情報の取扱いについて】
当アプリケーションでは個人情報の取得はしておりません。
フロントカメラで取得している顔画像データの取り扱いを以下に詳細に説明します。
1. Collection
顔画像データは保存していません。
2. Use
顔画像データは、頭部の角度の把握のみにしか使用していません。
3. Disclosure
顔画像データは保存しておらず、開示すべき情報はありません。
4. Sharing
顔画像データは保存しておらず、共有もしていません。
5. Retention of face data
顔画像データは保存しておらず、保持もしていません。