ボイスプレイヤーとして近年、NTTインターコミュニケーション・センター [ICC] や山口情報芸術センター［YCAM］をはじめとして精力的にクリエイションを行う細井美裕さん。今回採択された『ON PAROLE』は、音によって鑑賞者に空間を認識させる新たな取り組み。視覚情報から解放された空間で、鑑賞者から発せられた音に対してさまざまな場所の残響を付加することで、聴覚を用いた実験的な異空間を創出します。

アドバイザー：タナカカツキ（マンガ家／京都精華大学デザイン学部客員教授）／山本加奈（編集／ライター／プロデューサー）

―面談はビデオチャットで行いました。

バーチャルリアリティについてのリサーチ

細井美裕（以下、細井）：前回の面談で、なぜ人はVRなどのバーチャルな世界に没入できるのか、といった投げかけをいただいて、試しに日本バーチャルリアリティ学会VR心理学研究委員会による『だまされる脳』（講談社、2006年）という本を読んでみました。VR技術にフィーチャーしすぎず、バーチャル世界をリアルと錯覚させるために、つまり脳をだますには何が必要かが網羅的に書いてあり、今回のプロジェクトにもつなげられる内容がいくつもありました。
私が注目したのは、ひとつは「奥行き」が重要であることです。奥行きを感じる方法はいくつかありますが、運動視差による奥行きの知覚についての記述を読んで、以前に東京藝術大学の亀川徹先生に聞いた話を思い出しました。音の発生源も、定位置に静止しているよりも、少し震わせるなどの物理的移動を加えることで、より位置を知覚しやすくなるのだそうです。
さらに興味深かったのが、さまざまな知覚を統合して、空間や状況を脳が判断するのですが、最終的には知識を参照して判断するという記述です。

タナカカツキ（以下、タナカ）：結局は、自分のメモリーを通して見ているということなのですね。

細井：そうなんです。既知の知識や記憶とひもづいたときに空間認知度が爆上がりする、ということですよね。加えて、「ベクション」という効果についても意識したいと思いました。止まっている電車内にいて、隣り合う別の電車が動き出したときに、あたかも自分が乗っている電車が動き出したかのように錯覚することがあると思うのですが、そういった錯覚効果をベクションと呼ぶそうです。音空間に一歩足を踏み入れた途端、音のベクション効果で、床が抜けて下層に自分が落ちたかのように感じる、そんな空間をつくりたいと思っています。 この本の締めくくりに「究極のバーチャルリアリティは普通であること」とあるのがとてもいいなと思いました。このリサーチを通して、面白いとりかかりが色々と見えてきたので、聴覚分野の認知心理についても引き続きリサーチしていきたいと思っています。

システム開発は順調、表現の検証のフェーズへ

山本加奈（以下、山本）：進行具合はいかがですか。

細井：3月に関係者向けのテスト展示をICCで予定しているのですが、新型コロナウイルス感染症の状況次第で、どうなるかわからない状態です。とはいえ、発表の際にはもちろんアドバイザーのみなさまにもぜひ来ていただけたらうれしいです。これまではシステム開発に集中していました。開発現場の様子を動画に撮ってきたので、少しお見せしたいと思います。

―実験の様子が記録された映像をみながら話が進みます。

細井：開発した音をヘッドホンで聞きながら、音からどのような空間を感じるか、具体的なフィードバックを言語化しているところです。このとき試していたのは、広い空間のなかで、音が反響しやすいオブジェクトが1点だけ浮いている想定の音でした。
私が体験しているのですが、体験中に、何もないところに向かって手を上げて、何かを触ろうとしているのがわかるでしょうか？ 私も動画を見て気づいたのですが、音が響くそのオブジェクトを無意識に触ろうとしていたんです。そういう反応がつくれたのはいい傾向だと思うので、これを発見したときは嬉しかったです。
前回お話ししていたオープンイヤーのヘッドホンも試しましたが、とてもいい感じです。音を拾うマイクについては、やはり鑑賞者には極力デバイスの存在を感じさせたくないので、鑑賞者の背面等につけられるかたちで検討中です。マイクについてはオーディオメーカーにも協力いただき、サンプルをいくつかお借りできたので、近々実験予定です。システム開発については、エンジニアさんが頑張ってくれているので、順調と言えると思います。

山本：鑑賞した人の声を集める仕組みは何か考えていますか。

細井：今ちょうど、オンラインの体験も検討しています。展示の少し前や同時期に、会場につくる音空間のうち、ひとつないしふたつくらい、オンラインで同じ音を体験できるようにしておき、YouTubeのコメントのような気軽さで、その音からどんな空間を感じたかを体験者に書き込んでもらおうかと思っています。オンライン会場とオフライン会場のどちらも体験する人は、両方で同じ空間を体験して、同じように感じるか、それとも違う空間を感じるか、確かめてもらってもいいですし、オンラインのみの体験者もコメントを公開しておけば、同じ音を他者がどう感じたか知ることができ、体験がより面白いものになるのではと思います。
また、このプロジェクトに協力してもらっている企業などに何を還元できるか考えたとき、体験者のフィードバックを得る機会を積極的につくることが大事だと感じています。「だまされる脳」で登場する、空間におけるオブジェクトの位置を認知する「オブジェクト音」に対して、近年の学会では空間を認知する「フィールド音」についても話されています。今回のプロジェクトはまさに「フィールド音」についてのフィードバックを得られるチャンスでもあるので、さまざまな還元につながるプロジェクトになるよう意識したいと思います。

タナカ：今、乗り越えなければならない案件などはありますか。

細井：システム開発は順調に進んでいるので、このシステムを用いてどのような表現が可能か、具体的に検証していくフェーズに入りますが、そこにどれくらいの時間や労力が必要なのかは未知数です。とにかく手を動かしていくことになると思いますが。共同開発している企業の施設に、フォーリーサウンド（効果音）開発のための１畳ずつ床材が違う部屋があるので、まずはそこでさまざまな床材の実験を行う予定です。

映画やゲームなどのメディアを活用した展望

山本：いいですね。映画館もマルチチャンネルで展開して、立体音響体験を一般化しているので、フォーリーサウンド開発の方々からも、聞けることがいろいろありそうです。

細井：実は最近、初めて映画の劇伴（劇中に流れる音楽）をつくって、映画というメディアについて考える機会がありました。みる人を長時間同じ場所に固定できて、マルチチャンネルの設備も整っていて、実は映画館ってとても使えるメディアなのかもしれない、と興味が湧いています。2020年春、さまざまな施設が閉まった緊急事態宣言時には、ライブハウスを会場にインスタレーション作品をつくるのもおもしろいかもしれないと考えていました。映画館にもそういう可能性が見出せる気がしています。

山本：面白いですね。映画館も借りようとすると高いですが、レイトショー明けのタイミングなど、借りられる枠もありますよ。

細井：そうなんですね。いつか挑戦してみたいです。

タナカ：ちなみに、音だけのゲームを体験したことはありますか。

細井：実は今、目が見えない開発者たちがオーディオゲームを開発する『DDD Project』というチームのプロジェクトに参加しています。昨年度、この事業の支援を受けていました。ゲームの環境もすごく魅力的です。音の安定性もありますし、ゲーム空間内にインスタレーション作品を設置してみたいなと考えたりもします。映画やゲームなど、他分野との仕事を通じて、インフラの重要性に改めて気付かされています。

タナカ：最近は、VRで体験できるテトリスがありますが、なかなかすごいですよ。ぜひやってみてください。細井さんも、この作品が50年後にはイヤホンひとつで体験できるように、とおっしゃっていましたが、ゲームや映画館など、時代によってどんどん更新されていくのが面白いですよね。

細井：ありがとうございます。とにかく、頑張ります！

―次回の最終面談では、開発したシステムを用いた表現について、実験の進捗が報告される予定です。