初回面談レポート#1：大西景太

大西景太（以下、大西）：L／Rの2chを使って、移動したり交差したりする音をつくり、その音に合わせたアニメーションをつくりました。画面でご覧ください。

―３つのアニメーションによるデモンストレーションを行いました。

大西：ひとつ目のアニメーションでは、L／Rの移動だけでどれほど移動を感じられるかを実験しました。ふたつ目は、時間差で同じ方向へ移動させることでカノン（*複数の声部が同じ旋律を異なる時点からそれぞれ開始して演奏する様式の曲）になることの実験です。「移動」の軌道の途中に障害物があり、シンプルな動きがだんだん複雑になっていく様子を試しました。３つ目のアニメーションは、楽譜上の進行が左から右に行ったり、右から左に行ったりする曲が実際にある（バッハ作曲『音楽の捧げもの』など）ので、それをL／Rの動きでつくってみました。
現状での課題を整理すると次のようになります。

・「HoloLens2」の発売が遅れていること
理想では「HoloLens2」というMRデバイスを使って立体視したいのですが、発売が遅れています。初代の「HoloLens1」も選択肢にありますが、「HoloLens2」の方が、視野角が広いようなので、できればそちらで実施したいと思っています。

・技術面
MR化を依頼しようとしているチームとの打ち合わせがまだできていません。僕が今3Dソフトでつくっているものを流用してMR化できるのか、今は2chでつくっている音を、多チャンネルで同期可能かどうかを確認しないといけないと思っています。

・音と動きの対応性
これから音と動きの関係を自分なりにルール化していこうと思っています。硬い／柔らかい、などの形容詞に合わせて四角や丸などの形を考えます。金属音や木の音などの質感は、形や動き、速さで表現できそうです。音と動きをセットにしたパーツの分類をしようと考えています。

・音のパンニング（移動）を伴う音楽の研究
音の定位についての知識を増やさないといけないのですが、まずは直感的に、リバーブ（残響）のついた音は位置が分かりにくいと感じました。また、和音より単音、低音より中高音の方が位置を感じやすいです。これまで、移動を前提にした音楽はないと思うので、そういうことが成立するかどうかを考えていきたいです。

大西：実際に先ほどの３つのアニメーションをつくってみたところ、音が少ないと音楽らしくなく、見た目も寂しくなってしまうように感じました。逆に音が多いと、どのアニメーションと一致しているかの判別が難しくなります。そのバランスが難しいと感じました。音を多くする場合は、少しずつパーツを増やせば、慣れで判別していけるかもしれません。もし少ない音で構成する場合は、音が交差するイメージの『Traffic』というタイトル自体、変更が必要になってしまうかもしれません。
ほかにも課題を付け加えると、MRデバイスはひとつだけ用意する予定なので、展示をひとりしか体験することができないことです。予約制にした方がいいかを考えているところです。

戸村朝子（以下、戸村）：タイトルは変わっても大丈夫です。面談を重ねる中で企画が変わっていくのは当然ですから。大西さんの、MRを使って音と動きの完全合致が成立しうるか、という視点への取り組みを非常に楽しみにしています。もちろん画面には奥行きがありませんし、仮に3Dで立体感があったとしても、それと音が合致する、完成度の高い作品というのは今まで見たことがありません。とても実験的な取り組みで、ある意味プロトタイプのようなものになるのかなと思います。
制作にあたり、アニメーションを先に考えてしまうと、音を追随させにくくなってしまうと思います。音の方が自由度が高いこともあり、先に音の設計をして、それにアニメーションをつけていくのがいいのではないでしょうか。

大西：音の自由度というのはどういうことでしょうか。

戸村：空間音響の分野から言うと、音は理論上どこでも置けるということです。それに比べて映像は、映る場所に制約がありますよね。
また、先ほどおっしゃった音の定位についての直感は実際に当たっていると思います。定位をはっきりさせようとするとき、リバーブをコントロールすることは非常に大事です。また、低音は指向性がなく、空間全体に聞こえますよね。作品の中で何に焦点を当てるかによって、音の数が決まってくると思います。もしかしたら音を間引いた方がいいかもしれませんし、音色をどう選ぶかも重要です。そのあたりは音響の専門家にアドバイスをもらうのもいいのかなと思います。

和田敏克（以下、和田）：アニメーションのことを言うと、MRでは上の空間も使えるので、もう少し動きに高さを出してもいいのかなと思いました。それと同時に、音の視覚化をもっと自由に考えてほしいです。音と動きの合致というとノーマン・マクラーレン（1914-1987）の作品を想起します。彼の表現方法は本当に自由で、破裂音の時に波形が出てきたり、時には線画になったり。そんな感じで動きを柔軟に考えていくといいのではないでしょうか。
また、鑑賞者に音の出どころを探してもらうのもおもしろそうです。既存の音に新しい音が合わさって動きが重なっていく、というような演出も楽しいと思います。展示でMRデバイスがひとり分しかないという課題は、客観モニターを用意することで緩和できるのではないでしょうか。MR越しに見えるアニメーションと、鑑賞者の様子を合成することもできそうですよね。

大西：当初の企画は、部屋の中にスピーカーが上下左右に内蔵された展示台があり、その間を回遊して観賞するというのを考えていました。そこに至るまでの第１段階として、奥行きの無い左右の音移動+MRをつくろうと考えました。

戸村：ヘッドホンかスピーカーかでも体験が変わってきます。まだ答えのない分野なので、探りながらやっていくのが良いでしょう。

大西：以前の作品『Forest and Trees』は、点在させたデジタルフォトフレームの間を鑑賞者が歩けるというものでした。デジタルフォトフレームのスピーカーは貧弱ですが、音の聞こえる方向がはっきりしていたので構成しやすかったです。そういうものがつくれたらいいと思います。

戸村：空間の制約を解き放して、究極にはMRデバイスさえかけずに見られたらいい、ということですね。

大西：はい。もしかしたら技術的には何年か早かったかもしれません。このプロジェクト開発の期間で「HoloLens2」が発売されるかどうかにもかかっています。万が一発売が間に合わなかった場合は、スマホによるARで代用することも検討したいと思います。まずは今回やりたいことが本当に今の技術でできるのか確かめるために、リサーチから進めたいと思います。

―次回の中間面談に向けて、技術面の研究を中心に制作の準備を進めていく予定です。