文化庁メディア芸術祭で『君の身体を変換してみよ展』(佐藤雅彦研究室+桐山孝司研究室/ユーフラテス)が第12回エンターテインメント部門優秀賞を受賞、『VISTouch』(安本匡佑/寺岡丈博)が第19回エンターテインメント部門審査委員会推薦作品に選出された安本匡佑さん。今回採択された企画は『映像の彫刻』(仮)という作品です。それぞれの相対的位置関係を認識する数十台のディスプレイ群により、ひとつのインタラクティブな映像彫刻をつくります。
安本さんのアドバイザーを担当するのは、東京工芸大学芸術学部ゲーム学科教授/日本デジタルゲーム学会副会長の遠藤雅伸氏と、アートディレクター/映像ディレクターの田中秀幸氏です。
形としての彫刻と映像の彫刻
安本匡佑(以下、安本):今回の作品では、映像の彫刻を作っていきます。基盤となる技術は第19回メディア芸術祭の審査委員会推薦作品にも選ばれた、複数の携帯端末を動的かつ立体的に認識し、ひとつの世界を表現するシステム『VISTouch』を使います。タブレット端末やスマートフォンに、導電体による接触で相対的位置関係を認識することができるケースを付けることで、それぞれのデバイスを認識することができ、複数組み合わせるとそれぞれが別の位置関係をリアルタイムに取得します。原理的に何台でも接続することができるので、台数を増やしたり、途中の順番が変わっても自動的に認識して組み合わせていくことができます。この技術を使ってスケールアップしたものを作って、形としての彫刻と映像として彫刻という2重の意味を持つものを作っていこうと思っています。
当初は、「Surface Hub」という大きなディスプレイを土台に敷いてその上にタブレット端末を積み上げて作ろうとしたのですが、今は実際にどういう大きさにするかということ、そしてタブレット端末の必要枚数を検討しています。土台は42inch、45inch、55inchいずれかを検討しているのですが、ディスプレイの大きさに対してiPadの大きさがスケールダウンしてしまうような印象になってしまうので、全体の統一感に乏しいかもしれません。そこで、別の形態も模索しようと思っています。土台をなくして同じようなサイズのデバイスを組み上げていって形状を作ることも可能なので、どちらがいいのかを試しています。
ディスプレイの映像は、MRI(*1)で撮影された人体の断面のデータが映像として表示されます。作品では全身のあらゆる断面を見れるようなことができればと思っています。MRIのデータを分類することで骨、腎臓、血管など分かりやすい臓器の部分を抽出して見せることができます。現在はとある病院とやり取りして既存のMRIデータを提供いただいて研究をしているのですが、そのデータは部分的であり全身のデータはありません。今後は医療系の大学と連携していきたいと考えています。
MRIでポーズをとった状態で撮影して、アニメーションできるようなものが理想なのですが、MRIの構造上「寝そべる」以外の撮影は難しそうです。寝そべった状態のデータをもとに、そこにボーンを組み込んで動きをつけて、アニメーションを適用させることもできます。今回の作品では医学的な標本を作るわけではないので、そこまでする必要はないかもしれませんが、断面が表示されたときに細かい嘘が見えてくる可能性があるので、それをどこまで許容するかを考えないといけません。自分としては医療データ並の正確さで動いているものを自由に切れるというのが理想ではあります。
*1 MRI ……X線を使うことなく、強い磁石と電波を使い体内の状態を断面像として描写する医療装置。Magnetic Resonanse Imaging(磁気共鳴画像)の略。
アート、医学、エンターテインメント……どこに焦点を当てるか
遠藤雅伸(以下、遠藤):注意したいのは、どういう方向性にするかということですね。アート作品として見せるのか、医学的な部分にこだわるのか、エンターテインメント作品として見せるのか。いろいろな方向性があると思いますが、見た人が驚くものじゃないとつまらないというのがポイントだと思います。インタラクティブな部分をやってみたいと思えるものでありつつ、その体験者がいない状態で見ても長く楽しめるということが重要です。
安本:他のアイデアとして考えていることは、ターンテーブルで土台がゆっくり回転するものを2台作り、1台では男性の人体をディスプレイが組まれた状態で表示させておいて、その隣に土台だけをもう1台用意する。観客がiPadを持って土台だけのものの近くでアクションすると女性の身体が見えてくるというもの。一見、片方はディスプレイが組まれていて、片方には何もないけれど、同じ文脈で並べてあれば映像の存在を観客も推察できると思うんですが。
遠藤:多分それだとわからないと思います。男性の形をしたマネキンが実際に置いてあって、何もないところではそれと同じ位置の人体の切り口が見えるというのであればわかるのですが、一方男性で、一方女性ということまでわかる人はなかなかいないかもしれません。それと、全てがターンテーブルで回っている必要はないですよね。動いているものと止まっているものがあって、止まっているものに対して観客がアクションしやすいように設置するなど、丈夫に作っていればそういうやり方もできますね。
安本:はい。ターンテーブルで常に動かしていると、服がひっかかったりする恐れもあり、まれに触って壊してしまったりするのではないかという懸念もあります。
遠藤:観客は止まっているものでないと接触することが難しいと思うので、ディスプレイにタッチして見せるということであれば止まっている方が良いと思います。そしてタッチする場合には組み上げていけるところを見せた方が効果的なので、そこをどう見せるかですね。
安本:形を完全に固定してしまうとディスプレイ同士の位置関係まで完全に固定になってしまうので、タッチを認識してようがしてまいが、初期設定以外での位置関係の変化は関わりがなくなり、インタラクティブ性に欠けてしまいます。
遠藤:インタラクティブ性を重要視するならば、観客が体験しやすいサイズも含めて、大中小という具合にサイズ違いのタブレット端末を用意するのもいいですよね。そのような見せ方も可能なのですか?
安本:人体ではない、犬や猫のような動物のMRIデータを用意することができれば、そのような触りやすいサイズでも用意することも可能だと思います。
遠藤:タイトルの通りの「彫刻」として見せるなら、人体サイズのものはすごくわかりやすいと思います。どの方向性にしたとしても、新しい表現をするときにはわかりやすさが重要だと思います。
『映像の彫刻』という面白さをどう体現するか
田中秀幸(以下、田中):技術的な面は理解できたのですが、どうしたら最もその面白さが全面に出てくるかが重要ですね。人体がスライスされている感じを体験できることが一番面白いと思うんです。最初は、映像自体が動くよりも、ディスプレイ自体が動いていて、その中で3次元的にスライスされたMRIの映像が見えてくると「彫刻」っぽく見える、複数のディスプレイによって作られる歪んだ空間の中で見えるというものをイメージしていました。
やはり、「彫刻」という部分を新しくするというコンセプトがわかりやすいと思います。例えばナム・ジュン・パイク作品は表面的なマテリアルやテクスチャが映像によって変わっていきますよね。それを進化させて、3次元的な形態によって歪んだ空間が作られていくというようなイメージになると良いのではと思います。もちろん、そこで鑑賞する人が参加するという要素が入ってきてもいいのですが、動いている中で「彫刻」が表現されるのが大切だと思います。『映像の彫刻』というタイトルが面白いと思ったので、それを体現してして欲しいです。
安本:自分としては、何を映すかが大切だと思っています。普段見ることのない内部構造がビジュアライズされる部分と、遠くから見たときに別々な視点がひとつの視野に入ってくるのが面白いと思っています。
田中:ビデオカメラを使って、実際のリアルな空間までオーバーラップして表示されたらさらに面白くなるかもしれませんね。
遠藤:そうですね。拡張現実の中に内臓や血管が浮かんでいるような感じですね。
田中:大切なポイントを絞った方がいいですね。あとは、全体像が大切なので、常に完成イメージラフみたいなものがあるといいですね。
―次回の中間面談では、今回のアドバイスを受けて撮影されたMRIの画像データや完成のイメージなどが共有される予定です。