初回面談レポート#2：早川翔人

―最初にプロトタイプの動画を再生しながら、面談が始まりました。

早川翔人（以下、早川）：画面左にこちらを向いて座っているのが、カメラ入力からクロマキー合成された僕自身です。この位置に、鑑賞者がクロマキー合成されてリアルタイムに入り込むことになります。背景、鑑賞者、手前の人物はそれぞれ別のレイヤーで、合計3つのレイヤーを合成しています。
手前の人物は、最近ビデオゲーム業界でよく見るようになった「デジタルヒューマン」と言われるCGアバターです。この人物はフィクションで、あらかじめつくり込んでおいたさまざまな動きやセリフが、鑑賞者の表情や発言内容に応じて再生されます。
この作品は、鑑賞者のインタラクションによって場面転換が起こり、物語が展開していくゲーム形式の作品です。インタラクションの入力として、鑑賞者の表情を使おうと考えています。クロマキー合成された鑑賞者のいる位置は一定で、背景の変化や対峙する人物の入れ替わりによって、物語や場面の展開を演出します。

大まかなプロットと、最初のシーン内の分岐を考え、それぞれ図式化してみました。分岐は5段階ほどを想定しています。各シーンの最後にある選択肢次第で、次の展開が決まります。
まず鑑賞者が座席に座るところからスタートし、映像内で対峙する人物（デジタルヒューマン）から、「個室だし、マスク外してもいいんじゃない？」と問いかけられます。過去の作品でも、漫才でいう「つかみ」のようなとっかかりをつくることで、鑑賞者を半ば強制的に作品に入り込ませているのですが、これが今回の「つかみ」です。 マスクを外すと、さらに「いつも反応薄いよね。ちょっと笑ってみてよ」などと促され、それがチュートリアルになり、自然な流れで表情の入力練習をします。インタラクションの在り方としては、わかりやすく表情の二択を促すものもあれば、鑑賞者が気づかないうちに表情が読み取られ、それが後の場面展開を左右することがあってもいいと思っています。例えば、Happiness（喜び）のメーターが蓄積され、その量次第で終着点の天気が変わるといった具合です。

早川：デジタルヒューマンの動きを検証していて興味深かったのが、アバターの表情を動かすには、普段以上に大げさに表情をつくらないと検出されないことです。そこから、今回の作品では鑑賞者の「表情」を入力にしようと考えました。リズムゲームが「音ゲー」なら、表情によって物語を変化させる「顔ゲー」のようなイメージです。
Unityの表情を検知するプラグインで試してみたところ、口角を上げると「Happiness（喜び）」が95%、口を大きく開けると「Surprise（驚き）」が92%といったように、表情から読み取られた感情が数値化されました。検知しにくい感情もあったので、検出されやすい感情を4つ程度に絞ろうと思っています。
もう一つ、今回の作品では「マスキング」もキーワードだと考えています。コロナ禍でマスクをつけるのが習慣化されましたが、おそらく本作を体験してもらうときも鑑賞者はマスクをつけているでしょう。顔の情報が隠された、つまり顔がマスキングされた状態を客観視することから作品体験が始まるわけです。ただ、顔そのものもある意味、感情をマスキングするメディアですよね。また、映像メディア自体も、フレームで景色を切り取ったり、クロマキーで不要な部分を排除したりと、本来そこにあるものをマスキングする性質を持っています。作品の裏テーマとしては、マスキングについて考えてみるのも面白いのではないかと思っています。

タナカカツキ（以下、タナカ）：全体的に面白いと感じています。顔が見えないアングルから捉えたデジタルヒューマンのたたずまいが不気味でとてもいい。あれが独特の空気感を醸し出していますよね。気になるのは、鑑賞者がまず席に座る動機です。それを決めるのは、シナリオでしょうね。

早川：はい。僕自身、一番心配なのがシナリオです。そこが決まらないと具体的に動けないですが、僕は圧倒的にハードの人間で、作品も技術面への好奇心の積み重ねでできていくところがあります。物語にはあまり興味がわかず、シナリオはこじつけになってしまうことが過去の作品でもありました。

タナカ：最初にデジタルヒューマンに「笑って」とか「驚いて」とか言われるわけですよね。チュートリアルではありますが、僕はその意味が知りたくなりました。例えば、最後にはデジタルヒューマンとの立場が逆になってしまって「あれは自分だったんだ！」と気づいて終わる。よくあるパターンではありますが、シンプルでわかりやすいですよね。これは一つのアイデアですが、何かしら作品を包むものとしてのシナリオは重要です。そして、シナリオを考える上で重要なのは、終わらせ方です。
作品の要素は面白いので、終わらせ方が決まれば一気にまとまると思います。斬新な作品だからこそ、シナリオはごくシンプルな方が際立つでしょうね。

早川：終わらせ方が一番苦手で……。これまでの作品も、フェードアウトでループさせてしまうことが多かったので、考えてみたいと思います。

山川冬樹（以下、山川）：心理学的にも、演劇的な視点でも興味深いプランだと思います。鑑賞者の表情が入力されると、その反応は映像上の人物だけではなく、鑑賞者自身（＝自分）からも返ってくるのですよね。「笑って」という突然の指示に懐疑的になりながらも笑ってみると、笑った自分に対するインタラクションが内面でわき上がる。映像によるテクニカルな変化と、自己の変化という、二つの変化が同時に起きます。
難しいのは、やはり観客の気持ちの引き込み方ですね。早川さん自身、すでにかなり意識されていると感じます。「顔ゲー」という言葉は、鑑賞者が作品への関わり方を捉えるいいキーワードですね。そこに惹かれる人は積極的に顔を動かしてくれそうです。また、一対一で誰かと会話するシチュエーションですので、会話に応答する責任が生じます。さらに作品を鑑賞する責任、つまり作家への応答責任も生じます。責任をポジティブな気持ちで引き受けたくなるような、誘う工夫が必要ではないでしょうか。
その解決として、体験した鑑賞者への報酬という考え方があると思います。報酬と言っても金銭ではなく、例えば体験のなかで鑑賞者が自然に笑ってしまう場面や、あるいはときめいてしまう場面があれば、それは精神的な報酬になります。「しょせんフィクションだから」と斜に構えていたものから、心への報酬が得られると、観客自らコミットして、物語も進展していくのではないでしょうか。
認知心理学にもヒントがありそうです。人間はもちろん、動物も表情を読み取ります。本能的なレベルでも重要なものなので、どんどん掘り下げられると思います。
演劇や映画などのディレクションや、演技指導、役者の経験などはありますか。

早川：作品のプロトタイプをつくる段階で仮に演技する程度で、経験はありません。

山川：演劇には仮面劇の歴史もあり、表情とも深い関わりがあります。演技はいつか経験してみると面白いですよ。嘘だけど嘘じゃない、という状態に持っていく。演じるってすごく不思議な体験です。
今回は、言葉は入力されないのでしょうか。

早川：今後の展開としてはあり得ますが、今回は技術的に難しそうです。

山川：声を発しないとき、人は内向的になっているので、人と対峙していながら声を出さないのはある意味特殊な状況とも言えます。声を出すか出さないかは、体験としても大きく異なりますし、無言を通すのであればそれをシナリオに生かすなど、声の存在を積極的に意識するといいと思います。

タナカ：表情だけで表現するのは、言葉以上に内面をさらけ出す行為ともいえます。結構恥ずかしくもある。その様子を自分自身で見続けるのは、人によってはハードな体験かもしれません。

山川：他者の視線を意識してしまうがゆえにハードなのかもしれません。完全な個室で、ギャラリーがいなくなるだけでも、鑑賞者の心持ちは変わります。ただ、誰にも見られていない状況をつくったとしても、おそらく作家の目は意識することになるでしょう。そこにはある種の駆け引きがあって、インタラクティブな作品は作家と鑑賞者が一緒につくるものとも言えます。コラボレーターとしてのっかってやろうと思わせる工夫と、せっかくのその気持ちが削がれないための配慮、両方が必要ですね。プロトタイプを色々な人に体験してもらって、ヒアリングできるといいと思います。

早川：次の面談では、プロトタイプを体験していただけたらと思っています。

タナカ：シーンのトライアルなども、いろいろと見られると嬉しいです。楽しみにしています。

―中間面談では、体験可能なプロトタイプが登場する予定です。