最終面談レポート#2：早川翔人

―前回同様、アドバイザーのデモ体験からスタートします。表情をつくるチュートリアルの後、いくつかのシチュエーションに対して表情で反応します。目の前にいる映像のなかの人物が咳込んだたり、他愛もない話題への反応を求められたり、映画館で一人映画を見ていたり。それぞれの場面で体験者の表情が検出されますが、無表情（natural）の場合は次の場面へ進むことができず、警告を示す赤いランプが灯ります。いくつかの場面を経て体験は終了かと思いきや……。

山川冬樹（以下、山川）：最後のシーンを体験して、ハッとさせられました。「表情」は感情を表すと当時に、感情を隠すものでもあるという話をこれまでの面談でもしてきましたが、そうした内面と外面のズレが最後のシーンに集約されていましたね。自己同一性が崩壊するような強烈な体験でした。

早川翔人（以下、早川）：最後に「もう一度笑ってください」と促されるのですが、笑っても画面の中の自分は怒っていて、自分の表情と画面上の表情が一致しなくなるのです。実は冒頭のチュートリアルを記録していて、あの場面ではそれを再生しています。ずっと鏡のように同期していた画面上の自分が不意にズレることによって、自分から自分が剥がされるような感覚を与えられたらと思ったのです。前回の面談でいただいた「自分と対峙する」というヒントや、エンプティ・チェア（心理療法の手法）の話などから考えました。

山川：あのあと、さらに続いてもいいかもしれませんね。あれこれ話しかけられて、体験者がどれだけ表情を動かしてもずっと同期せず、そのうち画面の自分が勝手に喋り出すとか。
チュートリアルの最後に出てくる写真や咳込む人への反応など、どんな表情をしたらいいのか判断が難しい場面が多いですね。よりストレートに感情を抱きやすい動作でも良い気もしますが。

早川：おっしゃるようにもっとわかりやすい方がいいかもしれません。今後、ますます日常的に機械とコミュニケーションをとる機会が増えると感じていて、未来を見据えたフィットネスとしてこの作品を捉えるのも面白いのではと思っています。健康な身体づくりではなく、テクノロジーに適合した身体づくりのためのフィットネスです。そう考えると、この体験では表情筋を過剰に動かして、無理矢理にでも表情をつくらせたいです。

タナカカツキ（以下、タナカ）：だとすれば、正解の表情はわかりやすい方がいいでしょうね。わかりやすくてもあえて裏切る人もいるでしょうし、選択の自由がなくなるわけでありません。

山川：チュートリアルがよりわかりやすくフィットネス的な演出になれば、体験者の意識も、過剰な表情をつくる方向に移行させられそうです。

タナカ：表情の同期がズレた瞬間の面白みを最大限に活かすため、同期を活用してもっとなにかできる気がします。心理学の実験で、偽物の手を自分の手と錯覚させるもの（*1）がありますよね。画面の中の手と自分の手でそんなこともできそうです。
場面転換のアイデアはとても面白いですね。屋外に出たりはしないでしょうか。もっと意外性のある場所に飛んだり、スケール感を変えたり、色々な可能性があります。

早川：屋外はライティング調整が難しいですが、夜だとできるかもしれません。

*1 ……ラバーハンド錯覚のこと。衝立などを用いて被験者に自身の手が見えないようにし、代わりに偽物の手を見せ、被験者自身の手と偽物の手の両方にまずは同じ刺激を与える。その上で今度は偽物の手にだけ刺激を与えると、被験者は自身の手でその刺激を受けているかのように錯覚する。

タナカ：表情が同期しなくなった状態でまた向かいの人が咳込みはじめたら、すごく不快な気持ちになるでしょうね。

山川：作為的に表情をつくるだけではなく、本当の感情が動く場面もあると、体験者の感情はさらに揺さぶられそうです。

早川：人の笑いには「laugh」と「smile」の2種類があるのだそうです。前者は自然な感情の表れで、後者は相手との関係性を保つための笑顔。つまり、「smile」はある意味で防衛手段であり、裏を返せば負の感情の現れでもあるということです。表情のトレーニングを調べると、笑顔では「smile」のトレーニングばかり出てきて、さまざまな表情の中でも、笑顔は特殊なのだなと感じます。調べると面白くて、その中で湧いた違和感も作品に落とし込めたらと思っています。

山川：面白いですね。地域によって、文化や歴史から刷り込まれた表情のイメージも異なるのでしょうね。たとえば、さきほどのタナカさんの怒りの表情はまるで不動明王のようでした。

早川：国や地域による表情の差は大きいですね。現状のプログラムは欧米人の顔をサンプルにつくられていて、日本人の微妙な表情が検出されないのはそのせいでもあります。今は、アジア人の表情サンプルを学習させていて、それを元にオリジナルのデータセットをつくれたらと思っています。発表する国に応じたデータセットでバージョンを増やしていけたら面白そうです。 加えて、体験者が表情を動かすモチベーションに繋げられたらと、作曲家と一緒にアクションユニット（*2）の数値に応じて変化する音響を考えてみています。ポイントごとに楽器の音を割り当てて、喜びに近づくとメジャーコード、悲しみに近づくとマイナーコードというように表情で変化する、オーケストラによる映画音楽のような音をイメージしています。

*2 アクションユニット……表情を読み取るために定義された動きの単位。顔の各部位にポイントを置き、「アクションユニット6 [頬が上がる] ＋ アクションユニット12 [口角が上がる] ＝喜び」など、ポイントの移動の度合いを数値化し組み合わせることによって変化を読み取り表情を定義する。

早川：成果発表では、今回のように照明も含めたリッチな体験は条件的に難しいので、予告編の映像上映に表情検知のシステムを加えたものになりそうです。僕をモデルに体験者の様子も流す予定です。その後はまだ検討中ですが、3月中に招待制でデモ体験の場をつくって、多くの人からフィードバックをもらえたらと思っています。
今のところ被験者は主に自分ですが、ずっとやっていると表情のつくり方がおかしくなってきて、プログラムによって表情を変換されてしまったような感覚があります。

山川：多かれ少なかれ、その感覚を体験させようとしているわけですよね。

タナカ：この作品を通して社会にどんなアクションができるかを考えると、表情が同期しなくなってズレることにも、なにかメッセージがほしいですね。例えば先ほどの「smile」の話をここに持ってきても面白いと思います。今回のデモでは、同期がズレた画面上の自分は怒った表情をしていましたが、あれが「smile」だったらどうでしょう。普段の自分を顧みざるを得なくなる気がしませんか。僕が思うアート作品は、体験後に普段の自分を顧みさせるような視点を与えてくれるものです。ちょっと意地が悪いくらいのやり方で、体験者をつついてみてもいいと思います。

早川：まだ思い切りが足りないということですね。

タナカ：体験者がなかなかそこから抜け出せないくらいの悪夢のような体験になってもいい。ただ「表情をつくって楽しかったな」では終わらない、「あの体験はなんだったんだ」と引きずるような体験を期待します。

山川：そうですね。悪夢のようなところまで思いっきりやってみたらいいと思います。やりすぎたら戻せばいい。作品の空気感にすでに悪夢の片鱗はあります。
発表の形式を招待制や予約制に限るのも一つの手です。そうすれば、ある程度振り切ったことも可能になるでしょう。前回の面談でもアイデアが出ましたが、予約と同時に問診票を書いてもらうのもいい演出になるでしょうね。体験後に診断書が渡されて、「なんだったんだ」と思いながら家で見返すのです。

早川：なるほど。それがいい気がしてきました。

タナカ：噂が広まって、かえって話題になりそうです。

―成果発表やその後に向けて、さらにシステムや内容を深めていきます。