「音を描く」をテーマに、音に反応しリアルタイムに映像が生成されるオーディオビジュアルシステムを制作している阿部和樹さん。『手描きの計算』では、マンガやアニメーションにおける人の手による「描き込み」に着目し、そのプロセスをアルゴリズムで記述することを試みます。また本作はインタラクティブな作品として、インターフェースや展示を含めて設計予定です。まだ抽象度の高いテストピースに、アドバイザーからはアニメーションもしくはマンガの表現をよりわかりやすく取り入れることの必要性や、効果がわかりやすい音づくりの重要性が説かれます。また発表の場についても、さまざまなアイデアが提示されました。
アドバイザー:さやわか(批評家/マンガ原作者)/モンノカヅエ(映像作家/XRクリエイター/TOCHKA)
初回面談:2024年9月30日(月)
「文脈」と「音」への意識でより伝わる作品に
人の手による描き込みをコンピューターで表現
「描き込みなどの人の手による技巧は、これまであまりコンピュータを用いた表現では意識されてこなかったのではないか」と阿部さん。マンガやアニメーションの描写における「描き込み」に着目し、人の手ならではの表現を取り込むことで、独自性のある表現を目指します。
自作のシステムを用いみずからVJなども行うという阿部さんは、VJの記録映像なども交えながら、今回の企画につながる過去作や、VJの音源をサンプルに制作したテスト映像を再生。仕組みとビジュアルイメージをアドバイザーに共有しました。オーディオの解析と描画、2つのソフトから成り、音源の高音、中音、低音の各音域の波形をそれぞれ解析、その結果から描画が自動生成されるシステムです。画面上では、マンガやアニメを思わせる黒い描線とカラフルな色面による抽象的な形体が群れをなして動きました。
動くシステムがすでにできてはいるものの、ビジュアルのつくり込みの方向性にまだ迷いがある様子です。加えて、プレゼンテーションの仕方も検討中といいます。
どの文脈で見せるか
映像の動きや線、色などの要素から「アニメーションのエフェクト(爆発や落雷などの特殊効果的な表現)作画や、セル画制作の途中段階にある色トレス線を思い浮かべた」とアドバイザーのモンノカヅエさん。ただ、今の表現はまだ抽象的なため、よりわかりやすくアニメーションの表現に寄せることを提案します。「メディアフェスティバルなどへの応募を想定すると、このままでは審査員がこの作品をどう捉えたらいいのかわからないと思う。アニメーション、あるいはマンガでもいいが、なにかの文脈にわかりやすく乗せることで、作品が見やすく捉えやすくなる」と、制作物を作品として捉える際に必要になる「文脈」について説きました。
アドバイザーのさやわかさんは重ねて、「テスト版の一部に直線が出てくるところがあるが、直線はマンガの枠線を彷彿とさせる」と、マンガの文脈に乗せられる可能性も示唆。すでにある要素を作家自身が捉え直し取捨選択し、より明確に表現する必要性を述べました。加えて「人の手ならではの表現があるのと同様に、コンピュータにしかできない離れ技もあるはず。比較対象を考えることで、手描きならではの表現が捉えやすくなるかもしれない」と、表現したいものを多角的に検証するための一案を提示しました。
システムがより伝わりやすい音
また、モンノさんからの「VJの音楽は波形が出にくく、このシステムに適していないのではないか」という指摘から、音づくりの重要性についても議論されました。
さまざまに活用できる「システム」そのものが作品ではあるものの、そのプレゼンテーションもまた作品であり、音を含めて、インスタレーション全体をデザインする必要があります。「音がずっと鳴っていると、音からリアルタイムに映像が生成されているということは伝わりにくい」とさやわかさん。一番わかりやすいのは、鑑賞者のアクションによって音が鳴り、その音に連動して画面上の絵が動くことだと言います。
弦楽器やピアノ、はたまたテルミンなど、適した楽器のアイデアが出されましたが、その中で阿部さんが惹かれたのは「常設されているストリートピアノに作品を設置する」という案です。プレゼンテーションの方法にも悩んでいた阿部さんでしたが、全体像がこのアイデアによって一気に具体化しました。一方で、ピアノを使ったオーディオビジュアル作品というと、岩井俊雄による『映像装置としてのピアノ』(1995)(*1)が思い出される人は多いでしょう。プレゼンテーションのかたちが具体的に見えてきた分、既存の作品との差別化や、実現可能なストリートピアノのリサーチや交渉など、取り組むべき課題も見えてきました。
→NEXT STEP
描画の方向性を検討しながら、作品が設置可能なストリートピアノのリサーチと交渉を進める
*1 令和4年度文化芸術振興費補助金メディア芸術アーカイブ推進支援事業で「岩井俊雄アーカイブ&リサーチ」として採択され、再制作された。
https://macc.bunka.go.jp/news/1395/