プロジェクションマッピング+音楽+姿勢推定に挑戦してみた!

チーム名：スピカ

幡 優成くん（開智高校[埼玉県]２年）

インタラクティブな映像の制作とその考察

この計画の動機は、僕が今まで多くのメディアアートの作品を見て、自分でも映像を作ってプロジェクションマッピングをしてみたいと思ったことです。また、投影するからには面白いものにしたいと思い、音楽と姿勢推定とマウスを用いた映像を作ることにしました。

方法は、プログラミングで映像を制作するTouchDesignerと姿勢推定をするPoseNetを使用し、学校のホールとプロジェクターを借りて行いました。結果はある程度うまくいきました。けれども、音楽の展開によって音を認識する部分が高い音と低い音で大きく差が出てしまい、映像を見たときに反応しているのか分からないことがありました。加えて、TouchDesignerの出力する映像の解像度が制限のため低く、ぼやけてしまいました。

今後はこれらの反省を元に新たな映像を制作してみたいです。さらに、Arduinoや3DCG、GLSLやVRなども活用したいと感じました。

※クリックすると拡大します。

■今回発表した研究を始めた理由や経緯を教えてください。

もともとパソコンを使って何かを表現するのが楽しく、Processingやvvvvなどをかじったり、音楽制作をしてみたりしていました。この研究をする際、最初は建物や立体に映像を当てるプロジェクションマッピングをしたかったのですが、せっかくだから、もう少し趣向を凝らしてみようと思い、姿勢推定やマウスの動きを利用した映像を作ることにしました。

■今回の研究にかかった時間はどのくらいですか。

去年の８月ごろから始めて、今年の１月ごろまでかかりました。とは言え、この研究とは関係ないこともしていたので、実際はもっと短いと思います。

■今回の研究ではどんなことに苦労しましたか。

姿勢推定のパラメータをTouchDesignerに送る所が大変でした。いろいろ試して、最終的につながったのは嬉しかったですね。

■「ココは工夫した!」「ココを見てほしい」という点を教えてください。

プログラムの組み方自体はあまり工夫していないのですが、TouchDesignerは、同じようなソフトウェアの中でも、比較的簡単にプログラムを組むことができたので良かったです。また、他の姿勢推定よりも処理が軽いと言われているPosenetを使ったのも、工夫しているところです。

■今後「こんなものを作ってみたい!」「こんな研究をしてみたい」と思うことを教えてください。

今回の研究の結果が分かりづらいものになってしまったので、もう少し映像を改善していきたいです。また、今後もプロジェクションマッピングといったような映像関係はしていくつもりですが、３次元に興味があるので、モデリングやVR空間の作成などもしてみたいなと思います。また、音の分析にも興味が出てきました。

第83回情報処理学会全国大会中高生情報学研究コンテスト　ポスター発表より