第84回情報処理学会全国大会　第4回中高生情報学研究コンテスト

チーム名：KANJO線

佐藤佑海くん（小山工業高等専門学校  3年）、秋本瑞貴くん（2年）、渡邊了晟くん、加藤裕槻くん（１年）

現代、新型コロナウイルスの影響でオンライン授業、会議が増えている。しかし、オンラインの発表者は対面と異なり、表情やつぶやきなどの聞き手の反応を確認できない課題がある。これはオンライン授業、会議において、多くのケースでプライバシー保護の観点で聞き手側がマイクやカメラをミュートにしていることが原因である。

この課題を解決する為、我々は聞き手の体温、脈拍の変化から感情を分析し、発表者にリアルタイムで共有することでオンライン上では伝わらない聞き手の反応、感情が伝えるアプリケーションを提案する。

本研究では聞き手に体温、脈拍センサを装着、データを取得し、アプリケーションサーバーへ送信・分析することでその感情を分析、結果を発表者に表示することでリアルタイムに感情を共有する機能を実装した。この提案システムを導入することで社会のオンライン上のコミュニケーションをより快適かつ円滑にサポートできるようになる。

※クリックすると拡大します。

■今回発表した研究を始めた理由や経緯を教えてください。

今回の研究を始めたきっかけは、私の父からオンライン会議で資料の発表を行ったときの経験談を聞いた時です。父は場の雰囲気を盛り上げるべく、軽いジョークを交えながらプレゼンテーションを行っていました。しかし、聞き手側はマイクやカメラがミュートになっているため、父親としては聞き手側がどんな反応を取っているかわからなくて、「この会議は盛り上げっているのか？」「このプレゼンに興味を持って聞いてくれているのか？」といった不安に襲われたそうです。

また、昨今新型コロナウイルスによってオンライン会議、授業が増えているため、このようなオンライン会議、授業における「相手の反応がわからない」といった問題を解決するために、今回の作品「KANJO線」を開発しました。（佐藤くん）

■今回の研究にかかった時間はどのくらいですか。

システムの構想から、実現するための知識や技術の勉強、開発を含め、去年の4月から11月までかかりました。（佐藤くん）

■今回の研究ではどんなことに苦労しましたか。

今回のシステムでは体温と脈拍の変化から感情を読み取るといったコンセプトで開発しました。それにあたって、体温と脈拍の変化と感情の変化の関係を調べるべく試行錯誤したことが、とても苦労しました。（佐藤くん）

一番はハード側との兼ね合いです。独創性を出すため測定機器を自作した結果、稼働が不安定になってしまい、計画が混乱してしまいました。（秋本くん）

プログラミングというものは、相手が人間ではないため、コミュニケーションが取れません。自分の思った通りにことが進むということがなかなかなく、苦労しました。（渡邊くん）

RaspberryPiやMySQLなど、初めて扱うものは一から調べて、試行錯誤しながら作っていかなければならないという点が最も苦労し、最もやりがいを感じたことでした。（加藤くん）

■「ココは工夫した!」「ココを見てほしい」という点を教えてください。

このシステムは体温、脈拍センサから得られたデータから感情を分析し、リアルタイムに共有するといった仕組みです。websocket通信を勉強し、実装することによって体温と脈拍の変化を表すグラフ、感情を表すＵＩなどをリアルタイムに更新することができました。（佐藤くん）

自分の担当した部分では、バイタルサインのログの終了点や覚醒状態の追加などで、分かりやすさを改善したことです。（秋本くん）

授業中等に使用する装置ということもあり、机に置いても邪魔にならないようにすることを工夫しました。机に置かないですむようなハードウェアが実現したら、より良いかと思います。（渡邊くん）

センサ側からデータベース側へ通信するときに、自分の知識で対応できるようRaspberry Pi OSとWindowsの両方を使用し、適切に変換・記録できるよう努力しました。（加藤くん）

■今後「こんなものを作ってみたい!」「こんな研究をしてみたい」と思うことがあれば教えてください。

今回は感情を分析するにあたって体温と脈拍の二つのデータを用いましたが、今後表情やまばたきの回数といった他の情報からも感情を分析出来るのか検討し、さらなる精度の向上に励んでいきたいと思います。（佐藤くん）

現在取り組もうとしているスマートフォンアプリの開発にあたって、今回学んだハードウェアとの連携やリアルタイムな情報の表示をより学んでいきたいです。（秋本くん）

私は映像での演出に興味を持っているので、それぞれの演出が観客にどのような心情の変化をもたらすかについて知りたいと考えているので、それについての研究が出来たら嬉しいです。（渡邊くん）

イベント会場や学校の文化祭など、一時的でかつ人の出入りが多い場所でも簡単に導入できるような入退室管理システムを作ってみたいと思っています。（加藤くん）

第84回情報処理学会全国大会中高生情報学研究コンテスト　ポスター発表より

　※KANJO線の皆さんの研究は、中高生研究賞奨励賞を受賞しました。