スマートフォンのカメラを使ってリアルタイムの指文字会話を実現する

チーム名：北斗野球部情報班

柳本陽亮くん、辻 優樹くん、池田 真くん（北海道北見北斗高校　2年）

リアルタイム指文字認識システムの開発　

手話や指文字は、健常者の認知度が低いため聴覚障害者の方との会話が難しい。外国語翻訳サービスは数多くあるが、手話や指文字を翻訳するサービスはほとんど開発されていない。そこで、スマートフォンのカメラを使用し指文字を翻訳できるサービスを開発しようと考えた。

Googleのmediapipeという機械学習システムを用いて、指関節にポイントを設定しそれぞれのx座標,y座標を読み取り、指文字に置き換え画面上に出力できるようにする。

結果は、複雑な形状の指文字を認識することはできたが、「の」「も」「り」「を」「ん」などの動きを伴った指文字は認識できなかった。さらに、画面上にテキストを描画する際に使用するOpenCVがマルチバイト文字の描画に対応していないため、日本語フォントを扱うことができなかった。

今後の研究では、動きを伴う手話を認識する仕組みを実装させ、読み上げ機能等をつけて手話使用者とスムーズなコミュニケーションをとれるツールにしたい。

※クリックすると拡大します。

■今回発表した研究を始めた理由や経緯を教えてください。

研究活動のテーマを考えているときに、パソコンを使って何か人助けができたらなと考えていたとき、外国語翻訳等のアプリケーションは開発が進んでいるが、手話や指文字を翻訳できるアプリケーションがなかったので、自分たちでそれを作れないかと考え、研究を始めました。

■今回の研究にかかった時間はどのくらいですか。

１年間丸まるかかり、現在も開発中です。

■今回の研究ではどんなことに苦労しましたか。

各指の座標がどうなったらどのような文字として認識するか、という仕組みを考えるのに苦労しました。自分たちで指文字の対応表を作れば手っ取り早いのですが、既存の指文字表に対応させるのが苦労しました。

■「ココは工夫した!」「ココを見てほしい」という点を教えてください。

あらかじめ撮影した動画ではなく、リアルタイムで画像を処理して結果を出力できるようにしたことです。

■今後「こんなものを作ってみたい!」「こんな研究をしてみたい」と思うことを教えてください。

違う国の言語や、障害のあるなしにかかわらず誰もがコミュニケーションをとれ生活が豊かになるツールを製作してみたいです。

第83回情報処理学会全国大会中高生情報学研究コンテスト　ポスター発表より

　※北斗野球部情報班の研究は、奨励賞を受賞しました。