神奈川工科大学（厚木市下荻野1030）情報学部情報工学科 画像情報処理システム研究室が、相手の口の動きを読んで理解する「読話」の力を身につけるためのトレーニングアプリを開発しました。日本語の音と口の動きの関係を覚えたり、発話の動画を見たりしながら口の動きを読み取るトレーニングができます。
神奈川工科大学情報学部情報工学科の画像情報処理システム研究室が、相手の口の動きを読んで理解する「読話」の力を身につけるためのiPad専用のトレーニングアプリを開発し、「読話クラブ」の名称でApple社のApp Storeに登録されました。このアプリの開発には、京都市中途失聴・難聴者協会や千葉県中途失聴者・難聴者協会等からも協力をいただきました。
これまでの研究成果や画像生成AI技術を活用し、任意の日本語の仮名文字から発話動画をアプリ内で自動生成します。日本語の音と口の動きの関係を覚えたり、発話の動画を見たりしながら口の動きを読み取るトレーニングができます。主に、難聴者やその家族、声による会話が難しい人と接する方々などにご利用いただき、コミュニケーションに役立てていただくことを想定しています。
現在のVer 1.0は、必要最低限の機能で公開しましたが、今後も各協会とも連携しながら、機能や研究成果の追加を図っていきます。
【主な機能】
・日本語の音と口の動きの関係を学習
・仮名（平仮名または片仮名）で入力した任意の語句の発話動画再生
・発話速度や発話者画像の変更
・生成AIを使用して口の動きの画像を生成
・発話動画の読み取り力のチェック
・トレーニング記録の確認
・利用者（ユーザー）の切り替え
■読話クラブ サポートサイト
https://sites.google.com/view/dokuwaclub/
▼本件に関する問い合わせ先
神奈川工科大学 研究推進機構
研究広報部門
住所：〒243-0292 神奈川県厚木市下荻野1030
TEL：046-291-3218
メール：ken-koho@mlst.kanagawa-it.ac.jp
【リリース発信元】 大学プレスセンター
https://www.u-presscenter.jp/
