残存しているわずかな筋の動作をメタバースへの操作命令につなげる入力インタフェースを開発 ～重度身体障がい者の豊かなコミュニケーションや社会との豊かなつながりの実現に向けて～
日本電信電話株式会社（本社：東京都千代田区、代表取締役社長：島田 明、以下「NTT」）は、 四肢等肢体が不自由である重度身体障がい者の、メタバースを通じた豊かなコミュニケーションや つながりの実現に向けて、残存しているわずかな筋の動作をメタバースへの操作命令につなげる入力インタフェースを開発しました。これにより、重度身体障がい者が脳信号入力や視線入力に加えて表面筋電信号入力を自分の意思を伝えるための身体拡張技術として利用できるようになります。本技術を利用したアバター操作やゲーム操作はNTT R&Dフォーラム2023 IOWN ACCERALATION（※1）にて展示します。
1．背景
24時間介護の必要な重度身体障がい者は、自宅や施設など限られた空間の中で過ごすことが多く、外部との交流や社会参画を望んでも、コミュニケーションやICT機器操作が壁となり、極めて困難なのが現状です。そこで、重度身体障がい者が自分の意思を伝えるための技術（AAC：Augmentative and Alternative Communication technologies）の研究開発が世界中で取り組まれています。特に筋肉の萎縮をきたす疾患と共生する重度身体障がい者の方々は、身体運動が大きく制限されるため、脳波センサ（EEG：ElectroEncephaloGraphy sensor）などの計測波形に基づく脳信号入力や視線入力が主な技術対象となります。
NTTは、障がいのある方だけでなく、サポートする方々も含めた人間中心設計の視点で課題を解決していくProject Humanity（※2）の一環として、重度身体障がい者が豊かにコミュニケーションや社会との豊かなつながりをもてる技術創出を目標として研究をしています。今回、重度身体障がい者のメタバースへの身体拡張に向けて、検討事例が少ないものの、身体動作との関係の深い筋電センサ（sEMG：surface ElectroMyoGraphy sensor※3）に着目しました。そして、メタバースへの非言語表現やICT機器操作を拡張する新たな身体拡張技術として、残存しているわずかな筋の動作をメタバースへの操作命令につなげるsEMGを活かした入力インタフェースを開発しました。
2．入力インタフェース設計のポイント
筋がわずかでも動けば，sEMGセンサによりsEMGを計測できます。実際、あるALS共生者が、わずかに動かせる身体部位の身体位置情報とその部位の動作に寄与するsEMGを計測した結果を見ると、数mmの身体部位の動きに対してsEMGが観測されました（図1参照）。
ただし、障がいの個人差の影響のため、利用可能な身体部位は個々の身体状況に応じて設定することになります。
次にある身体部位を意図して動かそうとするときに，別の身体部位の筋も反応している場合があります。実際に、指示された身体部位をALS共生者が動作させている区間（図1の黄色の帯）において、別の身体部位の筋が反応している様子が観測されました。意図した身体部位の筋を抽出する技術として、安静時のような筋の脱力された状態をsEMGの基準値に設定するキャリブレーションと、筋収縮の動作判定に使用される閾値の設定を身体部位ごとに設定することがポイントとなります。本技術を活かしたALS共生者によるDJパフォーマンスのステージでは、曲が流れた直後の安静状態を基準値となるように設定し，実際のDJパフォーマンス時の力みの状態に合わせて閾値を設定しました。
また、EMGセンサにより計測された連続的なsEMGからメタバースへの操作命令に変換する上で考慮すべきポイントは、筋疲労になります。重度身体障がい者は、筋力および筋持久力が衰えるため、身体部位の動作を節約しながらメタバースへの意図した操作命令を実現することが必要です。そこで、筋を長時間収縮し続けることや筋収縮に強弱をつけることによる操作命令を避け、その代わりに、各身体部位の筋収縮の動作判定に応じて各操作命令が決定する方針にしました。さらに各操作命令に対応するアバター動作が一定時間反映されるようにしました。同じ操作命令を繰り返した場合、反映されるアバター動作時間が延長されるようにしました。例えば、指の伸展動作に応じてメタバース空間上のアバターが手を挙げる場合、伸展したことを検知する技術と、伸展に応じて上がったアバターの手は一定時間上がり続けることが考えられます（図2参照）。一見、リアリティが失われ、効果的ではないと思われますが、本技術を実体験したALS共生者は、自分が意図した通りにアバターが動作していることで自分自身の身体動作を通じてアバターを動作できていると実感しました。過去のAAC技術の評価は操作速度と動作に対するリアリティのある反応に重点を置かれ
ます。
3．メタバース操作の実装事例紹介
(１)アバターによるDJパフォーマンス（※4）。
NTTとDentsu Lab Tokyo（以下「DLT」）と連携し、本技術と、DLTの視線入力とアバター表現を組み合わせたメタバースでのDJパフォーマンスを実現するシステムを構築しました（図3、※5）。このシステムを用いることで、ALS共生者は、視線入力でこのようにアバターを動かしたいという意思（動きの種類）を読み取り、実際のアバターの動きに反映できます。さらにDJでもあるWITH ALS代表の武藤将胤氏が東京から遠隔でオーストリア(リンツ)で開催されたArs Electronica Festival 2023のステージでDJパフォーマンスを披露しました（※6）。
(2)sEMGを活用したゲーム操作
本技術によるゲーム操作の実装事例について紹介します。アバター向け操作命令の代わりにゲーム向け操作命令に変換させることで、ゲーム内キャラクターの操作を実現しました（図4）。多様な機器が開発される中、わずかな動きでゲーム操作を実現できる表面筋電センサは、今後様々な分野での活用が期待できます。特に，eSportsを通じたICT機器の操作性の向上や人とのつながりは将来の社会参画につながる大事な要素になります。
4．今後の展開
2024年度には、障がいの程度に合わせることが可能な技術に改善し、さらに多様なコミュニケーション表現に発展させ、メタバース空間やロボットを介したリアル空間で、障がいがあるというバックグラウンドを感じさせないコミュニケーションの実現を目指します。NTTは、このような多様なコミュニケーションを通じ、重度身体障がい者の方々が、自己実現を図り、社会参画できる未来に 貢献していきます。
＜用語解説＞
※1 「NTT R&D FORUM 2023 -IOWN ACCELERATION」公式サイト
URL：https://www.rd.ntt/forum/
URL：https://www.bcm.co.jp/site/2023/10/hil/2310-hil-01-04.pdf
※3 sEMG：筋線維が収縮活動するときに発生する活動電位のことを指す
※4 2023年8月25日リリース：アルスエレクトロニカ・フェスティバルにて、ALS共生者が豊かな表現に挑戦
URL：https://group.ntt/jp/newsrelease/2023/08/25/230825a.html
※5 2023年6月14日リリース：ALS共生者の豊かなコミュニケーションに向けた取組みを開始
URL：https://group.ntt/jp/newsrelease/2023/06/14/230614a.html
※6 Dentsu Lab Tokyo's All Players Welcome Enables 'Physical' Expression in Metaverse | LBBOnline
URL：https://www.lbbonline.com/news/dentsu-lab-tokyos-all-players-welcome-enables-physical-expression-in-metaverse
1．背景
24時間介護の必要な重度身体障がい者は、自宅や施設など限られた空間の中で過ごすことが多く、外部との交流や社会参画を望んでも、コミュニケーションやICT機器操作が壁となり、極めて困難なのが現状です。そこで、重度身体障がい者が自分の意思を伝えるための技術（AAC：Augmentative and Alternative Communication technologies）の研究開発が世界中で取り組まれています。特に筋肉の萎縮をきたす疾患と共生する重度身体障がい者の方々は、身体運動が大きく制限されるため、脳波センサ（EEG：ElectroEncephaloGraphy sensor）などの計測波形に基づく脳信号入力や視線入力が主な技術対象となります。
NTTは、障がいのある方だけでなく、サポートする方々も含めた人間中心設計の視点で課題を解決していくProject Humanity（※2）の一環として、重度身体障がい者が豊かにコミュニケーションや社会との豊かなつながりをもてる技術創出を目標として研究をしています。今回、重度身体障がい者のメタバースへの身体拡張に向けて、検討事例が少ないものの、身体動作との関係の深い筋電センサ（sEMG：surface ElectroMyoGraphy sensor※3）に着目しました。そして、メタバースへの非言語表現やICT機器操作を拡張する新たな身体拡張技術として、残存しているわずかな筋の動作をメタバースへの操作命令につなげるsEMGを活かした入力インタフェースを開発しました。
2．入力インタフェース設計のポイント
筋がわずかでも動けば，sEMGセンサによりsEMGを計測できます。実際、あるALS共生者が、わずかに動かせる身体部位の身体位置情報とその部位の動作に寄与するsEMGを計測した結果を見ると、数mmの身体部位の動きに対してsEMGが観測されました（図1参照）。
ただし、障がいの個人差の影響のため、利用可能な身体部位は個々の身体状況に応じて設定することになります。
次にある身体部位を意図して動かそうとするときに，別の身体部位の筋も反応している場合があります。実際に、指示された身体部位をALS共生者が動作させている区間（図1の黄色の帯）において、別の身体部位の筋が反応している様子が観測されました。意図した身体部位の筋を抽出する技術として、安静時のような筋の脱力された状態をsEMGの基準値に設定するキャリブレーションと、筋収縮の動作判定に使用される閾値の設定を身体部位ごとに設定することがポイントとなります。本技術を活かしたALS共生者によるDJパフォーマンスのステージでは、曲が流れた直後の安静状態を基準値となるように設定し，実際のDJパフォーマンス時の力みの状態に合わせて閾値を設定しました。
また、EMGセンサにより計測された連続的なsEMGからメタバースへの操作命令に変換する上で考慮すべきポイントは、筋疲労になります。重度身体障がい者は、筋力および筋持久力が衰えるため、身体部位の動作を節約しながらメタバースへの意図した操作命令を実現することが必要です。そこで、筋を長時間収縮し続けることや筋収縮に強弱をつけることによる操作命令を避け、その代わりに、各身体部位の筋収縮の動作判定に応じて各操作命令が決定する方針にしました。さらに各操作命令に対応するアバター動作が一定時間反映されるようにしました。同じ操作命令を繰り返した場合、反映されるアバター動作時間が延長されるようにしました。例えば、指の伸展動作に応じてメタバース空間上のアバターが手を挙げる場合、伸展したことを検知する技術と、伸展に応じて上がったアバターの手は一定時間上がり続けることが考えられます（図2参照）。一見、リアリティが失われ、効果的ではないと思われますが、本技術を実体験したALS共生者は、自分が意図した通りにアバターが動作していることで自分自身の身体動作を通じてアバターを動作できていると実感しました。過去のAAC技術の評価は操作速度と動作に対するリアリティのある反応に重点を置かれ
ます。
3．メタバース操作の実装事例紹介
(１)アバターによるDJパフォーマンス（※4）。
NTTとDentsu Lab Tokyo（以下「DLT」）と連携し、本技術と、DLTの視線入力とアバター表現を組み合わせたメタバースでのDJパフォーマンスを実現するシステムを構築しました（図3、※5）。このシステムを用いることで、ALS共生者は、視線入力でこのようにアバターを動かしたいという意思（動きの種類）を読み取り、実際のアバターの動きに反映できます。さらにDJでもあるWITH ALS代表の武藤将胤氏が東京から遠隔でオーストリア(リンツ)で開催されたArs Electronica Festival 2023のステージでDJパフォーマンスを披露しました（※6）。
(2)sEMGを活用したゲーム操作
本技術によるゲーム操作の実装事例について紹介します。アバター向け操作命令の代わりにゲーム向け操作命令に変換させることで、ゲーム内キャラクターの操作を実現しました（図4）。多様な機器が開発される中、わずかな動きでゲーム操作を実現できる表面筋電センサは、今後様々な分野での活用が期待できます。特に，eSportsを通じたICT機器の操作性の向上や人とのつながりは将来の社会参画につながる大事な要素になります。
4．今後の展開
2024年度には、障がいの程度に合わせることが可能な技術に改善し、さらに多様なコミュニケーション表現に発展させ、メタバース空間やロボットを介したリアル空間で、障がいがあるというバックグラウンドを感じさせないコミュニケーションの実現を目指します。NTTは、このような多様なコミュニケーションを通じ、重度身体障がい者の方々が、自己実現を図り、社会参画できる未来に 貢献していきます。
＜用語解説＞
※1 「NTT R&D FORUM 2023 -IOWN ACCELERATION」公式サイト
URL：https://www.rd.ntt/forum/
URL：https://www.bcm.co.jp/site/2023/10/hil/2310-hil-01-04.pdf
※3 sEMG：筋線維が収縮活動するときに発生する活動電位のことを指す
※4 2023年8月25日リリース：アルスエレクトロニカ・フェスティバルにて、ALS共生者が豊かな表現に挑戦
URL：https://group.ntt/jp/newsrelease/2023/08/25/230825a.html
※5 2023年6月14日リリース：ALS共生者の豊かなコミュニケーションに向けた取組みを開始
URL：https://group.ntt/jp/newsrelease/2023/06/14/230614a.html
※6 Dentsu Lab Tokyo's All Players Welcome Enables 'Physical' Expression in Metaverse | LBBOnline
URL：https://www.lbbonline.com/news/dentsu-lab-tokyos-all-players-welcome-enables-physical-expression-in-metaverse
