ALS共生者の豊かなコミュニケーションに向けた取組みを開始 ～ALS進行による身体的な制約を解放し、自由に動き、表現し、他者と相互作用する世界をめざして～
日本電信電話株式会社（本社：東京都千代田区、代表取締役社長：島田 明、以下「NTT」）は、WITH ALS（※1）とDentsu Lab Tokyo（※2）と連携し、ALS（筋委縮性側索硬化症）（※3）と共生する方々のコミュニケーションをより豊かにするための研究開発を通じて、ALS進行による身体の制約を解放するだけでなく、会話をスムーズに、表現豊かに他者と交流し合える世界の実現をめざします。
1．背景と目的
「コミュニケーションが、何より重要。」 これは、ALSと共生する方々の言葉です。ALSが進行すると、認知機能は正常なまま、全身の筋力が徐々に機能を失っていきます。人工呼吸器をつけることにより、本来の生を全うできると言われていますが、一方で、人工呼吸器をつけるための気管切開手術によって、声を失います。命をつなぐための選択が、声を出せなくなることにもつながってしまうのです。
音声言語と身体表現によるコミュニケーション手段を失うことから、社会との断絶を恐れ、生きる希望を失う人も少なくありません。世界的に見ると、9割以上のALSの方が、人工呼吸器装着を拒否しているのが現状です。
NTTは、病気や障がいをもった方だけでなく、サポートする方々も含めて人間中心に課題を解決していくProject Humanityを推進しています。本取組みは、Project Humanityの一環として、ALSと共に生きている方々をALS共生者と捉え、ALSを取り巻く凄絶な現状を、豊かなコミュニケーションの実現により、ALSと共生する方々と一緒に変えていこうとするものです。
2．これまでの取り組み
音声合成技術の進歩により、本人の声を録音することで、本人らしい声による合成音声が実現できるようになりました。しかしながら、ALSと診断されてから、病気と向き合わなければならない間にも症状は進行し、自分の声を録音しようと思った時には、うまく話すことができなくなっている場合も少なくありません。また、現在の音声合成技術では、整った収録環境で録音された声の活用を前提としており、声の録音を残すためにも大きな負荷がかかります。このため、ALSと共生する方々が、自分らしい合成音声を利用するためには、大きな壁があるのが現状です。
一年前、私たちは、残されていた数分程度の録画映像の音声から、音声合成技術で本人らしい声を再現することに成功しました。本技術は、本人の声色で複数言語でのコミュニケーションも可能とします。昨年はWITH ALSとDentsu Lab Tokyoと連携し、カンヌライオンズのステージでこの技術を活用しました。声を発することのできない日本のALS共生者が、自らの声色で英語による対話と音楽パフォーマンスを実現したのです。
そして今年は、さらに少ない数秒程度の録画や録音の音声から、複数のALS共生者の合成音声を作成することに成功しました。現在は発声できない方でも、声を失う前の録画や録音によって音声が残されていれば、合成音声を作成することができるのです。本技術で作成された合成音声は、世界ALSデーである6 月21日に合わせて、6月18日に開催されるWITH ALS主催のALS啓発音楽フェス「MOVE FES.」での音楽ライブで活用されます。
【MOVE FES. 2023 Supported by AIRU開催概要】
開催日時：2023年6月18日(日) 17:00〜21:00（15:30開場）予定
開催場所：EX THEATER ROPPONGI
（〒106-0031 東京都港区西麻布1-2-9）
チケット情報：https://withals.zaiko.io/e/movefes2023
主催：一般社団法人WITH ALS
3．今後の取り組み
今後は、ALSと共生する方々がより豊かにコミュニケーションできるよう、非言語表現の拡張に取り組む予定です。まずはNTTの生体情報を基にした運動能力転写技術をさらに発展させ、以下に取り組みます。
① メタバース空間においてALS共生者の意思でアバターを自由に操作
② リアル空間において自身の運動を再現
①のアバターの操作では、身体に生体情報を取得する筋電センサを装着し、自身の微細な筋活動によって得られる生体情報を操作情報に変換し、アバターの自由な操作を実現します。豊かな表現の創造は、Dentsu Lab Tokyoが行います。②の運動の再現では、身体に筋電気刺激を提示して筋肉を制御し、意図する運動の再現を実現します。
また、アバター表現については、身体モーション生成技術を用いることで、合成音声の発話と同時にALS共生者のその人らしい非言語表現の実現にも取り組みます。身体モーション生成技術は、特定の人物の発話とその時のモーションのデータから構築されたモーション生成モデルにより、音声から対応する「特定の人物らしいモーション」を自動で生成する技術です。
さらに、ALS共生者に向けて提供されている技術との連携も検討してまいります。オリィ研究所（※4）の意思伝達装置（OriHime eye+Switch）では、スイッチや視線入力に対応して、分身ロボットOriHimeを操作したコミュニケーションの拡張が可能となっています。このように、ロボットを介することで、コミュニケーションの範囲はさらに拡がります。
4．今後のロードマップ
今年度は、ALS共生者のわずかでも動く身体から、アバターを自由に操作することを実現するとともに、筋電気刺激を用いて、身体動作表現を付加したコミュニケーションの実現をめざします。そして、2024年度には、コミュニケーション表現をさらに発展させ、メタバース空間やロボットを介したリアル空間でALSであるというバックグラウンドを感じさせないコミュニケーションを体験できるようにし、最終的には、ALS進行による身体的な制約から解放された、豊かなコミュニケーションにより、望む人すべてが自己実現でき、社会参画できる未来に貢献していきます。
＜用語解説＞
※1 一般社団法人 WITH ALS（東京都港区、代表理事：武藤 将胤）ALSの課題解決を起点に、全ての人が自分らしく挑戦できるボーダレスな社会を創造することをミッションとして活動する団体。
※2 Dentsu Lab Tokyo(東京都中央区) クリエーティブのR＆D組織。
※3 ALS（筋委縮性側索硬化症）は、運動神経が損傷し、脳から筋肉への指令が伝わらなくなることで、全身の筋肉が少しずつ動かしにくくなる病気です。体を自由に動かすことができなくなっても、脳の機能は変わらず、意識や考えもはっきりしています。
※4 株式会社オリィ研究所 （東京都中央区、代表取締役社長：笹山正浩）コミュニケーションテクノロジーによって新たな形の社会参加を実現し、人々の孤独を解消すると共に、社会そのものの可能性を拡張していくことをミッションとする企業。2020年、NTTと資本業務提携を締結。
1．背景と目的
「コミュニケーションが、何より重要。」 これは、ALSと共生する方々の言葉です。ALSが進行すると、認知機能は正常なまま、全身の筋力が徐々に機能を失っていきます。人工呼吸器をつけることにより、本来の生を全うできると言われていますが、一方で、人工呼吸器をつけるための気管切開手術によって、声を失います。命をつなぐための選択が、声を出せなくなることにもつながってしまうのです。
音声言語と身体表現によるコミュニケーション手段を失うことから、社会との断絶を恐れ、生きる希望を失う人も少なくありません。世界的に見ると、9割以上のALSの方が、人工呼吸器装着を拒否しているのが現状です。
NTTは、病気や障がいをもった方だけでなく、サポートする方々も含めて人間中心に課題を解決していくProject Humanityを推進しています。本取組みは、Project Humanityの一環として、ALSと共に生きている方々をALS共生者と捉え、ALSを取り巻く凄絶な現状を、豊かなコミュニケーションの実現により、ALSと共生する方々と一緒に変えていこうとするものです。
2．これまでの取り組み
音声合成技術の進歩により、本人の声を録音することで、本人らしい声による合成音声が実現できるようになりました。しかしながら、ALSと診断されてから、病気と向き合わなければならない間にも症状は進行し、自分の声を録音しようと思った時には、うまく話すことができなくなっている場合も少なくありません。また、現在の音声合成技術では、整った収録環境で録音された声の活用を前提としており、声の録音を残すためにも大きな負荷がかかります。このため、ALSと共生する方々が、自分らしい合成音声を利用するためには、大きな壁があるのが現状です。
一年前、私たちは、残されていた数分程度の録画映像の音声から、音声合成技術で本人らしい声を再現することに成功しました。本技術は、本人の声色で複数言語でのコミュニケーションも可能とします。昨年はWITH ALSとDentsu Lab Tokyoと連携し、カンヌライオンズのステージでこの技術を活用しました。声を発することのできない日本のALS共生者が、自らの声色で英語による対話と音楽パフォーマンスを実現したのです。
そして今年は、さらに少ない数秒程度の録画や録音の音声から、複数のALS共生者の合成音声を作成することに成功しました。現在は発声できない方でも、声を失う前の録画や録音によって音声が残されていれば、合成音声を作成することができるのです。本技術で作成された合成音声は、世界ALSデーである6 月21日に合わせて、6月18日に開催されるWITH ALS主催のALS啓発音楽フェス「MOVE FES.」での音楽ライブで活用されます。
【MOVE FES. 2023 Supported by AIRU開催概要】
開催日時：2023年6月18日(日) 17:00〜21:00（15:30開場）予定
開催場所：EX THEATER ROPPONGI
（〒106-0031 東京都港区西麻布1-2-9）
チケット情報：https://withals.zaiko.io/e/movefes2023
主催：一般社団法人WITH ALS
3．今後の取り組み
今後は、ALSと共生する方々がより豊かにコミュニケーションできるよう、非言語表現の拡張に取り組む予定です。まずはNTTの生体情報を基にした運動能力転写技術をさらに発展させ、以下に取り組みます。
① メタバース空間においてALS共生者の意思でアバターを自由に操作
② リアル空間において自身の運動を再現
①のアバターの操作では、身体に生体情報を取得する筋電センサを装着し、自身の微細な筋活動によって得られる生体情報を操作情報に変換し、アバターの自由な操作を実現します。豊かな表現の創造は、Dentsu Lab Tokyoが行います。②の運動の再現では、身体に筋電気刺激を提示して筋肉を制御し、意図する運動の再現を実現します。
また、アバター表現については、身体モーション生成技術を用いることで、合成音声の発話と同時にALS共生者のその人らしい非言語表現の実現にも取り組みます。身体モーション生成技術は、特定の人物の発話とその時のモーションのデータから構築されたモーション生成モデルにより、音声から対応する「特定の人物らしいモーション」を自動で生成する技術です。
さらに、ALS共生者に向けて提供されている技術との連携も検討してまいります。オリィ研究所（※4）の意思伝達装置（OriHime eye+Switch）では、スイッチや視線入力に対応して、分身ロボットOriHimeを操作したコミュニケーションの拡張が可能となっています。このように、ロボットを介することで、コミュニケーションの範囲はさらに拡がります。
4．今後のロードマップ
今年度は、ALS共生者のわずかでも動く身体から、アバターを自由に操作することを実現するとともに、筋電気刺激を用いて、身体動作表現を付加したコミュニケーションの実現をめざします。そして、2024年度には、コミュニケーション表現をさらに発展させ、メタバース空間やロボットを介したリアル空間でALSであるというバックグラウンドを感じさせないコミュニケーションを体験できるようにし、最終的には、ALS進行による身体的な制約から解放された、豊かなコミュニケーションにより、望む人すべてが自己実現でき、社会参画できる未来に貢献していきます。
＜用語解説＞
※1 一般社団法人 WITH ALS（東京都港区、代表理事：武藤 将胤）ALSの課題解決を起点に、全ての人が自分らしく挑戦できるボーダレスな社会を創造することをミッションとして活動する団体。
※2 Dentsu Lab Tokyo(東京都中央区) クリエーティブのR＆D組織。
※3 ALS（筋委縮性側索硬化症）は、運動神経が損傷し、脳から筋肉への指令が伝わらなくなることで、全身の筋肉が少しずつ動かしにくくなる病気です。体を自由に動かすことができなくなっても、脳の機能は変わらず、意識や考えもはっきりしています。
※4 株式会社オリィ研究所 （東京都中央区、代表取締役社長：笹山正浩）コミュニケーションテクノロジーによって新たな形の社会参加を実現し、人々の孤独を解消すると共に、社会そのものの可能性を拡張していくことをミッションとする企業。2020年、NTTと資本業務提携を締結。
