NTTと三菱電機、ネットワーク・サーバ連携制御技術による遠隔ロボット操作を実証 ～力触覚情報の視覚情報への変換によりシンプルなデバイス構成が可能に～
日本電信電話株式会社（本社：東京都千代田区、代表取締役社長：島田 明、以下「NTT」）、三菱電機株式会社（本社：東京都千代田区、執行役社長：漆間 啓、以下「三菱電機」）は、NTTのネットワークおよびコンピュート基盤の連携制御技術と三菱電機の遠隔操作技術を組み合わせた実証実験を通じて、これまで操作が困難であったロボットアームを用いた作業を遠隔地から違和感なく持続的に操作可能であることを確認しました。本実証実験により、力触覚情報*1を用いたロボットによる高度な遠隔操作を簡易なデバイスで実現できることに加え、遠隔操作を安全に実施可能であることが分かりました。
これにより、End-to-Endで遅延品質を管理し、制御する技術を用いて低遅延品質保証が可能になり、また力触覚情報を色情報に変換する技術を用いて機器数が少ないシンプルなデバイス構成で力触覚情報の伝達が可能となります。その結果、ロボットなどによる高度な遠隔操作の適用領域の拡大が期待できます。また、操作者の拠点集約による効率化、労働人口減少等の社会課題の解決が期待できます。
なお、本実証実験で実施した技術については2023年5月17日（水）～18日（木）に開催予定の「つくばフォーラム2023*2」にて紹介します。
1．背景
近年日本では労働人口の減少が進んでおり、技術者を日本全国に配置・派遣することが困難になることが予想されます。また、新型コロナウイルスの世界的な感染拡大に伴いライフスタイルおよび業務スタイルが大きく変化し、リモートワークが一般的なものとなりました。
一方で、現在も遠隔での実施が難しい業務が多くあることから、リモートワークが困難な技術者が依然として多い状況です。特に、自動化・機械化が困難なことから危険を伴う作業であっても人手で実施されているケースや、身体的、時間的、移動の制約などから技術者の専門性が発揮できる場での業務に従事できていないケースがあります。
これら社会的な課題を解決する方法の一つとして、遠隔地から高度な作業を出来るようにすることで、作業者の所在地に関わらず業務の遂行を可能とする遠隔作業の実現が期待されています。
高度な作業では視覚以外の感覚も使って作業をするため、遠隔作業の実現にあたっては、現地の映像情報に加えて、物体との接触状態や作業中の力加減を知るための力触覚情報等の感覚情報の伝達が重要となります。映像情報や力触覚情報等をユーザが使用するデバイスの性能に依存せずに安定的に伝達するには、映像情報や力触覚情報等の高負荷処理をネットワーク上のエッジサーバで行うなどの工夫が必要となります。一方で、エッジサーバ上で処理を実施するにあたっては、ネットワークの観点では、エッジサーバでの処理も含めたEnd-to-End サービスとしての遅延時間やジッタ（ずれや揺らぎ）を低くするだけでなく、システムの故障や性能劣化時にもサービスの品質劣化を招かないようにすることが課題となっていました。また、デバイスの観点では、機器数が少ないシンプルな構成でありながら、映像情報等と同期して、違和感なく力触覚情報を伝達する方法が課題となっていました。
2．技術のポイント
NTTグループでは次世代コミュニケーション基盤であるIOWN構想*3の具現化を進めており、2023年3月16日にAPN IOWN1.0*4サービスの提供を開始しました。さらに、IOWN2.0以降に向けて光技術を用いた更なる低遅延・低ジッタなネットワークの実現に取り組んでいます。
従来、ネットワークサービスを提供する際、エッジサーバの処理時間とネットワークの遅延時間に関し個々の品質管理は実施しておりましたが、両者を組み合わせたEnd-to-Endでの遅延時間の評価や品質管理は実施されておりませんでした。今回、APNのネットワークにて2地点間を複数経路で結ぶことができる環境において、エッジサーバでの処理時間とネットワークの遅延時間をリアルタイムに状態把握し、End-to-Endでの遅延時間が性能要件を満たさなくなる場合には別の経路および別のサーバ処理に即座に切り替えることで安定した低遅延サービスを提供するネットワーク＆コンピュート高速クローズドループ制御技術の研究開発に取り組みました。（図1）
三菱電機では、視覚と力触覚との間の感覚間の相互作用を活用したVisual Haptics*5を開発し、遠隔地の力触覚情報を色情報に変換し、視覚情報としてユーザに提示することで、力触覚デバイスなしで遠隔地の力触覚情報の伝達を実現してきました。
今回、Visual Hapticsをロボット内での実装からエッジサーバ上での実装に変更することで、ロボット側で必要な処理負荷を軽減すると共に、エッジサーバの切り替え動作にも対応可能なVisual Hapticsの研究開発に取り組みました。
3．実証実験
遠隔操作における本技術の効果を確認するために、NTT武蔵野研究開発センタにディスプレイとロボット操作用デバイス、NTT横須賀研究開発センタにロボットを配置し、直線距離50km強の2拠点間をAPNを模擬したネットワークで接続して遠隔操作を行う実験用ネットワークを構築しました(図2)。
ロボット側で撮影したカメラ映像にはVisual Hapticsにより力触覚情報を付加し、操作者は力触覚情報を視覚的に確認しながら操作を行いました。また、Visual Haptics処理に要する時間とネットワークの遅延時間をリアルタイムに測定し、End-to-Endでの遅延時間が性能要件を満たさなくなる場合に別のネットワークおよび別のサーバ処理へと切り替える機能を備えました。(図3)
この実験構成において、エッジサーバを過負荷状態にして遠隔操作環境を悪化させた場合、従来構成では遠隔操作が困難になりましたが、提案構成では品質が悪化してから約100ms後には切り替え制御が完了したことに加え、力触覚情報等の感覚情報を遠隔に伝達することで違和感なく操作を出来ることを確認し、提案技術の有効性を確認しました。
4．今後の展開
本実証実験で得られた成果は、高度な作業をアシスト機能付きの遠隔操作で実施可能にすることができ、場所を問わない作業の幅を広げることが期待できます。
今後は適用可能領域を広げ、人命にかかわる高度な操作の遠隔化として遠隔手術や遠隔設備修理など様々なユースケースで適用可能とすることで、場所にとらわれない新たな働き方の具現化を実現してまいります。これにより、技術者の移動時間削減による生産性向上、身体的な制約のある方の就労機会提供、さらには医療等の地域格差解消などをめざしてまいります。
＜用語解説＞
*1 力触覚情報
人が物を移動させる際や物を掴む際などに、物に触れた感触や物を掴む力具合を把握する感覚情報
*2 つくばフォーラム2023
https://www.tsukuba-forum.jp/
*3 IOWN構想
あらゆる情報を基に個と全体との最適化を図り、多様性を受容できる豊かな社会を創るため、光を中心とした革新的技術を活用し、これまでのインフラの限界を超えた高速大容量通信ならびに膨大な計算リソース等を提供可能な、端末を含むネットワーク・情報処理基盤の構想です。
https://www.rd.ntt/iown/index.html
*4 APN IOWN1.0
通信ネットワークの全区間で光波長を専有するオールフォトニクス・ネットワークで、IOWN構想を実現する初めての商用サービスです。
https://www.ntt-east.co.jp/release/detail/20230302_01.html
https://www.ntt-west.co.jp/news/2303/230302a.html
*5 Visual Haptics
遠隔地の力触覚情報を物理的な刺激としてユーザに伝送するのではなく、視覚的な色情報に変換して伝送する技術
https://www.MitsubishiElectric.co.jp/corporate/special/convention/ceatec2021/visual-haptics/
これにより、End-to-Endで遅延品質を管理し、制御する技術を用いて低遅延品質保証が可能になり、また力触覚情報を色情報に変換する技術を用いて機器数が少ないシンプルなデバイス構成で力触覚情報の伝達が可能となります。その結果、ロボットなどによる高度な遠隔操作の適用領域の拡大が期待できます。また、操作者の拠点集約による効率化、労働人口減少等の社会課題の解決が期待できます。
なお、本実証実験で実施した技術については2023年5月17日（水）～18日（木）に開催予定の「つくばフォーラム2023*2」にて紹介します。
1．背景
近年日本では労働人口の減少が進んでおり、技術者を日本全国に配置・派遣することが困難になることが予想されます。また、新型コロナウイルスの世界的な感染拡大に伴いライフスタイルおよび業務スタイルが大きく変化し、リモートワークが一般的なものとなりました。
一方で、現在も遠隔での実施が難しい業務が多くあることから、リモートワークが困難な技術者が依然として多い状況です。特に、自動化・機械化が困難なことから危険を伴う作業であっても人手で実施されているケースや、身体的、時間的、移動の制約などから技術者の専門性が発揮できる場での業務に従事できていないケースがあります。
これら社会的な課題を解決する方法の一つとして、遠隔地から高度な作業を出来るようにすることで、作業者の所在地に関わらず業務の遂行を可能とする遠隔作業の実現が期待されています。
高度な作業では視覚以外の感覚も使って作業をするため、遠隔作業の実現にあたっては、現地の映像情報に加えて、物体との接触状態や作業中の力加減を知るための力触覚情報等の感覚情報の伝達が重要となります。映像情報や力触覚情報等をユーザが使用するデバイスの性能に依存せずに安定的に伝達するには、映像情報や力触覚情報等の高負荷処理をネットワーク上のエッジサーバで行うなどの工夫が必要となります。一方で、エッジサーバ上で処理を実施するにあたっては、ネットワークの観点では、エッジサーバでの処理も含めたEnd-to-End サービスとしての遅延時間やジッタ（ずれや揺らぎ）を低くするだけでなく、システムの故障や性能劣化時にもサービスの品質劣化を招かないようにすることが課題となっていました。また、デバイスの観点では、機器数が少ないシンプルな構成でありながら、映像情報等と同期して、違和感なく力触覚情報を伝達する方法が課題となっていました。
2．技術のポイント
NTTグループでは次世代コミュニケーション基盤であるIOWN構想*3の具現化を進めており、2023年3月16日にAPN IOWN1.0*4サービスの提供を開始しました。さらに、IOWN2.0以降に向けて光技術を用いた更なる低遅延・低ジッタなネットワークの実現に取り組んでいます。
従来、ネットワークサービスを提供する際、エッジサーバの処理時間とネットワークの遅延時間に関し個々の品質管理は実施しておりましたが、両者を組み合わせたEnd-to-Endでの遅延時間の評価や品質管理は実施されておりませんでした。今回、APNのネットワークにて2地点間を複数経路で結ぶことができる環境において、エッジサーバでの処理時間とネットワークの遅延時間をリアルタイムに状態把握し、End-to-Endでの遅延時間が性能要件を満たさなくなる場合には別の経路および別のサーバ処理に即座に切り替えることで安定した低遅延サービスを提供するネットワーク＆コンピュート高速クローズドループ制御技術の研究開発に取り組みました。（図1）
三菱電機では、視覚と力触覚との間の感覚間の相互作用を活用したVisual Haptics*5を開発し、遠隔地の力触覚情報を色情報に変換し、視覚情報としてユーザに提示することで、力触覚デバイスなしで遠隔地の力触覚情報の伝達を実現してきました。
今回、Visual Hapticsをロボット内での実装からエッジサーバ上での実装に変更することで、ロボット側で必要な処理負荷を軽減すると共に、エッジサーバの切り替え動作にも対応可能なVisual Hapticsの研究開発に取り組みました。
3．実証実験
遠隔操作における本技術の効果を確認するために、NTT武蔵野研究開発センタにディスプレイとロボット操作用デバイス、NTT横須賀研究開発センタにロボットを配置し、直線距離50km強の2拠点間をAPNを模擬したネットワークで接続して遠隔操作を行う実験用ネットワークを構築しました(図2)。
ロボット側で撮影したカメラ映像にはVisual Hapticsにより力触覚情報を付加し、操作者は力触覚情報を視覚的に確認しながら操作を行いました。また、Visual Haptics処理に要する時間とネットワークの遅延時間をリアルタイムに測定し、End-to-Endでの遅延時間が性能要件を満たさなくなる場合に別のネットワークおよび別のサーバ処理へと切り替える機能を備えました。(図3)
この実験構成において、エッジサーバを過負荷状態にして遠隔操作環境を悪化させた場合、従来構成では遠隔操作が困難になりましたが、提案構成では品質が悪化してから約100ms後には切り替え制御が完了したことに加え、力触覚情報等の感覚情報を遠隔に伝達することで違和感なく操作を出来ることを確認し、提案技術の有効性を確認しました。
4．今後の展開
本実証実験で得られた成果は、高度な作業をアシスト機能付きの遠隔操作で実施可能にすることができ、場所を問わない作業の幅を広げることが期待できます。
今後は適用可能領域を広げ、人命にかかわる高度な操作の遠隔化として遠隔手術や遠隔設備修理など様々なユースケースで適用可能とすることで、場所にとらわれない新たな働き方の具現化を実現してまいります。これにより、技術者の移動時間削減による生産性向上、身体的な制約のある方の就労機会提供、さらには医療等の地域格差解消などをめざしてまいります。
＜用語解説＞
*1 力触覚情報
人が物を移動させる際や物を掴む際などに、物に触れた感触や物を掴む力具合を把握する感覚情報
*2 つくばフォーラム2023
https://www.tsukuba-forum.jp/
*3 IOWN構想
あらゆる情報を基に個と全体との最適化を図り、多様性を受容できる豊かな社会を創るため、光を中心とした革新的技術を活用し、これまでのインフラの限界を超えた高速大容量通信ならびに膨大な計算リソース等を提供可能な、端末を含むネットワーク・情報処理基盤の構想です。
https://www.rd.ntt/iown/index.html
*4 APN IOWN1.0
通信ネットワークの全区間で光波長を専有するオールフォトニクス・ネットワークで、IOWN構想を実現する初めての商用サービスです。
https://www.ntt-east.co.jp/release/detail/20230302_01.html
https://www.ntt-west.co.jp/news/2303/230302a.html
*5 Visual Haptics
遠隔地の力触覚情報を物理的な刺激としてユーザに伝送するのではなく、視覚的な色情報に変換して伝送する技術
https://www.MitsubishiElectric.co.jp/corporate/special/convention/ceatec2021/visual-haptics/
