発表のポイント:
- 自動運転車両から遠隔管制室に送信される遠隔監視映像および車両に関する情報から、車両前方への物体の飛び出しを認識することが可能な映像品質であるかを推定する「物体認識率※1推定技術」を確立しました。
- ITU-T SG12※2は、物体認識率推定技術が高精度であることを検証し、2025年11月に新勧告P.1199として制定しました。
- 本技術を自動運転の遠隔監視システムに導入することで、遠隔監視映像の品質が低下して安全な遠隔監視ができない状態になった際にアラートをあげるなど、安全な自動運転の実現が期待できます。
NTT株式会社(本社:東京都千代田区、代表取締役社長:島田 明、以下「NTT」)は、自動運転車両から遠隔管制室に送信される遠隔監視映像から物体の飛び出しを認識することが可能な映像品質であるかを推定する「物体認識率推定技術」を確立しました。本技術により、遠隔監視システムの提供者は遠隔監視者が安全に監視できる映像品質であるかをリアルタイムに把握可能となります。これにより自動運転車両の安全な遠隔監視ができない場合にアラートをあげるなど、安全な自動運転の実現が期待できます。
なお本技術は、2025年11月に標準化機関であるITU-T SG12にて勧告化されました(
https://www.itu.int/rec/T-REC-P.1199-202510-P/en )。
1. 背景
渋滞や運転者不足の解消を目的に、自動運転システムの研究開発が進められています。自動運転レベル5では、自動運転車両は多様なセンサー情報をもとに、歩行者や対向車を判断して安全な運転を実現します。しかし、自動運転車両に搭載されたセンサー情報を解析し、車両周辺の歩行者や対向車などの物体を検知する物体検出技術※3の導入のみでは完全な物体検知は難しく、安全な自動運転を実現することは困難です。そこで、自動運転レベル4※4(特定自動運行)では、遠隔管制室および特定自動運行主任者(遠隔監視者)の設置が道路交通法によって義務付けられています。また、自動運転車両から送信される映像が鮮明でない場合や、映像の送受信を正常に行うことができない場合、遠隔監視者に通知することが道路交通法施行規則にて定められています。
2. 課題
現状の遠隔監視システムでは、自動運転車両から送信される遠隔監視映像が監視の観点で鮮明であることを判断する基準がありません。自動運転車両から遠隔監視映像を受信する際には、無線通信を利用します。無線品質が低下すると遠隔監視映像の送信に利用可能なネットワーク帯域が減少するため、映像のビットレート低下やパケット損失が発生する場合があります。ビットレート低下による画質低下が発生すると、遠隔監視者が自動運転車両の前方への物体の飛び出しを認識しづらくなります(図1)。また、パケット損失が発生すると映像フレームが停止(フリーズ)するため、物体の飛び出しを認識しづらくなります (図2)。しかし、このような画質低下やフリーズ映像フレーム数※5の増加が、どの程度発生すると物体の飛び出しを認識できなくなるかは明らかになっていませんでした。
図1. 画質低下が物体の飛び出しの認識に与える影響
図2. フリーズ映像フレーム数が物体の飛び出しの認識に与える影響
また、自動運転車両は周囲の状況に合わせて走行速度が変化します。走行速度が異なると認識が必要な物体と自動運転車両との距離が変わります。走行速度が速いと、遅い場合に比べて、単位時間あたりの自動運転車両の移動距離が長くなります。そのため、映像が鮮明でない場合には、より早く遠隔監視者への通知が必要になります。そこで、走行速度が速い場合はより遠くで物体を認識する必要があり、物体の飛び出しを認識しづらくなります(図3)。しかし、走行速度の変化が物体の飛び出しの認識に与える影響も明らかになっていませんでした。
図3. 走行速度が物体の飛び出しの認識に与える影響
3. 研究の成果
NTTでは、自動運転車両から遠隔管制室に送信される遠隔監視映像および車両に関する情報から、遠隔監視者が車両前方への物体の飛び出しを認識することが可能な映像であるかを推定する「物体認識率推定技術」を確立し、ITU-T勧告P.1199として制定しました。
本技術を遠隔管制室に適用することで、映像監視モニタに表示される遠隔監視映像が、物体の飛び出しを認識できないレベルに画質が低下した際や、フリーズ映像フレーム数が増加した際にアラートをあげることができます。これにより、遠隔監視者が見落としてしまう可能性がある短時間の映像停止や品質の低下に即座に気づくことができ、自動運転車両の減速や停止などの措置を講ずることで、安全な自動運転が実現できます(図4)。
図4. 本成果の活用例
4. 技術のポイント
物体認識率推定技術
本技術は、遠隔監視映像に関する情報と物体認識率の主観評価特性を数理アルゴリズムとして定式化し、「物体認識率推定技術」を構築しています。主観評価実験の結果、「ネットワーク帯域に応じて遠隔監視映像が符号化された際の情報(ビットレート、解像度、フレームレート)」、「パケット損失によるフリーズ映像フレーム数」、「車両情報である走行速度」と「自動運転車両の前方への物体の飛び出しの認識」の関係として導出しました。なお、主観評価実験では、符号化された際の情報(ビットレート、解像度、フレームレート)、フリーズ映像フレーム数、走行速度を変化させた多数の条件に対応する物体認識率を取得し、主観評価特性を導出しています。
1)ビットレート、解像度、フレームレート低下が物体認識率に及ぼす影響
無線品質が低下すると、ビットレートが低下します。ビットレートの低下に伴う解像度・フレームレート低下が発生した場合、図1のように画質が低下し、飛び出し物体が不鮮明になり、監視者が物体の飛び出しを認識することが困難になります。
2)パケット損失増加が物体認識率に及ぼす影響
無線品質低下により、パケット損失が発生するとフリーズ映像フレーム数が増加するため、図2のように監視映像が停止し、監視者が物体の飛び出しを認識することが困難になります。
3)走行速度が物体認識率に及ぼす影響
自動運転車両の走行速度が速くなると遠くの物体の飛び出しを認識する必要があるため、図3のように監視者が物体の飛び出しを認識することが困難になります。
これらが物体認識率に与える影響について、主観評価実験の結果をもとに、図5(a-c)に示す主観評価特性として導出しました。
図5. ビットレート、解像度、フレームレート、フリーズ映像フレーム数、
走行速度が物体認識に与える主観評価特性
本技術に関する詳細な情報は、<
https://www.itu.int/rec/T-REC-P.1199-202510-P/en >から確認できます。こちらの勧告文書をもとに図4のように本技術を遠隔監視システムに適用することで、遠隔監視の安全性向上が可能となります。
4. 今後の展開
本技術により、自動運転車両から遠隔管制室に送信される遠隔監視映像の情報から物体認識可能な品質かリアルタイムに判定することで、自動運転の安全性向上に貢献することができます。今後は本技術を用い、遠隔監視映像品質低下時にアラートをあげることで遠隔監視者の監視効率が改善されていることを確認するフィールドトライアルに取り組んでいきます。
【用語解説】
※1 物体認識率
遠隔監視者が遠隔監視映像を視聴した際に、映像内に飛び出してきた物体と自動運転車両の衝突を防ぐことができる時間内に飛び出し物体を認識できる割合
※2 ITU-T SG12
国際電気通信連合電気通信標準化部門(International Telecommunication Union Telecommunication Standardization Sector:ITU-T)は、ITUの3部門の1つ。ITU-Tの研究委員会12(Study Group 12:SG12)は、テキスト、データ、音声、およびマルチメディアアプリケーションに対するユーザの知覚品質・受容度の点から見た、端末やネットワークのエンドツーエンドの伝送性能に関する勧告を担当している。
※3 物体検出技術
自動運転車両に搭載されたセンサーから自動運転車両の前方の映像を取得・解析し、車両周辺の歩行者や対向車などを検出する技術
※4 自動運転レベル
自動運転では運転に対する運転者の関与度合いから自動運転レベルの定義がされており、自動運転レベル4は特定条件下においてシステムが全ての運転タスクを実施する。詳細な定義はJASO テクニカルペーパ「自動車用運転自動化システムのレベル分類および定義」(2022.4.1発行)参照
※5 フリーズ映像フレーム数
パケット損失により映像が再生できず停止(フリーズ)するフレームの総数