このたび、中部大学理工学部AIロボティクス学科の藤吉弘亘教授、工学部情報工学科の山下隆義教授、大学院工学研究科ロボット理工学専攻の鈴木颯斗大学院生らの研究グループは、車載カメラで取得した走行映像から周辺の車両や歩行者などのオブジェクトを抽出し、それらを頂点（ノード）、オブジェクト間の空間的・時間的な関係を辺（エッジ）とする「グラフ構造」として捉える方法に着目。「グラフアテンションネットワーク（Graph Attention Network：GAT）」と「トランスフォーマー（Transformer）」と呼ぶ２つのニューラルネットワークで構築した案内文生成モデルと組み合わせ、構築したグラフから車両の周辺状況を学習し、多様で自然な表現を持つ文章の生成が可能な手法を開発しました。さらにシミュレータで作成した独自の運転シーンデータを用いた実験を実施し、従来手法と比較して高い精度で案内文を生成することが可能であることを示しました。モデル内部の注目（Attention）を可視化することで、生成された案内文の判断根拠を視覚的に示すことにも成功しました。




1.研究成果のポイント
・車載カメラ映像から周辺環境を「グラフ構造」として理解し、人間のように自然な言葉で案内するナビゲーションAIを開発。
・進路に応じて重要な物体に注目した言語による案内文生成と、AI が「どの車を見て案内しているのか」を視覚的に説明することでより信頼性の高い運転支援を実現。

2.発表概要
高度運転支援システムの発展に合わせて、車両が運転手に対して適切な情報を提供することの重要性が高まっています。しかし、これまでの目的地まで道案内するナビゲーションシステムは地図情報や定型文に基づく案内が主流ですが、実際の複雑で動的な交通環境においては直感的理解を促すことは困難でした。近年は人工知能（AI）の進展により運転支援システムが高度化しています。AIによる画像認識や人間が理解できる言語を出力できる「自然言語生成（Natural Language Generation：NLG）」の技術が注目されており、これらのナビゲーションシステムへの応用研究も進められています。


このたび、中部大学理工学部AIロボティクス学科の藤吉弘亘教授、工学部情報工学科の山下隆義教授、大学院工学研究科ロボット理工学専攻の鈴木颯斗大学院生らの研究グループは、車載カメラで取得した走行映像から周辺の車両や歩行者などのオブジェクトを抽出し、それらを頂点（ノード）、オブジェクト間の空間的・時間的な関係を辺（エッジ）とする「グラフ構造」として捉える方法に着目。「グラフアテンションネットワーク（Graph Attention Network：GAT）」と「トランスフォーマー（Transformer）」と呼ぶ２つのニューラルネットワークで構築した案内文生成モデルと組み合わせ、構築したグラフから車両の周辺状況を学習し、多様で自然な表現を持つ文章の生成が可能な手法を開発しました。さらにシミュレータで作成した独自の運転シーンデータを用いた実験を実施し、従来手法と比較して高い精度で案内文を生成することが可能であることを示しました。モデル内部の注目（Attention）を可視化することで、生成された案内文の判断根拠を視覚的に示すことにも成功しました。本研究成果は、オーストラリアのゴールドコーストで開催される高度交通システムに関する国際会議「The IEEE International Conference on Intelligent Transportation Systems(ITSC)」で11月20日（現地時間）に発表します。


3.研究の背景
車載ナビゲーションシステムは運転支援の重要な役割を担っています。しかし従来のナビゲーションは「地図データ」と「静的ルート情報」に依存しており、周囲の環境変化や交通状況の複雑さに十分に対応できません。例えば、交差点で複数の車両や歩行者が交錯するような状況では、単純な「100m先を左折」といった指示では不十分であり、人間のように文脈を踏まえた案内（例：「前方の白い車に続いて左折」）が求められます。


深層学習の発展により、画像認識と自然言語生成を組み合わせることで視覚的に理解して話すAIの研究が進展しています。しかしながら、運転シーンは、路面や車両、歩行者、信号機、看板といった非常に複雑な要素が空間内に含まれており、瞬時に最適な要素を選択して案内文を生成することは困難です。


こうした複雑な情報を捉える手法として、空間内の要素を1つのグラフ構造として表現するシーングラフが近年注目されています。空間内の情報をグラフとして単純な形式にすることで、最適な特徴（本研究の場合であれば重要な要素の選択）を作り出すことができます。しかし、運転時における周辺環境は刻一刻と変化しており、その時間的差分を十分に考慮する必要があります。


そこで本研究では、さらに時系列情報を考慮可能な形式に拡張した時空間シーングラフを導入し、文章生成モデルと組み合わせる手法を提案しました。

4.研究の成果
本研究では、車両の視界映像から人間らしい案内文を生成することを目的に、運転シーンにおける周辺環境（オブジェクト）の空間的・時間的変化を表現した「時空間シーングラフ（Spatio-Temporal Scene Graph：STSG）」を生成する手法、およびGATとトランスフォーマーを統合したグラフデータを人間が理解できる自然言語のテキストに変換する「Graph-to-Textモデル」を提案しました（図1）。これにより、運転シーンにおける複雑な時空間的関係を理解しつつ、GATの仕組みによりその判断根拠を可視化できる新しい案内文生成手法を実現しました。


時空間シーングラフの構築においては、物体検知モデル「YOLO-World」と物体追跡手法「BoT-SORT」を用いて、検出物体をグラフ上のノード、検出物体同士の関係性および時間的変化の関係性をグラフ上のエッジとして1つ のグラフ構造データとして表現しています。Graph-to-Textモデルは主に空間方向と時間方向の依存関係をAttention機構によって学習するグラフエンコーダと、抽出されたグラフ特徴から自然な表現の案内文を生成するテキストデコーダで構成されます。


評価実験では、オープンソースの自動運転向けシミュレータ「CARLA」を用いて作成した約10,000フレームの独自データセットを使用しました。提案手法の案内文生成性能を、生成文章の品質を評価する指標を用いてベースライン手法と比較した結果、すべてのフレーム数設定で最高精度を達成しました。


ベースライン手法では誤った車両や存在しない物体に言及するケースが見られたのに対し、提案手法では正しい対象物体に基づいた自然な説明文を生成できることが確認されました（図2）。特に、入力フレーム数の増加に伴い判断材料が複雑化する場面において、提案手法は一貫して高い精度を達成しており、時空間シーングラフが有効であることが示されています。また、案内文の生成時のAttentionを可視化した結果、モデルが着目したオブジェクトと生成文中の記述対象が一致していることを確認し、提案手法が判断根拠の透明性と信頼性を両立していることを実証しました。（図3）



5.今後の展望
本研究の成果により、時空間的な関係理解に基づく案内文生成とその視覚的説明を両立する枠組みを確立しました。今後はより複雑な交通環境や多様な運転シナリオへの適用、データ拡張による汎用化性能の向上が期待され、実環境への適用も検討しています。


6.発表内容
国際会議名： IEEE Intelligent Transportation Systems Conference (ITSC) 2025
発表タイトル： Enhancing Navigation Text Generation and Visual Explanation Using Spatio-Temporal Scene Graphs with Graph Attention Networks
著者： Hayato Suzuki, Kota Shimomura, Tsubasa Hirakawa, Takayoshi Yamashita,Hironobu Fujiyoshi

7.お問い合わせ先
藤吉 弘亘（中部大学 理工学部 AIロボティクス学科 教授）
E-mail：hujiyoshi[at]fsc.chubu.ac.jp ※アドレスの[at]は@に変更してください。

山下 隆義（中部大学 工学部 情報工学科 教授）
E-mail：takayoshi[at]fsc.chubu.ac.jp ※アドレスの[at]は@に変更してください。


▼本件に関する問い合わせ先
中部大学 入試・広報センター（広報課）
TEL：0568-51-5541
メール：chubu-info@fsc.chubu.ac.jp


【リリース発信元】 大学プレスセンター https://www.u-presscenter.jp/