画像認識AIを用いて社会インフラ設備の錆を高精度に検出 ～さまざまな設備の一括点検により稼働削減をめざす～
日本電信電話株式会社（代取締役社長：澤田 純、以下NTT）は、画像認識AIを用いてさまざまな社会インフラ設備に発生した錆の高精度な検出に成功しました。画像認識AIは、Mobile Mapping System※1（モービルマッピングシステム、 以下MMS）を用いて取得した沿道の画像から、複数のインフラ設備を識別し、それぞれのインフラ設備（道路附属物および柱上設備）に発生している錆を97.5％の精度※2で検出できることを確認しました。
画像認識AIによって、MMSで同時に撮影した画像から複数のインフラ設備を一括で識別・点検できるため、インフラ管理者毎に実施していた現地点検の集約による稼働削減が期待できます。さらに、画像認識AIによる点検のため、点検員毎によって発生していたバラツキをなくし、点検品質の均一化が可能になります。今後は、AI技術のさらなる深化によって、社会インフラ維持管理業務に付加価値を与え、スマートな社会の実現に貢献していきます。
なお、本技術については2022年5月18日、19日に開催予定の「つくばフォーラム2022」※3にて展示します。
1．背景
道路をはじめとする社会インフラは、老朽化の進行、点検コストの増加、点検員の不足といった問題を抱えています。これらの問題に対して、未来投資戦略2018※4ではセンシングやAIなどの新技術を導入するインフラ管理者の割合を2030年までに100％とすることを目標としています。NTTグループでは、社会から取得できるさまざまなセンシングデータをデジタル空間上で結合・蓄積・分析する「4Dデジタル基盤®※5」によって解決することをめざしており、MMSやドローンなどによる点検（データ取得・自動解析）を進めています。
今回、MMSに搭載した複数の高解像度デジタルカメラで沿道のインフラ設備を一括撮影し、取得画像から設備の錆を検出する画像認識AIを構築しました。
2．検証内容と結果
MMSによる実地でのインフラ設備の撮影は、西日本電信電話株式会社が実施しました。撮影に用いたMMSを図1に示します。今回の撮影では、MMSで沿道のインフラ設備を一定間隔で撮影し、横向きのデジタルカメラによって道路附属物（ガードレール、標識、ミラーなど）の画像、上向きのデジタルカメラによって柱上設備（金物、ケーブルなど）の画像を取得しました。取得した道路附属物の画像1000枚（設備に錆がある画像は587枚）、柱上設備の画像1000枚（設備に錆がある画像は135枚）に対して、画像認識AIを用いた設備の認識と、各設備の錆の検出を行いました。
本検証の結果を表1に示します。道路附属物と柱上設備の合計で、画像2000枚中1885枚において設備を正しく認識し（認識率94.3％※6）、錆がある画像722枚中704枚において錆を正しく検出しました（検出率97.5％※2）。図2に設備の認識と、錆の検出例を示します。
現在、インフラ管理者毎に実施している現地での点検を、一括で画像取得ができるMMS走行に集約することが可能となり、点検稼働の削減が期待できます。また、画像認識AIは取得画像から一律の基準で高精度に錆の領域を検出できるため、点検品質の均一化が期待できます。
3．画像認識AIの特長
本検証における画像認識AIは、以下の特長により高精度な検出を可能としています（図3）。
本画像認識AIは、実地で取得した合計数万枚のインフラ設備と発生した錆の画像を学習させており、対象を特定の設備に限定することなく、複数のインフラ管理者で活用できます。
4．今後の展開
MMSやドローンなどで撮影された画像に対して、画像認識AIによる錆検出の実用化を進めます。さらに、画像認識AIについては、錆以外の変状検出や、MMSで画像を取得する際のGNSS情報と取得画像から設備が設置されている経度緯度の高精度な位置推定に取り組み、デジタル情報による社会インフラ全体の効率的な維持管理をめざします。
※1：レーザー計測器、GNSS（Global Navigation Satellite System/全球測位衛星システム）装置、デジタルカメラなどの機器を車両に搭載し、走行しながら道路、建物、設備などの3次元座標データやカラー画像等の空間情報を取得するシステムです。
※2：目視で錆の発生を確認した画像枚数を分母、画像認識AIで錆を正しく検出した画像枚数を分子として計算した割合です。
※3：URL（https://www.tsukuba-forum.jp/）、本技術の展示名は「社会インフラの維持管理・運用のスマート化」です。
※4：「未来投資戦略2018 内閣府」、URL（https://www.kantei.go.jp/jp/singi/keizaisaisei/pdf/miraitousi2018_zentai.pdf）
※5：「4Dデジタル基盤®」は日本電信電話㈱の登録商標です。
※6：道路附属物もしくは柱上設備が写っている画像枚数を分母、画像認識AIが道路附属物もしくは柱上設備を正しく認識した画像枚数を分子として計算した割合です。
画像認識AIによって、MMSで同時に撮影した画像から複数のインフラ設備を一括で識別・点検できるため、インフラ管理者毎に実施していた現地点検の集約による稼働削減が期待できます。さらに、画像認識AIによる点検のため、点検員毎によって発生していたバラツキをなくし、点検品質の均一化が可能になります。今後は、AI技術のさらなる深化によって、社会インフラ維持管理業務に付加価値を与え、スマートな社会の実現に貢献していきます。
なお、本技術については2022年5月18日、19日に開催予定の「つくばフォーラム2022」※3にて展示します。
1．背景
道路をはじめとする社会インフラは、老朽化の進行、点検コストの増加、点検員の不足といった問題を抱えています。これらの問題に対して、未来投資戦略2018※4ではセンシングやAIなどの新技術を導入するインフラ管理者の割合を2030年までに100％とすることを目標としています。NTTグループでは、社会から取得できるさまざまなセンシングデータをデジタル空間上で結合・蓄積・分析する「4Dデジタル基盤®※5」によって解決することをめざしており、MMSやドローンなどによる点検（データ取得・自動解析）を進めています。
今回、MMSに搭載した複数の高解像度デジタルカメラで沿道のインフラ設備を一括撮影し、取得画像から設備の錆を検出する画像認識AIを構築しました。
2．検証内容と結果
MMSによる実地でのインフラ設備の撮影は、西日本電信電話株式会社が実施しました。撮影に用いたMMSを図1に示します。今回の撮影では、MMSで沿道のインフラ設備を一定間隔で撮影し、横向きのデジタルカメラによって道路附属物（ガードレール、標識、ミラーなど）の画像、上向きのデジタルカメラによって柱上設備（金物、ケーブルなど）の画像を取得しました。取得した道路附属物の画像1000枚（設備に錆がある画像は587枚）、柱上設備の画像1000枚（設備に錆がある画像は135枚）に対して、画像認識AIを用いた設備の認識と、各設備の錆の検出を行いました。
本検証の結果を表1に示します。道路附属物と柱上設備の合計で、画像2000枚中1885枚において設備を正しく認識し（認識率94.3％※6）、錆がある画像722枚中704枚において錆を正しく検出しました（検出率97.5％※2）。図2に設備の認識と、錆の検出例を示します。
現在、インフラ管理者毎に実施している現地での点検を、一括で画像取得ができるMMS走行に集約することが可能となり、点検稼働の削減が期待できます。また、画像認識AIは取得画像から一律の基準で高精度に錆の領域を検出できるため、点検品質の均一化が期待できます。
（図1）インフラ設備撮影用MMS
（表1）画像認識AIを用いた設備の認識と錆の検出の結果
（表1）画像認識AIを用いた設備の認識と錆の検出の結果
（図2）インフラ設備の認識と錆の検出結果
3．画像認識AIの特長
本検証における画像認識AIは、以下の特長により高精度な検出を可能としています（図3）。
- さまざまな設備種類・形状の画像や、異なる照度や構図で撮影された画像を十分かつ均等に学習させることにより、複数の設備を正しく認識することが可能です。例えば、道路附属物ではガードレール／標識／ミラーなどの種類を、柱上設備では金物／ケーブルなどの構成物を別物体として認識し、それらの各領域を画素単位で検出します。
- 暗い画像から錆を見つけられるAIや、微小な錆領域を見逃さないAIなど、特徴の異なる複数のAIの結果を総合的に判断します。その結果、逆光や曇りによって暗く写った設備からでも小さな錆まで高精度に検出します。
本画像認識AIは、実地で取得した合計数万枚のインフラ設備と発生した錆の画像を学習させており、対象を特定の設備に限定することなく、複数のインフラ管理者で活用できます。
（図3）画像認識AIの特長
4．今後の展開
MMSやドローンなどで撮影された画像に対して、画像認識AIによる錆検出の実用化を進めます。さらに、画像認識AIについては、錆以外の変状検出や、MMSで画像を取得する際のGNSS情報と取得画像から設備が設置されている経度緯度の高精度な位置推定に取り組み、デジタル情報による社会インフラ全体の効率的な維持管理をめざします。
※1：レーザー計測器、GNSS（Global Navigation Satellite System/全球測位衛星システム）装置、デジタルカメラなどの機器を車両に搭載し、走行しながら道路、建物、設備などの3次元座標データやカラー画像等の空間情報を取得するシステムです。
※2：目視で錆の発生を確認した画像枚数を分母、画像認識AIで錆を正しく検出した画像枚数を分子として計算した割合です。
※3：URL（https://www.tsukuba-forum.jp/）、本技術の展示名は「社会インフラの維持管理・運用のスマート化」です。
※4：「未来投資戦略2018 内閣府」、URL（https://www.kantei.go.jp/jp/singi/keizaisaisei/pdf/miraitousi2018_zentai.pdf）
※5：「4Dデジタル基盤®」は日本電信電話㈱の登録商標です。
※6：道路附属物もしくは柱上設備が写っている画像枚数を分母、画像認識AIが道路附属物もしくは柱上設備を正しく認識した画像枚数を分子として計算した割合です。
