【研究成果のポイント】
◆深層学習※1 モデルで移動物体をリアルタイムに検出・除去し、屋外で景観検討できる隠消現実感（DR）※2 システムを開発
◆ビルや土木構造物など移動しない物体を仮想除去して再開発後の景観をシミュレーションすることはできていたが、人や自動車など移動する物体をリアルタイムに除去しながらの景観シミュレーションはできなかった
◆ストック型社会でのまちづくりや景観・環境アセスメントへの応用、建設ICT産業の発展へ期待
※本研究成果は、学術雑誌『Environmental Modelling & Software』に、6月10日（水）に公開されました（現時点：In Press, Journal Pre-proof）。doi 10.1016/j.envsoft.2020.104759




◎概要
　大阪大学大学院工学研究科の大学院生（当時）の城戸大輝さん、福田知弘准教授、矢吹信喜教授らの研究グループは、深層学習モデルで人や自動車などの移動物体を検出し、仮想的に除去することで、再整備後の景観を現地でリアルタイムに検討できる隠消現実感（DR）システムを開発しました。
　拡張現実感（AR）※3 は、現実世界に三次元の設計モデルを加えることで、将来の景観を検討することができます。一方、DRは、現実世界にある物体を仮想的に除去することで、古くなったビルや土木構造物を撤去した後のシミュレーションができます。
　景観検討用のDRはこれまで、ビルや土木構造物など動かない物体を仮想除去するシミュレーションは実現していましたが、人や自動車など移動する物体をリアルタイムに仮想除去することができませんでした。そのため、構造物が仮想除去された風景に、人や自動車がとり残されてしまうという課題がありました。
　今回、福田知弘准教授らの研究グループは、深層学習（A I、機械学習の一種）によりリアルタイムに検出した物体をマスク処理※4 し、既報のDRシステムに統合することにより、構造物などの動かない物体と人や自動車などの動く物体をリアルタイムに仮想撤去できるDRを開発しました。
　これにより、ストック型社会で古くなったビルや土木構造物を解体撤去した後の風景をシミュレーションすることができ、まちづくりや景観・環境アセスメントへの応用が期待されます。

◎研究の背景
　ストック型社会において、既存のビルや土木構造物を再整備する際に、周辺の環境に配慮しながら推進することは重要な課題です。拡張現実感（AR）は、現実世界に三次元の設計モデルを加えることで、将来の景観を検討することができます。一方、隠消現実感（DR）は、現実世界の物体を仮想的に除去することができ、古くなったビルや土木構造物を解体・撤去した後の景観シミュレーションができます。これまで、景観検討用のDRは、ビルや土木構造物など移動しない物体を仮想除去するシミュレーションは実現していましたが、人や自動車など移動する物体をリアルタイムに仮想除去することができませんでした。そのため、構造物が仮想除去された風景に、人や自動車がとり残されてしまうという課題がありました。
　今回、福田知弘准教授らの研究グループは、深層学習（AI 、機械学習の一種）により人や自動車などの移動する物体をリアルタイムに検出し、マスク処理を加えることにより移動物体を仮想的に除去するDR手法を開発しました。これまで実現していた移動しない物体の仮想除去と、人や自動車などの移動する物体とを同時に仮想撤去できるDRとなり、より正確な景観シミュレーションが実現できます。

◎本研究成果が社会に与える影響（本研究成果の意義）
　本研究成果により、ストック型社会で古くなったビルや土木構造物を解体撤去した後の風景をシミュレーションすることができ、まちづくりや景観・環境アセスメントへの応用が期待されます。また、DRシステムは、汎用的なゲームエンジン上で開発しており、建設ICT部門を中心として、産業分野での応用が期待されます。

◎特記事項
　本研究成果は、2020年6月10日（水）（日本時間）に、学術雑誌『Environmental Modelling & Software』（エルゼビア社）にオンライン掲載されました（現時点 In Press, Journal Pre proof）。
・タイトル：''Diminished Reality System with Real time Object Detection Using Deep Learning for Onsite Landscape Simulation during Redevelopment（再開発プロセスでのオンサイト景観シミュレーションのための深層学習を用いたリアルタイムのオブジェクト検出を備える隠消現実システム）''
　著者名：Daiki KIDO, Tomohiro FUKUDA and Nobuyoshi YABUKI
　doi 10.1016/j.envsoft.2020.104759
　なお、本研究は、日本学術振興会科学研究費助成事業基盤研究の一環として行われました。

◎用語説明
※1 深層学習
　多層構造のニューラルネットワークを用いた機械学習の技法 。

※2 隠消現実感（DR: Diminished Reality）
　現実世界に存在する物体を仮想的に隠蔽・除去する技術。

※3 拡張現実感（AR: Augmented Reality）
　現実世界に仮想の視覚情報を重ね合わせて表示することで、現実世界を仮想的に拡張する技術。

※4 マスク処理
　背景画像の上に他の画像を重ねる際に、背景を透過させたい領域が別の画像で塗りつぶされないように保護する役割を果たすパターン画像をマスク画像といい、この画像に基づいて行う画像処理をマスク処理と呼ぶ。

【研究者のコメント】 （大阪大学大学院 工学研究科准教授　福田知弘）
　本研究は、環境工学分野（環境設計 ）とコンピュータサイエンス （情報学）にまたがる学際領域で、実問題を解決するために、城戸さんや矢吹教授と取り組んだ内容です。都市景観検討における課題の整理と、その課題を解決するための、隠消現実感（DR）、深層学習の理解と実装という幅広い分野を、一定の研究成果としてまとめ上げることは苦労しました。研究成果が、生活の質向上に向けて、まちづくりや景観・環境アセスメント分野をはじめとする社会実装や産業化につながれば幸いです。


【リリース発信元】 大学プレスセンター https://www.u-presscenter.jp/