【研究成果のポイント】
◆市場で入手できる、一般的なドローン視点のMR（複合現実感）※1 の実現に向け、飛行ルートを事前に定義する必要なく、現実世界と仮想世界を正しく重ね合わせる位置合わせシステムを提案。
◆ビジュアルポジショニングシステム（VPS））※2 と自然特徴ベースのトラッキング※3 という2種類のビジョンベースの自己位置推定法を統合することで実現。
◆提案したシステムによって、従来の方法と比較してより正確で柔軟なドローン視点MRアプリケーションが実装可能に。
◆提案したシステムは汎用性が高く、将来的には都市景観シミュレーションや点検業務の補助などさまざまな用途への応用が期待される。特に建築・エンジニアリング・建設（AEC）分野におけるドローン利用のさらなる発展への貢献に期待。




【概　要】
　大阪大学大学院工学研究科の木下愛梨さん（2024年3月修了）、福田知弘准教授、矢吹信喜教授らの研究グループは、VPSと自然特徴ベースのトラッキングを組み合わせたドローン視点のMRを実現する位置合わせシステムを提案 ・実装しました。この方法では、カメラの情報のみを使って現実世界と仮想世界を正しく重ね合わせることができるため、一般的に入手可能なドローンを用いて飛行ルートの事前定義なしでMRを実行することができます。
　本研究成果は、2024年4月29日（月）（日本時間）に、学術雑誌「Drone Systems and Applications」（Canadian Science Publishing社） にオンライン掲載されました。

【研究の背景】
　近年、さまざまな分野でドローンとMRの統合が期待されており、すでにいくつかのアプリケーションが提案されています。特に、都市や建築物のような大規模な空間を対象とした景観シミュレーションなどを行う場合、ユーザの行動範囲に制限されないドローン視点のMRによる可視化は有効です。しかし一般的に、ドローン視点のMRは、アプリケーションの開発・実装のために特別な機体やソフトウェア開発キットを使用していました。これではアプリケーションの汎用性が低下し、ユースケースが限定されてしまいます。
　この問題に対して先行研究では、 画面共有やストリーミング配信のような汎用性の高い技術 を用いてMRと市販のドローンを統合する方法が提案されました。しかし、先行研究の方法では、現実世界と仮想世界の動きを一致させるためにドローンの飛行ルートを事前に定義する必要がありました。つまり、MR の実行中に軌道を変更することができませんでした。

【研究の内容】
　そこで本研究では、任意のルートで操縦したドローンの現在位置を推定することによって、現実世界と仮想世界の動きを一致させること（位置合わせ）を目指しました。
　図1に、本研究で提案するシステムの概要を示します。先行研究を踏襲し、画面共有によってドローンの映像（現実世界）をゲームエンジンに入力し、仮想世界の映像と重ね合わせて出力します。出力されたMR映像はストリーミング配信でユーザに共有されます。ここで本研究は、現実世界と 仮想世界の映像を重ね合わせる際に、（iii）（iv）に示すようにVPSと自然特徴ベースのトラッキングを組み合わせることで位置合わせを行います。
　これらのビジョンベースの方法は、GPSなどのセンサを使用せず、一般的なドローンに搭載されているカメラ情報（画像と内部パラメータ）のみを入力とするため、特別な機体やソフトウェア開発キットを用いずに実装することが可能になります。

　図2に、本研究の提案システムと先行研究のシステムでMRを実行した場合の位置合わせの精度を比較した様子を示します。各行において、赤い領域の位置が左列のものに近いほど精度が良いことを表します。中列が本研究の提案システム、右列が先行研究のシステムによる出力結果です。また、これを定量的に評価するためにIoU（Intersection over Union）※4 という指標を用い、図3にグラフ化して示します。この指標は0～1の値を取り、1に近いほど精度が良いことを表します。
　これらの結果から、先行研究の結果と比較して、本研究の提案システムによる位置合わせの精度はより高いことが示されました。また、先行研究では時間が経過するにつれて精度が低下する傾向が見られましたが、本研究の提案システムでは高い精度で安定していることが確認されました。提案システムによって、任意の軌道でドローンを操縦しても十分な精度のMRが実行可能になったと考えられます。

【本研究成果が社会に与える影響（本研究成果の意義）】
　近年、AEC分野では、時間、精度、安全性、コストの面で優れた特徴を持っていることからドローンの導入が拡大しています。そして、将来的のAEC分野においてドローンがさらに広く適用されるためには、MRを含む他の最新技術との統合が重要であると言われています。
　本論文では実際の利用を想定したドローンMRアプリケーションを実装したわけではありませんが、提案した位置合わせシステムは汎用性が高いものであり、将来的にはさまざまな機能を付加することができる見込みです。建築プロジェクトの開始時（設計・計画）から後期段階（保守・点検）まで幅広く活躍するドローン視点MRの実現に一歩近づきました。

【特記事項】
　本研究成果は、2024年4月29日（月）（日本時間）に、学術雑誌「Drone Systems and Applications」（Canadian Science Publishing社）にオンライン掲載されました。

・タイトル： Drone-based mixed reality: enhancing visualization for large-scale outdoor simulations with dynamic viewpoint adaptation using vision-based pose estimation methods（ドローンベースの複合現実感：ビジュアルベースの姿勢推定法を用いた動的な視点適応による大規模屋外シミュレーションの可視化強化）
・著者名： Airi Kinoshita, Tomohiro Fukuda, and Nobuyoshi Yabuki（大阪大学 大学院工学研究科 環境エネルギー工学専攻）
・DOI： https://doi.org/10.1139/dsa-2023-0135

【用語説明】
※1　MR（複合現実感）
　現実世界と仮想世界の間の連続的な空間のすべてを指す。現実世界に仮想世界を重ね合わせるAR（拡張現実感）や、仮想世界に現実の情報を重ね合わせるAV（拡張仮想感）が含まれる。
※2　ビジュアルポジショニングシステム（VPS）
　対象地の写真群から事前に作成し3Dマップを用いて、3D マップ内のカメラの位置を推定する技術。誤差の蓄積は起こりにくいが、計算に時間がかかる。
※3　自然特徴ベースのトラッキング
　カメラから取得した画像内の特徴点の移動を推定することで、カメラの移動を追跡する。リアルタイムで実行する場合に十分軽量な方法だが、誤差が蓄積する。
※4　IoU（Intersection over Union）
　主に物体検出の精度検証に用いられる指標。0～1の値を取り、1に近いほど正しく検出できていることを表す。本研究では、現実空間と仮想空間がどれだけ一致しているかを示す値として使用している。

【関連するこれまでの研究成果】
・洪水リスクを可視化！ サーバレンダリング型 MR を開発 浸水予測を手元のスマホで簡単に （2024/5/28）
　https://resou.osaka-u.ac.jp/ja/research/2024/20240528_1
・＼AI・深層学習の準備コストを大幅減／ 実在しない都市画像の合成データセットを自動生成 （2023/9/21）
　https://resou.osaka-u.ac.jp/ja/research/2023/20230921_3
・都市デジタルツインから合成データセットを自動生成 （2022/9/6）
　https://resou.osaka-u.ac.jp/ja/research/2022/20220906_2
・建物取り壊し後の景観シミュレーションをリアルタイムに （2022/7/29）
　https://resou.osaka-u.ac.jp/ja/research/2022/20220729_1
・障害物を除去し建物ファサードの全景を効率的に復元する方法を開発 （2021/9/7）
　https://resou.osaka-u.ac.jp/ja/research/2021/20210907_1
・建物の機能分類（住宅・オフィス・商業施設等）と建物ファサードカラー測定による大都市スケールの空間分析法 （2021/9/6）
　https://resou.osaka-u.ac.jp/ja/research/2021/20210906_2
・航空写真の薄雲を自動で除去 深層学習用建物マスク画像の自動生成 （2021/8/20）
　https://resou.osaka-u.ac.jp/ja/research/2021/20210820_1
・景観シミュレーション用のMRに新技術 （2021/3/24）
　https://resou.osaka-u.ac.jp/ja/research/2021/20210324_1
・景観シミュレーション用のDRに新技術 （2020/6/17）
　https://resou.osaka-u.ac.jp/ja/research/2020/20200617_1

【研究者のコメント】
・福田 知弘 准教授
　本研究は、環境工学分野環境設計とコンピュータサイエンス情報学にまたがる学際領域で、実問題の解決を目指して、木下愛梨さんや矢吹信喜教授と取り組んだ内容です。
　現実世界に3D設計モデル（デジタルツインプロトタイプ）を重ね合わせて将来景観をMR表現する場合、ユーザは通常、ヘッドマウントディスプレイ（HMD）を装着するか、スマートフォンやタブレットなどのデバイスを持つ必要があります。結果、MRデバイスとMRユーザは近接しており、MR表現はMRユーザの行動範囲に限定されます。ドローンとMRの統合は、MRユーザ近傍のみの体験の制約から解放し、より自由な視点からのMR表現を可能にし、都市計画とインフラ整備・維持管理、災害対応と人道支援、文化保護と観光、環境保全などさまざまな社会課題を解決する可能性を有しています。
　本研究では、任意経路でのドローン飛行にもMR対応できるよう、2つのビジュアルベースの自己位置推定法を組み合わせることで、現実世界とバーチャルモデルの位置合わせを行うシステムを開発しました。1つはVPSによる単一カメラ画像からの姿勢推定であり、もう1つは自然特徴ベースのトラッキング法によるカメラの変位計算です。
　研究成果が、社会実装や建造環境分野のDX （デジタルトランスフォーメーション）推進と産業化につながれば幸いです。

●福田知弘准教授 研究者総覧 URL
　https://rd.iai.osaka-u.ac.jp/ja/d2782e4b9c864b39.html


【リリース発信元】 大学プレスセンター https://www.u-presscenter.jp/