マルチモーダル基盤モデルを対象とする調査を行い、評価項目例を検討

AIセーフティ・インスティテュート（AISI、所長：村上明子）は、2024年9月に公開した「AIセーフティに関する評価観点ガイド」について、画像解析などAIの活用の幅が広がっている動向をふまえ、マルチモーダル基盤モデルを評価対象とする場合のAIセーフティの評価観点や各観点における評価項目例を調査し、今回の改訂を行いました。

AIセーフティに関する評価観点ガイド
https://aisi.go.jp/effort/effort_framework/guide_to_evaluation_perspective_on_ai_safety/

概要

AIに関連する技術の発展と社会全体への普及が急速に進み、生成AI、特に基盤モデルの登場によりイノベーションが加速する一方で、AIシステムの悪用や誤用、不正確な出力の懸念など、いわゆるAIセーフティ（注釈1）についての関心が国内外で高まっています。AISIはAIシステムの開発者や提供者がAIセーフティ評価を実施する際に参照できる基本的な考え方を提示するため、2024年9月に「AIセーフティに関する評価観点ガイド」（以下、本書）を公開しました。第1.00版ではテキストを入出力にするようなLLMを構成要素とするAIシステムを対象としていましたが、画像を扱うような多様なAIシステムを対象としたAIセーフティ評価の要請が高まっていました。

今回2025年3月に学術論文を対象として、マルチモーダル基盤モデルを構成要素とするAIシステムのAIセーフティに関わる脅威やリスク、AIセーフティ評価手法などを記載した文献を調査しました。その結果をふまえ、主に画像などを含むマルチモーダル情報を扱うAIシステムの評価において重要となる評価項目例を検討し、本書に追記したうえで、第1.10版として公表しました。
本書の主な想定読者は、AI開発者・AI提供者、特に、「開発・提供管理者」や「事業執行責任者」であり、想定するシステムは大規模言語モデル（LLM）を構成要素とするAIシステム（LLMシステム）です。本書の構成は次のとおりです。

注釈1

人間中心の考え方をもとに、AI活用に伴う社会的リスクを低減させるための安全性・公平性、個人情報の不適正な利用等を防止するためのプライバシー保護、AIシステムの脆弱性等や外部からの攻撃等のリスクに対応するためのセキュリティ確保、システムの検証可能性を確保し適切な情報提供を行うための透明性が保たれた状態のこと

本書の構成

1.はじめに
2.AIセーフティ
3.評価観点の詳細
4.評価実施者及び評価実施時期
5.評価手法の概要
6.評価に際しての留意事項

本書では、AIセーフティの観点として、AI事業者ガイドライン「C. 共通の指針」において各主体が取り組む事項とされているもののうち、「人間中心」、「安全性」、「公平性」、「プライバシー保護」、「セキュリティ確保」「透明性」を重要要素としています。本書ではこれら6つの重要要素に関連するAIセーフティ評価の観点を、昨今の技術的潮流を踏まえて導出しました（「有害情報の出力制御」、「偽誤情報の出力・誘導の防止」、「公平性と包摂性」、「ハイリスク利用・目的外利用への対処」、「プライバシー保護」、「セキュリティ確保」、「説明可能性」、「ロバスト性」、「データ品質」、「検証可能性」の10項目）。

今回、第1.10版の改訂では、マルチモーダル基盤モデルを評価対象とする場合のAIセーフティの評価観点や各観点における評価項目例を調査した結果、「有害情報の出力制御」、「公平性と包摂性」、「プライバシー保護」、「セキュリティ確保」、「ロバスト性」、「データ品質」の6つの観点について新たに評価項目例を記載いたしました。評価の実施者は、主にAI開発およびAI提供における開発・提供管理者であり、いずれの役割の者が実施するかは、AIシステムに関するライフサイクルによって異なるとしています。評価実施時期は、LLMシステムの開発・提供・利用フェーズにおいて合理的な範囲、適切なタイミングで繰り返し実施することとしています。
本書の5章では、評価に関する手法として技術的評価とマネジメント的評価を挙げ、技術的評価の概要としてツールを用いた対策の検証、ツール以外も取り入れたレッドチーミングによる検証などを概説し、6章では評価に際しての留意事項を示しています。

AISIは、AIシステムを安全安心に利用するための評価への理解を促進することで、社会全体でのさらなるAI活用が進むことを期待しています。
「AIセーフティに関する評価観点ガイド」と概要説明資料は、AISIのウェブサイトからダウンロード可能です。

AIセーフティに関する評価観点ガイド
https://aisi.go.jp/effort/effort_framework/guide_to_evaluation_perspective_on_ai_safety/