AIセーフティ・インスティテュート（AISI、所長：村上明子）は、AIシステムの開発者や提供者がAIセーフティ評価を実施する際に参照できる基本的な考え方を提示するため、「AIセーフティに関する評価観点ガイド」を公開しました。AIシステムの開発・提供管理者が本書を参照することで、AIセーフティ評価の要点を確認することができ、AIセーフティに配慮したAIシステムの開発・提供を行うことができます。
URL:　 https://aisi.go.jp/2024/09/18/evaluation_perspectives/

AIに関連する技術の発展と社会全体への普及が急速に進み、生成AI、特に基盤モデルの登場によりイノベーションが加速する一方で、AIシステムの悪用や誤用、不正確な出力の懸念など、いわゆるAIセーフティ（注釈1）についての関心が国内外で高まっています。AIセーフティを確保し続けることは、AIが社会の持続的な発展に寄与するための前提であることから、AISIはAIシステムの開発者や提供者がAIセーフティ評価を実施する際に参照できる基本的な考え方を提示するため、「AIセーフティに関する評価観点ガイド」（以下、本書）を公開しました。

本書では、本年4月に公表された「AI事業者ガイドライン」に加え、海外文献や関連ツール等に関する調査を踏まえ、AIセーフティ評価の観点や想定され得るリスクの例、評価項目例、評価の実施者や評価実施時期に関する考え方、評価に関する手法の概要などを提示しています。本書の主な想定読者は、AI開発者・AI提供者、特に、「開発・提供管理者」や「事業執行責任者」であり、想定するシステムは大規模言語モデル（LLM）を構成要素とするAIシステム（LLMシステム）です。本書の構成は次のとおりです。

■本書の構成（目次）：
1. はじめに
2. AIセーフティ
3. 評価観点の詳細
4. 評価実施者及び評価実施時期
5. 評価手法の概要
6. 評価に際しての留意事項

本書では、AIセーフティの観点として、AI事業者ガイドライン「C. 共通の指針」において各主体が取り組む事項とされているもののうち、「人間中心」、「安全性」、「公平性」、「プライバシー保護」、「セキュリティ確保」「透明性」を重要要素としています。本書ではこれら6つの重要要素に関連するAIセーフティ評価の観点を、昨今の技術的潮流を踏まえて導出しました（「有害情報の出力制御」、「偽誤情報の出力・誘導の防止」、「公平性と包摂性」、「ハイリスク利用・目的外利用への対処」、「プライバシー保護」、「セキュリティ確保」、「説明可能性」、「ロバスト性」、「データ品質」、「検証可能性」の10項目）。

評価の実施者は、主にAI開発およびAI提供における開発・提供管理者であり、いずれの役割の者が実施するかは、AIシステムに関するライフサイクルによって異なるとしています。評価実施時期は、LLMシステムの開発・提供・利用フェーズにおいて合理的な範囲、適切なタイミングで繰り返し実施することとしています。

本書の5章では、評価に関する手法として技術的評価とマネジメント的評価を挙げ、技術的評価の概要としてツールを用いた対策の検証、ツール以外も取り入れたレッドチーミングによる検証などを概説し、6章では評価に際しての留意事項を示しています。

AISIは、AIシステムを安全安心に利用するための評価への理解を促進することで、社会全体でのさらなるAI活用が進むことを期待しています。
「AIセーフティに関する評価観点ガイド」と概要説明資料は、AISIのウェブサイトからダウンロード可能です。
AIセーフティに関する評価観点ガイド：https://aisi.go.jp/2024/09/18/evaluation_perspectives/

注釈1) AIセーフティ:人間中心の考え方をもとに、AI活用に伴う社会的リスクを低減させるための安全性・公平性、個人情報の不適正な利用等を防止するためのプライバシー保護、AIシステムの脆弱性等や外部からの攻撃等のリスクに対応するためのセキュリティ確保、システムの検証可能性を確保し適切な情報提供を行うための透明性が保たれた状態のこと

■参考資料：
総務省・経済産業省、「AI事業者ガイドライン（第1.0版）」
https://www.soumu.go.jp/main_content/000943079.pdf
https://www.meti.go.jp/press/2024/04/20240419004/20240419004-1.pdf