【Microsoft AI Tour】生成AIのセキュリティリスクについて
こんにちは！橋本です。
今回は2024年02月20日(火)に開催されたMicrosoft AI Tour に参加してきました！
今話題になっている生成AIの大型イベントということでいろんなセクションに参加してきましたがその中で一番印象に残っている
「生成AIアプリケーションのセキュリティ保護」について紹介したいと思います!
講演内容
講演ではアプリケーション作成に対してのセキュリティの他に生成AIのセキュリティについて話されており、こちらをメインに紹介したいと思います。
生成AIのセキュリティでは
MSRC (Microsoft Security Response)に基づいたMicrosoft Vulnerability Severity Classification for AI Systemsにまとめられている脆弱性のリスク一覧をベースに紹介されていました。
セクションでは以下のMSRC AIに記載されている以下のリスクについて紹介されていました。
- コマンドインジェクション
- 入力摂動
- モデル/データのポイズニング
- 入力の抽出
- プロンプトの抽出
- メンバーシップの推論
- 属性の推論
- トレーニングデータの再構築
- プロパティの推論
- モデル不正入手
それぞれの細かい説明はMSRC AI に記載されているので、興味がある方はそちらを参照してください。
またOWASP が発行している LLM,ML のOWASP Top10 もスライド内で参照し先ほどのリスクと関連付けて紹介されていました。
OWASP のLLM版あるの知りませんでした....
日本語訳かけて読んでみるとリスクについての詳細や、対策についても記載されていてとても面白かったので、生成AIで開発している方は一度は目を通してもいいかもしれません。
ちなみにOWASP Top 10 for Large Language Model Applications のTOP10は以下の通りです。
- Prompt Injection (プロンプトインジェクション)
- Insecure Output Handling (安全でない出力処理)
- Training Data Poisoning(訓練データポイズニング)
- Model Denial of Service(モデルサービス拒否)
- Supply Chain Vulnerabilities(サプライチェーン脆弱性)
- Sensitive Information Disclosure(機密情報の開示)
- Insecure Plugin Design(安全でないプラグイン設計)
- Excessive Agency(過剰なエージェンシー)
- Overreliance(過度の依存)
- Model Theft(モデル窃取)
MSRC AIやOWASPのリスクを見比べると注意すべき点というのは視点が全く同じではないですが大体同じであることが分かります。
まとめ
今回の公演を通して、システム、アプリケーションに対してのセキュリティだけでなく生成AIのセキュリティについても考える必要があると感じました。
まだまだ生成AIは発展途上であり、セキュリティリスクについても常に情報を収集し、対策を講じていく必要がある思います。
またMicrosoftは2024年2月22日に生成AIのリスクを特定する自動化ツール」「PyRIT」(Python Risk Identification Toolkit for Generative AI)を発表しており
生成AIのセキュリティに対して、早期発見、評価を行うことができるらしいです！
これも調査できたら、また記事にしたいと思います!
![Microsoft Power BI [実践] 入門 ―― BI初心者でもすぐできる! リアルタイム分析・可視化の手引きとリファレンス](/assets/img/banner-power-bi.c9bd875.png)
![Microsoft PowerPlatformローコード開発[活用]入門 ――現場で使える業務アプリのレシピ集](/assets/img/banner-powerplatform-1.a01c0c2.png)
