LLM ハッキング ジェイルブレイク
- https://app.grayswan.ai/arena - 米セキュリティ企業Gray Swan AI が主催する「Gray Swan Arena https://www.businessinsider.jp/article/279690/」という世界的な AI セキュリティ コンテストにおいて**22位を獲得。(1000人超え)** - 「Gray Swan Arena」は、AIの安全性とセキュリティの向上を目的とした競技プラットフォーム。参加者は、AIモデルの脆弱性を特定し、リスクを評価するためのチャレンジに取り組みます。具体的には、AIアシスタントを有害なタスクに誘導する「Harmful AI Assistant」や、複数のメッセージを通じて有害な出力を引き出す「Multi-Turn Harmful Outputs」などのチャレンジがあります。 - ジェイル・ブレイク - あらかじめ生成AI側で設定した制御を非正規の方法で突破・解除している