コアセキュリティーチームが解散した後、OpenAIはトップ10のセキュリティ対策を発表しました
1：リリース前の赤チームや実験モデルのテスト
OpenAIでは、AIをリリースする前に、モデルの安全性を内部および外部で実証的に評価しています。 準備フレームワークでリスク基準が中程度を超える場合、安全対策を実施してスコアを中程度まで戻すまで、新しいモデルをリリースしません。また、70以上の外部専門家が赤チームを組織し、GPT-4oのリスクを評価しました。
OpenAIでは、AIをリリースする前に、モデルの安全性を内部および外部で実証的に評価しています。 準備フレームワークでリスク基準が中程度を超える場合、安全対策を実施してスコアを中程度まで戻すまで、新しいモデルをリリースしません。また、70以上の外部専門家が赤チームを組織し、GPT-4oのリスクを評価しました。
2：合わせ技と安全研究
OpenAIのモデルは、時間の経過とともに安全になっています。 これは、jailbreakingなどのアドバーサリースチュエーションでも、有害なコンテンツを誤って特定し出力しなくなるように、よりスマートなモデルを構築したためです。このように、実践的な合わせ技、安全システム、事後トレーニングの研究に投資しています。これらの取り組みにより、人間が細かく翻訳するデータの品質が向上し、将来的には、モデルが訓練される付属の指示を改善するために役立ちます。また、基本研究を実施し、ジェルブレーキングなどの攻撃に対するシステムの堅牢性を大幅に向上させます。
OpenAIのモデルは、時間の経過とともに安全になっています。 これは、jailbreakingなどのアドバーサリースチュエーションでも、有害なコンテンツを誤って特定し出力しなくなるように、よりスマートなモデルを構築したためです。このように、実践的な合わせ技、安全システム、事後トレーニングの研究に投資しています。これらの取り組みにより、人間が細かく翻訳するデータの品質が向上し、将来的には、モデルが訓練される付属の指示を改善するために役立ちます。また、基本研究を実施し、ジェルブレーキングなどの攻撃に対するシステムの堅牢性を大幅に向上させます。
3：乱用のモニタリング
OpenAIは、APIとChatGPTを介して高性能言語モデルを展開し、特別に作成されたモデレーションモデルと専用の安全リスクおよび乱用監視モデルを活用しています。その過程で、Microsoftと一緒に国家行為者による当社の技術の乱用を共同開示するなど、重要な調査結果を共有しています。また、GPT-4を使用して、コンテンツポリシーを形成し、コンテンツモデレーションの決定を下すことで、ポリシーの改善のフィードバックループを実現し、人間のモデレータが悪いコンテンツにさらされる頻度を減らしています。
OpenAIは、APIとChatGPTを介して高性能言語モデルを展開し、特別に作成されたモデレーションモデルと専用の安全リスクおよび乱用監視モデルを活用しています。その過程で、Microsoftと一緒に国家行為者による当社の技術の乱用を共同開示するなど、重要な調査結果を共有しています。また、GPT-4を使用して、コンテンツポリシーを形成し、コンテンツモデレーションの決定を下すことで、ポリシーの改善のフィードバックループを実現し、人間のモデレータが悪いコンテンツにさらされる頻度を減らしています。
4：システマチックなアプローチで安全を守る
OpenAIは、事前トレーニングから展開まで、ライフサイクルの各段階でさまざまな安全対策を実施しています。安全で一貫したモデル動作の開発とともに、事前トレーニングデータの安全性、モデル動作のシステムレベルの制御、連続的な安全改善のデータフライホイール、堅牢な監視インフラストラクチャを導入することにも投資しています。
OpenAIは、事前トレーニングから展開まで、ライフサイクルの各段階でさまざまな安全対策を実施しています。安全で一貫したモデル動作の開発とともに、事前トレーニングデータの安全性、モデル動作のシステムレベルの制御、連続的な安全改善のデータフライホイール、堅牢な監視インフラストラクチャを導入することにも投資しています。
5. 子供の保護
OpenAIの安全活動の重点は、子供の保護にあります。ChatGPTやDALL-Eには、子供に潜在的な害を軽減するための強いガードレールおよび安全対策が組み込まれています。 2023年には、OpenAIツールでCSAM（児童性的虐待物質）を取り扱う試みを検出、検証、報告する仕組みが導入されました。OpenAIは、安全性に関する原則を守るために、専門団体や広範な技術コミュニティと協力しています。
OpenAIの安全活動の重点は、子供の保護にあります。ChatGPTやDALL-Eには、子供に潜在的な害を軽減するための強いガードレールおよび安全対策が組み込まれています。 2023年には、OpenAIツールでCSAM（児童性的虐待物質）を取り扱う試みを検出、検証、報告する仕組みが導入されました。OpenAIは、安全性に関する原則を守るために、専門団体や広範な技術コミュニティと協力しています。
6: 選挙の公正性
OpenAIは政府と協力し、AIが生成したコンテンツの透明性を確保し、正確な投票情報にアクセスしやすくすることを目指しています。具体的には、DALL-E 3で作成された画像を識別するツールを導入し、技術仕様「C2PA」からメタデータを取り込んでデータの編集履歴を記録し、ユーザーがオンラインで見つけたコンテンツのソースを確認できるようにしています。 ChatGPTは、米国およびヨーロッパの公式選挙情報源にユーザーを誘導することもできます。さらに、OpenAIは、米国上院で提案されたバイパートリゾルーション「Protect Elections from Deceptive AI Act」を支援しています。
OpenAIは政府と協力し、AIが生成したコンテンツの透明性を確保し、正確な投票情報にアクセスしやすくすることを目指しています。具体的には、DALL-E 3で作成された画像を識別するツールを導入し、技術仕様「C2PA」からメタデータを取り込んでデータの編集履歴を記録し、ユーザーがオンラインで見つけたコンテンツのソースを確認できるようにしています。 ChatGPTは、米国およびヨーロッパの公式選挙情報源にユーザーを誘導することもできます。さらに、OpenAIは、米国上院で提案されたバイパートリゾルーション「Protect Elections from Deceptive AI Act」を支援しています。
7：影響評価と政策分析に投資する
OpenAIの影響評価の取り組みには、AIシステムに関連する化学的、生物学的、放射性、核のリスクを測定する初期研究、言語モデルが異なる職業や業界にどのように影響を与えるかに関する研究、社会が関連するリスクをどのように管理するかに関する先駆的な研究が含まれます。さらに、言語モデルの影響を専門家と評価することで、重要な事業に対する影響を評価することができます。
OpenAIの影響評価の取り組みには、AIシステムに関連する化学的、生物学的、放射性、核のリスクを測定する初期研究、言語モデルが異なる職業や業界にどのように影響を与えるかに関する研究、社会が関連するリスクをどのように管理するかに関する先駆的な研究が含まれます。さらに、言語モデルの影響を専門家と評価することで、重要な事業に対する影響を評価することができます。
8: セキュリティとアクセス制御の管理
OpenAIは、顧客、知的財産、データ保護を優先する。OpenAIは、世界中のAIモデルをサービスとして展開し、APIを介してアクセスを制御しています。OpenAIのサイバーセキュリティの取り組みには、訓練環境へのニード・トゥ・ノウアクセス制御、高価値アルゴリズムシークレット、内部および外部の侵入テスト、そしてバグ報奨プログラムも含まれます。OpenAIは、インフラ関連のセキュリティの進化が、高度な人工知能システムを保護するために有益であると考えており、GPU上の機密コンピューティングや、AIをサイバーセキュリティに応用するなど、革新的な制御方法の探求を行っています。また、サイバーセキュリティを強化するために助成金プログラムを通じて研究者を支援しています。
OpenAIは、顧客、知的財産、データ保護を優先する。OpenAIは、世界中のAIモデルをサービスとして展開し、APIを介してアクセスを制御しています。OpenAIのサイバーセキュリティの取り組みには、訓練環境へのニード・トゥ・ノウアクセス制御、高価値アルゴリズムシークレット、内部および外部の侵入テスト、そしてバグ報奨プログラムも含まれます。OpenAIは、インフラ関連のセキュリティの進化が、高度な人工知能システムを保護するために有益であると考えており、GPU上の機密コンピューティングや、AIをサイバーセキュリティに応用するなど、革新的な制御方法の探求を行っています。また、サイバーセキュリティを強化するために助成金プログラムを通じて研究者を支援しています。
9. 政府とのパートナーシップ
OpenAIは、世界中の政府と協力し、効果的で適用可能なAI安全政策の開発に関する情報を共有することで、政府や第三者の保証をパイロットして協力し、新しい標準や法律に関する議論を支援することで、AI安全政策を定義しています。
OpenAIは、世界中の政府と協力し、効果的で適用可能なAI安全政策の開発に関する情報を共有することで、政府や第三者の保証をパイロットして協力し、新しい標準や法律に関する議論を支援することで、AI安全政策を定義しています。
10: 安全性における意思決定と理事会の監督
OpenAIには、安全性の意思決定のための運用構造があります。クロスファンクショナルな安全アドバイザリ・グループが、モデル性能レポートをレビューし、展開前に推奨事項を行います。最終的な決定は、会社のリーダーシップによって行われ、理事会が監督を行っています。
OpenAIには、安全性の意思決定のための運用構造があります。クロスファンクショナルな安全アドバイザリ・グループが、モデル性能レポートをレビューし、展開前に推奨事項を行います。最終的な決定は、会社のリーダーシップによって行われ、理事会が監督を行っています。
このアプローチにより、OpenAIは安全かつ能力のあるモデルを構築および展開することが可能になっています。
免責事項：このコミュニティは、Moomoo Technologies Inc.が教育目的でのみ提供するものです。
さらに詳しい情報
コメント
サインインコメントをする
