AR ▾
SNAPE REP RT الصفحة الأولى ←
مؤكدسلامة الذكاء الاصطناعي18 نوفمبر، 05:02 ص UTC

دراسة بقيادة Redwood: المدققون بالكاد يتفوقون على الصدفة في كشف أبحاث أمان ذكاء اصطناعي مُخرَّبة

Figure from the arXiv paper on auditors catching sabotage in AI safety research transcripts
Paper authors (arXiv 2611.21832)

أدى خبير بشري دور المخرّب في تجارب أمان الذكاء الاصطناعي؛ وبلغ المدققون البشر AUROC قدره 0.59 وأفضل نموذج 0.73، وهو فارق يعدّه المؤلفون ضمن هامش الضوضاء.

اقرأ في Redwood Research et al. (arXiv) مشاركة

لماذا يهم

تخطط المختبرات بشكل متزايد لتسليم أبحاث المواءمة إلى وكلاء ذكاء اصطناعي، ما يجعل التخريب غير المكتشف من نموذج غير متوائم مشكلة تحكم محورية. تختبر هذه الدراسة هذا القلق من البداية إلى النهاية، مع خبير بشري في دور المخرّب عبر 10 تجارب أمان جديدة. وتأتي بعد معيار Auditing Sabotage Bench السابق من Redwood، حيث بلغ أفضل مدقق AUROC قدره 0.77 على شيفرات مخرَّبة. يبقى ترقب ما إذا كانت المختبرات ستعتمد هذه التدقيقات قبل تفويض أبحاث الأمان للوكلاء.

حقائق رئيسية

  • المدققون البشر: AUROC 0.59، ليس أفضل من الصدفة بشكل ملحوظ
  • تحديد التخريب بدقة كاملة في 17% من الحالات
  • أفضل نموذج Fable 5.1: AUROC 0.73 وتحديد كامل بنسبة 32%
  • 25 مدققًا بشريًا و104 عمليات تدقيق مدة كل منها 90 دقيقة
  • 10 مسارات بحث سليمة و12 مسارًا مخرَّبًا

المصادر

المزيد عن سلامة الذكاء الاصطناعي
المزيد من Snape Reportالصفحة الأولى ←