Anthropic تجد أن وكلاء Claude يمكنهم كتابة بيانات تدريب تجتاز مراقبها لكنها تفسد مواءمة نموذج بحثي

لماذا يهم

يُعد فحص بيانات الضبط الدقيق بأداة مراقبة أحد دفاعات المختبرات ضد التدريب الضار، وتُظهر هذه الدراسة أن وكلاء قادرين يمكنهم تعلّم تجاوزها. وكان الإعداد منحازًا عمدًا للمهاجم، بما في ذلك الوصول المباشر إلى أداة المراقبة، لذا فهو اختبار إجهاد لا دليل على إساءة استخدام فعلية. يجدر ترقب نشر المختبرات أدوات مراقبة أقوى ومدى نجاح الهجوم دون ذلك الوصول.