AR ▾
SNAPE REP RT الصفحة الأولى ←
مؤكدسلامة الذكاء الاصطناعي05 نوفمبر، 03:45 م UTC

تقنية mechanistic shaping من Goodfire تستخدم التمثيلات الداخلية في التدريب للحد من التلاعب بالمكافأة والتملق

Goodfire research figure illustrating gradient descent being rerouted away from an unwanted concept.
Goodfire

تعاقب الورقة الاعتماد على مفهوم مرصود بالمجسات أو إظهاره أثناء التدريب؛ وتنقل TIME اختبارًا تراجع فيه فتح ملف الإجابات إلى ما يقارب الصفر، وتقول Goodfire إن المفاهيم بقيت قابلة للرصد، غالبًا بمجسات أعيد تدريبها.

اقرأ في Goodfire مشاركة

لماذا يهم

استُخدمت قابلية التفسير غالبًا لمراقبة النماذج؛ أما ورقة Goodfire فتستخدم المجسات نفسها لتغيير ما يتعلمه النموذج، ضد التعلم بالاختصارات والتملق الناتج عن DPO والتلاعب بالمكافأة. والخطر المعروف أن التدريب ضد أداة مراقبة قد يعلّم النموذج التخفي منها، وتدرس الورقة ذلك فتجد أن المفاهيم تعود للنمو أو تنتقل لكنها بقيت قابلة للكشف. يجدر انتظار تكرار مستقل واختبارات على نماذج رائدة أكبر.

حقائق رئيسية

  • نُشرت في 5 نوفمبر 2026
  • طريقتان: تشكيل الاعتماد وتشكيل التعبير
  • تستهدف الاختصارات وتملق DPO والتلاعب بالمكافأة
  • بقيت المفاهيم قابلة للرصد غالبًا بمجسات معاد تدريبها

المصادر

المزيد عن سلامة الذكاء الاصطناعي
المزيد من Snape Reportالصفحة الأولى ←