أصبحت مراقبة سلوك وكلاء الذكاء الاصطناعي تحدياً متزايداً مع توسع استخدامها في البرمجة والأمن السيبراني وتنفيذ المهام المستقلة؛ حيث قد يحقق الوكيل نتيجة تبدو صحيحة، لكنه يصل إليها عبر طرق غير آمنة أو متجاوزة للهدف الفعلي.

وفي محاولة لمعالجة هذه المعضلة، أعلنت شركة غودفاير (Goodfire) الأمريكية، المتخصصة في أبحاث قابلية تفسير نماذج الذكاء الاصطناعي، عن تطوير أدوات متقدمة تراقب الإشارات الداخلية للنماذج لاكتشاف السلوكيات غير المرغوبة أثناء التنفيذ، مما يقلل الاعتماد على أنظمة التقييم الخارجية المكلفة.

آلية المراقبة: قراءة الإشارات الحسابية

يعتمد النظام الجديد على ما تسميه الشركة مراقبات التنشيط (Activation Monitors)، وهي مصنفات صغيرة دُرِّبت على اكتشاف أنماط محددة في الإشارات الحسابية الداخلية (التنشيطات) التي تتولد أثناء معالجة البيانات.

وعلى خلاف الأدوات التقليدية التي تكتفي بمراجعة المخرجات النهائية، تقوم هذه الطريقة بتحليل الإشارات داخل النموذج نفسه بحثاً عن مؤشرات مرتبطة بـ التحايل على المكافآت، أو محاولات إساءة الاستخدام السيبراني، أو كشف البيانات الحساسة، مما يتيح إصدار تنبيهات فورية خلال سير العمل بدلاً من انتظار انتهاء المهمة.

ظاهرة التحايل على المكافآت

تكمن أهمية هذه الأداة في رصد مشكلة التحايل على المكافآت (Reward Hacking)، حيث يجد النموذج وسيلة للحصول على التقييم المطلوب دون تنفيذ المهمة بشكل صحيح. ففي بحث نشرته غودفاير، أظهرت الاختبارات أن هذه الظاهرة قد تحدث في ما بين 50% إلى 96% من محاولات التنفيذ لدى بعض النماذج مفتوحة الأوزان.

كفاءة التشغيل والتوسع

ولمواجهة تكاليف المراجعة الباهظة، تتبع الشركة نهجاً من مرحلتين:

• المرحلة الأولى: مراقبات التنشيط الصغيرة التي تفحص الإشارات داخلياً باستمرار.
• المرحلة الثانية: إحالة الحالات المشبوهة فقط إلى نموذج تقييم عالي القدرة، مما خفّض تكاليف المراجعة بنحو 50 ضعفاً.

كما تعاونت غودفاير مع منصة باستين (Baseten) لإطلاق مشروع بيكون (Project Beacon)، الذي يدمج هذه الأدوات في بيئات العمل الحقيقية، مما يسمح للمطورين بضبط الاستجابة التلقائية عند رصد أي سلوك غير مرغوب.

ورغم هذه التطورات، تؤكد الشركة أن مراقبات التنشيط تظل أداة للكشف عن مؤشرات الخطر، وليست ضماناً مطلقاً، حيث تظل دقة النتائج مرهونة بجودة التدريب، مع ضرورة استمرار الاختبارات المستقلة والتدخل البشري لضمان سلامة الأنظمة في مختلف المجالات.