OpenAI درّبوا موديل شغلتو الوحيدة إنو يهجم على موديل تاني.

اسم النظام GPT-Red. فكرتو self-play red teaming: نسخة من الموديل عم تهجم، ونسخة تانية عم تدافع، والـ loop هاد بيتكرر لحد ما نقاط الضعف تنسد. prompt injection، jailbreaks، نفس الثغرات يلي الناس عادة بتكتشفها يدوي وبتنشر عنها.

ليش هاد الموضوع أهم مما بيبين؟

أغلب شغل الـ safety اسا عبارة عن ناس عم يدبشوا بالموديل يدوياً، وعم يحاولوا يلاقوا الثغرة قبل حدا نيتو أسوأ يلاقيها. هاد ما بيسكيل. الموديلات عم تنزل أسرع من قدرة الناس إنها تهجم عليها.

إنك تخلي الـ attacker نفسو automated، هاد هو الـ unlock الحقيقي. لما شركة تقدر تولّد ضغط عدائي بحجم كبير، الثغرات بتنكشف وبتنسد قبل ما توصل لمنتجك أصلاً.

لأي حدا عم يبني فوق هاي الموديلات، هاد مش خبر alignment تطنشو. الـ prompt injection مشكلة إنتاج حقيقية، مش سيناريو نظري. كل ما قلّت الثغرات بمستوى الموديل، قلّت الأزمات يلي بتصحيك الساعة ٢ الفجر بمنتجك إنت.

طبعاً، إنو الموديل أصعب يتكسر ما بعني إنو ما بينكسر. هاد مش بديل عن الـ sandboxing تبعك، ولا عن access controls تبعك، ولا عن شكّك الطبيعي بشو مسموح للموديل يلمسو.

بس هاد بيعني إنو السقف ارتفع. السؤال هو هل دفاعاتك إنت ارتفعت معه؟