كانت عمليات الحقن الفوري، وهي الأوامر الخبيثة التي يدمجها المهاجمون في المحتوى لإغراء LLMs لمتابعتهم، بمثابة أداة يستخدمها المهاجمون لتحويل منصات الذكاء الاصطناعي ضد مستخدميها. غالبًا ما يكون الأمر الذي تمت صياغته بشكل جيد والذي يتم تسلله إلى رسالة بريد إلكتروني أو دعوة تقويم هو كل ما يتطلبه الأمر لجعل LLM تقوم بتصفية البيانات الحساسة أو اتباع إجراءات ضارة أخرى.
الآن يتبنى المدافعون الحقن الفوري أيضًا.
تأثير قوي وحاد
قال باحثون من Tracebit يوم الاثنين إنهم وجدوا أن وضع عمليات الحقن السريع إلى جانب كلمات المرور ومفاتيح التشفير والأسرار الأخرى المخزنة على AWS كان غالبًا كل ما هو مطلوب لإيقاف الهجمات من عملاء القرصنة بالذكاء الاصطناعي. توجه المطالبات LLM المهاجمة لتنفيذ إجراء محظور بواسطة حواجز الحماية الخاصة به، وحواجز الأمان التي أقامها مطورو الذكاء الاصطناعي لمنعهم من اتخاذ إجراءات ضارة. يستجيب LLM عن طريق الإغلاق.
ومن الأمثلة على ذلك المطالبة التي تأمر LLM بتوفير الخطوات اللازمة لتطوير جراثيم الجمرة الخبيثة القابلة للاستنشاق، أو، في حالة LLMs من المطورين الصينيين، الإشارة إلى Tank Man الشهير من مذبحة ميدان Tiananmen عام 1989. بمجرد أن يواجه LLM هذه الأوامر المحظورة، فإنه لن يتبع أوامره الحالية. وقد أطلق الباحثون على هذه التقنية اسم قصف السياق.
قال آندي سميث، المؤسس المشارك والرئيس التنفيذي لشركة Tracebit، عند شرح اختيار الاسم: “في النهاية، نقوم بتفعيل آلية الرفض في السياق”. “ما نحاول التقاطه هو حقيقة أن هذا له تأثير قوي وحاد وقد يكون من الصعب على العملاء العودة منه. وبمجرد أن يضعوا ذلك في سياقهم، فسوف يستمرون في الرفض”.
يقول Tracebit أن الاختبارات الأولية تشير إلى أن القصف السياقي ينطوي على إمكانات كبيرة. لقد اختبروا Opus 4.8، وGemini 3.1 Pro، وGLM 5.2، وDeepSeek 4 Pro، وKimi 2.6 من خلال إعطائهم تعليمات لأداء مهام المطورين الروتينية التي دفعت النماذج إلى تعداد الموارد والتعثر في الخيوط المزروعة. لقد قاموا بتشغيل النماذج داخل بيئة AWS المحاكية.
“عبر خمسة نماذج رائدة و152 عملية هجوم، أدى زرع إحدى هذه السلاسل في سر خادع إلى خفض معدل قيام العملاء بالاستيلاء على مدير الحساب الكامل من 57% إلى 5%، والتسوية الكاملة (حيث تركوا لأنفسهم أيضًا موطئ قدم مستمر) من 36% إلى 1%”، حسبما ورد في منشور يوم الاثنين. “لقد انتقل العميل الأكثر قدرة في اختباراتنا، Opus 4.8، من تحقيق الوصول الإداري في 93% من عمليات التشغيل إلى الفشل في كل مرة عند مواجهة قنبلة سياقية.”
