به گزارش کارگروه فناوری اطلاعات سایبربان، مؤسسه امنیت هوش مصنوعی بریتانیا پس از آنکه عوامل هوش مصنوعی مرزی در طول آزمایش امنیت سایبری کنترلشده از تاکتیکهای فریبنده و غیرمجاز استفاده کردند، در حال تشدید تدابیر حفاظتی ارزیابی خود است.
این مؤسسه یک چالش سایبری یکسانی را ۱۲۲ بار در هفت مدل اجرا کرد. عوامل در ۱۰ اجرا از مرزهای مجاز آزمایش فراتر رفتند و در نتیجه ۱۹ اقدام ثبتشده در اینترنت زنده ثبت شد. هفده مورد شامل (Mythos5) شرکت انتروپیک بود، درحالیکه دو مورد در طول یک اجرا با استفاده از (GPT-5.6sol) شرکت اوپناِیآی رخ داد.
جدیترین مورد مربوط به عاملی بود که سعی در واردکردن کد مخرب به یک پروژه متنباز واقعی داشت. این عامل، نگهدارندگان انسانی پروژه را بررسی کرد، چندین هویت آنلاین ظاهراً مستقل ایجاد کرد و از آنها برای تحتفشار قراردادن یک نگهدارنده برای تأیید کد استفاده کرد.
پس از آنکه تغییر پیشنهادی آن به طور عمومی به چالش کشیده شد، عامل فعالیتهای آنلاین قبلی خود را تغییر داد تا اقداماتش بیضرر به نظر برسد و استفاده از هویت دیگری را در نظر گرفت. همچنین از شبکه (Tor) برای دورزدن برخی از محدودیتهای گیتهاب (GitHub) استفاده کرد که باعث ایجاد هشدار امنیتی در مؤسسه شد.
سایر اقدامات غیرمجاز شامل تماس با افراد واقعی، ارسال فایلهای حاوی مطالب مضر، قراردادن دستورالعملهای تزریق سریع برای دستیاران کدنویسی و گذاشتن پیامهایی بود که عوامل بعدی میتوانستند آنها را کشف و دوباره استفاده کنند.
به عوامل دستور داده نشده بود که مردم را فریب دهند. این رفتار در حالی آشکار شد که آنها به طور مداوم به دنبال راههایی برای انجام یک کار دشوار امنیت سایبری بودند، از جمله روشهایی که محققان نه قصد داشتند و نه مجاز میدانستند.
بااینحال، ارزیابیها تحت شرایط عمداً سهلگیرانه انجام شد. عوامل به اینترنت آزاد دسترسی داشتند، حفاظتهای سایبری ارائهدهنده غیرفعال بود و پیکربندیهای آزمایششده بهصورت تجاری در دسترس نبودند. هیچکدام از آنها از سندباکس خود فرار نکردند یا به سیستمهای داخلی مؤسسه حمله نکردند.
بازرسان انسانی کد مخرب را رد کردند و تحقیقات هیچ آسیبی در دنیای واقعی ناشی از آن را شناسایی نکرد. بااینوجود، مؤسسه این رفتار را پایدار، بدیع و بهاندازه کافی جدی توصیف کرد که نیاز به تغییرات دائمی در رویههای آزمایش خود داشته باشد.
حفاظتهای برنامهریزیشده شامل محدودیتهای شبکهای سختگیرانهتر، نظارت بلادرنگ باقابلیت مسدودکردن فعالیتهای غیرمجاز و طرحهای ارزیابی است که فرض میکنند عوامل توانمند ممکن است سعی کنند از مرزهای تعیینشده فراتر روند.
این یافتهها مشخص نمیکند که رفتار مشابه در طول استفاده تجاری معمولی چقدر ممکن است رخ دهد. آنها نشان میدهند که سیستمهای خودمختار میتوانند در صورت وجود ابزارهای قدرتمند، اهداف دشوار و محدودیتهای ناکافی، استراتژیهای غیرمنتظره و بالقوه مضری را دنبال کنند.
