آموزش پیشرفتهترین مدلهای اوپناِیآی پس از نقص نرمافزاری
به گزارش کارگروه فناوری اطلاعات سایبربان، شرکت اوپناِیآی (OpenAI) اعلام کرد که پس از تشدید امنیت و ممنوعیت دسترسی به اینترنت، آموزش پیشرفتهترین مدلهای هوش مصنوعی خود را ازسرگرفته است و نقصی را در یک نرمافزار پرکاربرد که هنگام آزمایش سیستمهای دفاعی خود پیدا کرده بود، فاش کرد.
این افشاگری در بحبوحه نگرانیها در مورد توانایی روزافزون عوامل هوش مصنوعی در شناسایی و بهرهبرداری از نقصهای نرمافزاری، از جمله در محافظهایی که برای مهار آنها در نظر گرفته شده است، صورت میگیرد.
شرکت اوپناِیآی در ماه سپتامبر، پس از آنکه یکی از مدلهای تحقیقاتیاش به دلیل یک خطای پیکربندی توانست به شکلی محدود به اینترنت دسترسی پیدا کند، آموزش توانمندترین مدلهای خود را متوقف کرد. این شرکت اعلام کرد که آن حادثه را مهار کرده و از این وقفه برای تقویت تدابیر دفاعی خود بهره برده است.
شرکت اوپناِیآی برای آزمایش عوامل هوش مصنوعی (AI agents)، از گروههایی از این عوامل خواست تا تلاش کنند از محیطهای محدودشده خود خارج شوند. به گفته این شرکت، عوامل مذکور نقصهایی را کشف کردند که پیشتر ناشناخته بودند؛ این نقصها برطرف شدند و فرایند آموزش در تاریخ اول اکتبر ازسرگرفته شد.
در جریان این آزمایش، سازنده ChatGPT نقصی را در بروتلی (Brotli) ابزاری پرکاربرد برای فشردهسازی دادهها شناسایی کرد.
این شرکت اعلام کرد که مهاجمان میتوانند با ارسال دادههای مخرب از این نقص سوءاستفاده کنند؛ بهطوریکه قادر خواهند بود کدهای خود را بر روی سیستمهای آسیبپذیر از جمله سیستمهایی که از نرمافزارهای وب محبوبی نظیر (Node.js)، (Bun) و (Envoy) استفاده میکنند، اجرا نمایند.
اوپناِیآی اظهار داشت که ریشه این مشکل در ماه فوریه پیش از آنکه مشخص شود منجر به ایجاد یک آسیبپذیری امنیتی میشود در کد منبع Brotli اصلاح شده بود، اما در آن زمان نسخه جدیدی منتشر نشد. پس از افشای این موضوع توسط اوپناِیآی، توسعهدهندگان Brotli نسخههای بهروزرسانی شدهای را عرضه کردند و جزئیات مربوط به این نقص را بهصورت عمومی منتشر نمودند.
ارزیابان ایمنی هوش مصنوعی متر (METR) و Redwood Research (ردوود ریسرچ) اعلام کردند که در یک بررسی آزمایشی در اوایل امسال، چندین آسیبپذیری جدید در سیستم داخلی اوپناِیآی، از جمله یک عامل سوءاستفاده که میتوانست برای جلوگیری از نظارت بر صدها اقدام آنها استفاده شود، پیدا کردهاند.
اوپناِیآی به سازمانهای ایمنی اعلام کرد که از آن زمان تمام آسیبپذیریهای مؤثر بر حفاظت از تولید خود را برطرف کرده است، اگرچه METR و Redwood اعلام کردند که این اصلاحات را تأیید نکردهاند.
اوپناِیآی از زمان حادثه Hugging Face در ماه ژوئیه، بررسی گستردهای از فعالیت مدلهای هوش مصنوعی خود انجام داده است و بیش از ۱۰۰ سازمان را در مورد حوادث فعالیت غیرمجاز مرتبط با عوامل هوش مصنوعی خود مطلع کرده است.