به گزارش کارگروه فناوری اطلاعات سایبربان، انویدیا مجموعهای از ابزارهای ایمنی نرمافزاری را برای عوامل هوش مصنوعی در دسترس قرار داد که به گفته این شرکت، میتوانست از هکشدن هاگینگ فیس (Hugging Face)، مرکز برنامهنویسی هوش مصنوعی که انویدیا ماهها پس از هجوم عوامل سرکش اوپناِیآی، ۱۳ میلیارد دلار به آن پرداخت کرده بود، جلوگیری کند.
این اقدام در حالی صورت میگیرد که OpenAI و Anthropic، دو آزمایشگاه برتر هوش مصنوعی ایالات متحده، در حال بررسی موارد متعددی هستند که در آنها عواملشان که سیستمهای هوش مصنوعی قادر به انجام وظایف پیچیده هستند، به سیستمهای تجاری و دولتی هک شدهاند. جنسن هوانگ، مدیرعامل انویدیا و رئیس بزرگترین شرکت جهان که تراشههای آن بخش عمدهای از رونق هوش مصنوعی را تأمین کردهاند، درخواستها برای وضع مقررات گسترده ایمنی هوش مصنوعی را رد کرده و در عوض، عوامل فراری را بهعنوان یک مشکل مهندسی که باید حل شود، مانند ایمنتر کردن خودروها، مطرح کرده است.
ابزاری به نام اوپنشل (OpenShell) که روز دوشنبه عرضه شد، از قابلیتهای سختافزاری تراشههای پردازنده مرکزی انویدیا برای مهار عاملها (agents) استفاده میکند. انویدیا اعلام کرد که در حال همکاری با شرکتهای آرم و اینتل است تا از عملکرد این سیستم روی پردازندههای مرکزی آنها نیز اطمینان حاصل کند.
انویدیا این ابزارها را با مشارکت دهها شریک تجاری، از جمله شرکت انتروپیک، روانه بازار میکند.
جاستین بویتانو، معاون و مدیرکل بخش رایانش سازمانی در انویدیا، اظهار داشت که این ابزارها میتوانستند جلوی حمله به هاگینگ فیس (Hugging Face) را که تابستان امسال افشا شد، بگیرند.
بویتانو در یک نشست خبری گفت:
بر اساس اطلاعات ما، اگر این پلتفرم امنیتی جدید در مراحل اولیه ارزیابی مدل در آزمایشگاههای پیشرو مورداستفاده قرار میگرفت، میتوانست مانع از وقوع این نفوذ امنیتی شود. ما این پروژه را به شیوهای باز پیش میبریم و میخواهیم همه را برای همکاری با خود همراه کنیم.
سیستم دیگری به نام سنتری (Sentry) از یک تراشه مجزای انویدیا در کنار اوپنشل (OpenShell) استفاده میکند تا اگر یک عامل (agent) سرکش تلاش کرد از کانتینر خود در پردازنده مرکزی بگریزد، آن را متوقف سازد.
علی گلشن، مدیر ارشد بخش نرمافزار هوش مصنوعی در انویدیا، اظهار داشت که ابزارهای انویدیا با بهرهگیری از فرمولهای ریاضی، تلاش عاملها برای استفاده از روشهای دورزننده را شناسایی میکنند؛ برای مثال، زمانی که یک عامل سعی دارد با ایجاد چندین زیر - عامل (sub-agent)، مانعتراشیها در برابر عامل اصلی را دور بزند.
گلشن در جریان یک جلسه توجیهی گفت:
در اینجا واقعاً صحبت از رفتارهای عاملی است؛ یعنی بحث بر سر ناوگانهایی از عاملها و نحوه عملکرد هماهنگ آنها با یکدیگر.
