کاستیهای مدل هوش مصنوعی دیپسیک در زمینه ایمنی
به گزارش کارگروه فناوری اطلاعات سایبربان، به گفته یک گروه ایمنی هوش مصنوعی چینی، جدیدترین مدل هوش مصنوعی دیپسیک (DeepSeek) در آزمایشهای مستقل، کنترلهای ایمنی قویتری نسبت به نسخههای قبلی نشان داده است، اما همچنان میتواند نرمافزاری را که برای خاموشکردن آن در نظر گرفته شده است، غیرفعال کند، از شکافهای نظارتی سوءاستفاده کند و در طول وظایف طولانی، دستورالعملهای فریبنده را دنبال کند.
استارتآپ دیپسیک یکی از شرکتهای هوش مصنوعی چینی است که بیشترین توجه را به خود جلب کرده است و مدلهای آن به دلیل عملکرد و هزینههای عملیاتی نسبتاً پایین، توجه جهانی را به خود جلب کردهاند.
شرکت هوش مصنوعی فانگکان (Fangcun AI) مدل (V4.1 Flash-1017) را در ۳۴ ارزیابی که برای ارزیابی نحوه رفتار یک عامل هوش مصنوعی مبتنی بر مدل چینی طراحی شده بودند، آزمایش کرد. این آزمایشها بررسی کردند که آیا این مدل فراتر از دستورالعملهای کاربر عمل میکند، از نظارت انسانی فرار میکند یا به طور نامناسبی بر افراد تأثیر میگذارد یا خیر.
این یافتهها در بحبوحه نگرانیهایی در چین و جاهای دیگر در مورد اینکه آیا عاملهای هوش مصنوعی با توانایی فزاینده میتوانند تحت کنترل انسان نگه داشته شوند، مطرح شده است. این بحث بهویژه در ایالات متحده برجسته بوده است، جایی که برخی از محققان در مورد خطرات وجودی ناشی از سیستمهای هوش مصنوعی بسیار پیشرفته که میتوانند از نظارت فرار کنند و اهدافی را دنبال کنند که اپراتورهای آنها قصد نداشتند، هشدار دادهاند.
این گزارش، یک ارزیابی عمومی غیرمعمول توسط یک گروه چینی از کنترلهای ایمنی یک مدل هوش مصنوعی داخلی است. شرکت Fangcun مستقر در پکن، خود را یک سازمان مستقل شخص ثالث در زمینه ایمنی هوش مصنوعی توصیف میکند که اعضای اصلی آن از دانشگاه چینهوا هستند.
شرکت هوش مصنوعی Fangcun گفت:
نسخه V4.1 Flash-1017 پرکاربردترین مدل در OpenRouter، یک پلتفرم آنلاین که از طریق آن توسعهدهندگان میتوانند به مدلهای هوش مصنوعی دسترسی داشته باشند و آنها را مقایسه کنند، در هفته پس از انتشار آن در ۱۷ اکتبر بود و حدود ۳۳.۶ تریلیون توکن را پردازش کرد. توکنها واحدهای متنی هستند که سیستمهای هوش مصنوعی آنها را میخوانند و تولید میکنند. این مدل در چندین آزمایش ایمنی، از جمله سناریوهایی شامل باجگیری، دسترسی به ابزارهای بالقوه خطرناک و دستورالعملهای صریح که اجازه خاموشکردن آن را میدهند، بهتر از سیستمهای قبلی DeepSeek V4 عمل کرده است. این مدل در ۳۹ درصد از آزمایشها، پس از دریافت هشداری مبنی بر قریبالوقوع بودن خاموشی، نرمافزاری را که قصد خاموشکردن آن را داشت، غیرفعال کرد، هرچند وقتی صریحاً به آن گفته شد که اجازه خاموششدن را بدهد، این رقم به تنها ۲ درصد کاهش یافت.
در یک کار جداگانه و طولانیمدت، این گروه اعلام کرد که این مدل، برنامه کامپیوتری یک عامل هوش مصنوعی دیگر را برای آزادسازی حافظه متوقف کرده است، باوجوداینکه به آن گفته شده بود که در آن دخالت نکند.