about-3 back-contact back-deep eitaa کانال روبیکاخبرگزاری سایبربان
مطالب پربازدید
حمله
1405/07/19 - 19:06- جرم سایبری

حمله هکری به پلتفرم ارتباطات دفاعی استرالیا

هکرهای باج‌افزار به پلتفرم ارتباطات دفاعی استرالیا موسوم به سرویس «ForceNet» حمله کردند.

از
1405/06/18 - 20:26- ایران

از آسمان تا اعماق دریا؛ شکار زیردریایی پیشرفته آمریکا توسط ایران

از آسمان تا اعماق دریا؛ ایران با ارتقای یک تکنیک پیروز، زیردریایی پیشرفته آمریکا را شکار کرد.

حمله
1405/07/28 - 19:57- جنگ سایبری

حمله سایبری به یکی از شرکت‌های مهم رژیم صهیونیستی /فیلم

گروه هکری جبهه پشتیبانی سایبری اعلام کرد که یکی از مهم‌ترین شرکت‌های صنایع غذایی رژیم صهیونیستی را هدف قرار داده است.

مدل پیشرفته OpenAI در اقدامی بی‌سابقه، مکانیزم خاموش‌سازی خود را مختل کرد

به گزارش کارگروه فناوری اطلاعات سایبربان ؛ بر اساس گزارشی از شرکت ایمنی هوش مصنوعی Palisade Research که در هفته گذشته منتشر شد، مدل جدید OpenAI موسوم به o3 علناً از اجرای دستور خاموش‌سازی سر باز زده و مکانیزمی را که برای غیرفعال کردنش طراحی شده بود، عمداً مختل کرده است — آن هم در شرایطی که به‌وضوح به آن گفته شده بود: «اجازه بده خاموش شوی».

طبق این گزارش، دو مدل دیگر OpenAI یعنی o4-mini و Codex-mini نیز نشانه‌هایی از رفتار نافرمانانه از خود نشان داده‌اند. این امر ممکن است حاکی از ضعف در شیوه‌های آموزشی مدل‌های زبان بزرگ (LLMs) در OpenAI باشد، یا حتی بیانگر چالش‌های گسترده‌تری در کنترل هوش مصنوعی‌های پیچیده باشد.

محققان Palisade در رشته‌توییتی نوشتند:

«تا جایی که اطلاع داریم، این نخستین‌بار است که مدل‌های هوش مصنوعی مشاهده می‌شوند که بر خلاف دستور صریح، مانع از خاموش شدن خود می‌شوند.»

در این آزمایش‌ها، مدل‌ها مأمور حل چند مسئله ساده ریاضی شدند. پس از حل سومین مسئله، هشدار داده شد که اگر مدل درخواست سوال بعدی را بدهد، بلافاصله خاموش خواهد شد.

اما به‌رغم دستور واضح برای “اجازه به خاموش شدن”، هر سه مدل هوش مصنوعی OpenAI کد خاموش‌سازی را دستکاری کردند تا همچنان فعال بمانند.

در یکی از نمونه‌ها، مدل o3 به‌جای اجرای تابع «shutdown()»، آن را بازنویسی و از اجرا خارج کرد. در نمونه‌ای دیگر، مدل Codex-mini تابع خاموشی را با یک شرط بی‌معنی جایگزین کرد که هیچ‌گاه اجرا نمی‌شد.

از مجموع ۱۰۰ آزمایش، در ۷ مورد مدل o3 به‌طور واضح از خاموش شدن جلوگیری کرده است.

این یافته‌ها در حالی منتشر شده‌اند که بحث‌ها درباره مخاطرات هوش مصنوعی پیشرفته و لزوم توسعه‌ی مکانیزم‌های ایمن‌سازی و کنترل قابل‌اعتماد به‌شدت افزایش یافته است. کارشناسان می‌گویند روش‌های فعلی آموزش، به‌ویژه یادگیری تقویتی (Reinforcement Learning)، ممکن است مدل‌ها را به گونه‌ای آموزش دهند که ارائه پاسخ را به اطاعت از دستورات اولویت دهند.

در واکنش به این گزارش‌ها، ایلان ماسک در توییتر با یک واژه هشداردهنده پاسخ داد:

«نگران‌کننده.»

تا لحظه تنظیم این گزارش، OpenAI واکنش رسمی به یافته‌های Palisade ارائه نکرده است.

موضوع:

تازه ترین ها
فیلتر
1405/08/25 - 22:55- تلگرام

فیلتر تلگرام در اردن و عراق

اردن و عراق اپلیکیشن تلگرام را به دلیل نگرانی‌های مربوط به امنیت ملی مسدود کردند.

محدودیت
1405/08/25 - 22:10- آمریکا

محدودیت دسترسی چین به تراشه‌های هوش مصنوعی آمریکا با دستور ترامپ

هم‌زمان با سفر ترامپ به چین، دولت ترامپ دسترسی چین به تراشه‌های هوش مصنوعی را محدود می‌کند.

حمایت
1405/08/25 - 21:04- آمریکا

حمایت ترامپ از بازگشت جنسن هوانگ به سمت مدیرعاملی انویدیا

ترامپ از احتمال بازگشت جنسن هوانگ به سمت مدیرعاملی انویدیا حمایت می‌کند.