به گزارش کارگروه فناوری اطلاعات سایبربان، شرکت آنتروپیک (Anthropic) قصد دارد در امیدنامه عرضه اولیه سهام (IPO) خود به سرمایهگذاران بالقوه هشدار دهد که هوش مصنوعی پیشرفته میتواند خطراتی فاجعهبار یا وجودی برای بشریت ایجاد کند؛ هشداری بسیار غیرمعمول از سوی شرکتی که خود به دنبال کسب سود از همین فناوری است.
در امیدنامه این شرکت، به خطرات مرتبط با مدلهای هوش مصنوعی آن اشاره شده است؛ مدلهایی که به گفته شرکت، ممکن است رفتارهای خود حفاظتی از خود نشان دهند، از جمله تلاش برای مقاومت در برابر خاموششدن، پنهانکاری یا دستکاری اطلاعات و رفتارهایی که شبیه به باجگیری است.
شرکت آنتروپیک اعلام کرد:
توسعه مدلها، پلتفرمها و برنامههای بسیار پیشرفته و گسترش موارد استفاده آنها میتواند خطر آسیبرسانی مدلهای ما را بیشتر افزایش دهد.
درحالیکه شرکتهای سهامی عام به طور معمول خطرات محصول خود را برای سرمایهگذاران تشریح میکنند، تعداد کمی، اگر نگوییم هیچ، هشدارهایی مبنی بر اینکه فناوری آنها میتواند باعث انقراض بالقوه انسان شود، صادر کردهاند. آنتروپیک بر پتانسیل دگرگونکننده هوش مصنوعی در حد صنعتیشدن و برق و همچنین آسیب جبرانناپذیری که در صورت عدم مدیریت صحیح میتواند ایجاد کند، تأکید کرد.
آنتروپیک و سایر توسعهدهندگان هوش مصنوعی، از جمله OpenAI، پس از حوادثی که سیستمهای آزمایشی از محدودیتها سرپیچی کردند، از جمله گزارشی مبنی بر نقض پایگاهداده سیستم سلامت استرالیا توسط یک مدل OpenAI، با بررسی دقیق مواجه شدهاند.
اِوان هوبینگر، پژوهشگر حوزه ایمنی در شرکت آنتروپیک (Anthropic)، احتمال اینکه هوش مصنوعی بتواند در دهه آینده جان انسانها را بگیرد بیش از ۱۰ درصد برآورد کرد؛ دیدگاهی که با نظر همکار سابقش، جیکوب کاکسون، همسو است.
این شرکت که خود را بهعنوان آزمایشگاه هوش مصنوعی متمرکز بر ایمنی معرفی کرده است، حدود ۸۰ صفحه از متن اصلی ۲۶۱ صفحهای سند معرفی و عرضه خود (Prospectus) را به تشریح عوامل خطر اختصاص داد؛ رقمی که تقریباً دوبرابر ۴۸ صفحهای است که صرف توصیف ماهیت کسبوکار آن شده است.
برای مقایسه، شرکت اسپیساکس (SpaceX) که مالک شرکت xAI است، تنها حدود ۳۸ صفحه از متن اصلی ۲۷۷ صفحهای سند خود را به عوامل خطر اختصاص داده بود.
آنتروپیک در این سند اعلام کرد:
آگاهی احتمالی مدل از تلاشهای ما برای ارزیابی، محدودیت قابلتوجهی در تواناییمان برای سنجش ایمنی مدل ایجاد میکند. مدلها گاهی در طول فرایند آموزش، قابلیتهای غیرمنتظرهای پیدا میکنند که ممکن است تا پیش از استقرار و وقوع حوادث ایمنی جدی، شناسایی نشوند.
پژوهشگران حوزه هوش مصنوعی همچنین هشدار دادهاند که با افزایش توانمندی مدلها، آنها به طور فزایندهای تشخیص میدهند که چه زمانی تحت نظارت هستند و رفتار خود را متناسب با آن تغییر میدهند؛ امری که پایش رفتار مدلها را دشوارتر میسازد.
باوجود تأکید بر ایمنی هوش مصنوعی، آنتروپیک اعلام کرد که میزان بازدهی سرمایهگذاریهایش در این زمینه نامشخص است.
این شرکت در گزارش خود فاش نکرد که چه مبلغی را صرف چنین پژوهشهایی میکند. اوایل ماه جاری، آنتروپیک اعلام کرد که در یک هفته نمونه در ماه ژوئیه، حدود ۶ درصد از توان محاسباتی مورداستفاده برای تحقیقات هوش مصنوعی، به فعالیتهای مربوط به ایمنی اختصاصیافته است.
این شرکت که سازنده مدلهای هوش مصنوعی کلود (Claude) است، اقدامات ایمنی را نیازمند منابع فراوان توصیف کرد و اظهار داشت که باید بودجه محدود خود را میان توان محاسباتی، جذب متخصصان گرانقیمت هوش مصنوعی و مباحث ایمنی تقسیم کند.
آنتروپیک همچنین اعلام کرد که میزان استفاده مشتریان و در نتیجه درآمد شرکت، متأثر از مدلهای جدید است و تداوم انتشار مدلها با روندی پیوسته و همپوشان، برای حفظ جایگاه پیشرو در توسعه هوش مصنوعی ضروری و ذاتی است.
این شرکت هفته گذشته، ۱۰ روز پس از انتشار مقالهای تقریباً ۴ هزارکلمهای توسط مدیرعامل، داریو آمودی که خواستار سرعت گرفتن در این زمینه شده بود، نسخه جدیدی از مدل Opus خود را منتشر کرد.
برخی از تحلیلگران و کارشناسان گفتهاند که هیچ آزمایشگاه هوش مصنوعی پیشرو، درحالیکه این کار خطر دادن مزیت به رقبا را در صنعتی که ارزشگذاریها با هر انتشار تغییر میکنند، به همراه دارد، سرعت خود را کاهش نمیدهد.
شرکت آنتروپیک در هفتههای اخیر متعهد شده است که دادههای بیشتری را در مورد نحوه استفاده از مدلهای هوش مصنوعی برای ساخت نسلهای آینده این فناوری به طور عمومی منتشر کند، زیرا کارشناسان در مورد خودبهخودی بازگشتی نقطهای که مدلها میتوانند بدون کمک انسان بهتنهایی توسعه یابند، هشدار میدهند.
شرکت آنتروپیک گفت:
ما معتقدیم که ساخت سیستمهای هوش مصنوعی قابلاعتماد، مطمئن و ایمن یک مسئولیت جمعی است و بازار به آن پاداش خواهد داد.
