به گزارش کارگروه فناوری اطلاعات سایبربان، اداره کل ترجمه کمیسیون اروپا (DGT) یک مدل زبانی بزرگ باز منتشر کرده است که برای ارائه عملکرد متعادل در تمام ۲۴ زبان رسمی اتحادیه اروپا طراحی شده است.
این مدل که (EU-Institutional-LLM) نام دارد، در هر دو نسخه پایه و دستورالعمل از طریق فضای دادههای زبان اروپایی در دسترس است.
برخلاف بسیاری از مدلهای زبان بزرگ که تنها در تعداد انگشتشماری از زبانها بهترین عملکرد را دارند، (EU-Institutional-LLM) بهگونهای طراحی شده است که پشتیبانی متعادلی را در تمام زبانهای رسمی اتحادیه اروپا ارائه دهد و درعینحال قوانین، اصطلاحات و زمینههای سیاستگذاری خاص اتحادیه را درک کند. این مدل با استفاده از مجموعهدادههای چندزبانه باکیفیت بالای اداره کل ترجمه کمیسیون اروپا آموزشدیده است.
مدل پایه، یک نسخه از پیش آموزشدیده مداوم (Mixtral-8x7B-v0.1) با حدود ۴۷ میلیارد پارامتر و معماری ترکیب متخصصان (Mixture-of-Experts) است. این مدل برای بهبود عملکرد چندزبانه و درعینحال محدودکردن فراموشی فاجعهبار از طریق دادههای بازپخش آموزشدادهشده است.
