متا چند روز پیش از یک ابزار هوش مصنوعی برای ویرایش تصویر در ستاگرام و نسل جدید عینک هوشمند خود پرده بر. اما محققان شرکت همچنین بی‌سروصدا مقاله‌ای منتشر ند معرفی مدل هوش مصنوعی Llama 2 Long می‌پردازد. مدل ظاهراً در زمینه پاسخگویی سؤالات طولانی مهارت و تر از بسیاری از رقبای خود عمل می‌کند.

مدل هوش مصنوعی Llama 2 Long نسخه دیگری از مدل Llama 2 در فصل تابستان معرفی ه . مدل می‌تواند از منابع مختلف داده دریافت و کارهای مختلفی نظیر کدنویسی، ریاضیات، فهم زبان، دلال و محاوره را انجام دهد.

با‌حال، مدل بیش از همه روی متون طولانی آموزش یافته و ‌گونه‌ای پیکربندی ه بتواند دنباله‌های طولانی‌تری از اطلاعات را مدیریت کند. Llama 2 Long با قابلیت می‌تواند تر از مدل‌هایی مثل GPT-3.5 Turbo و Claude 2 محدودیت‌هایی در زمینه دریافت ورودی دارند، عمل کند.

متا چگونه مدل هوش مصنوعی Llama 2 Long را ساخته ؟

پژوهشگران متا برای ساخت مدل هوش مصنوعی از دو نسخه از Llama 2 با 7 تا 70 میلیارد پارامتر فاده ه‌اند. سپس 400 میلیارد توکن داده دیگر شامل متونی طولانی‌تر از مجموعه داده‌های نسخه اصلی Llama 2 ، ترکیب اضافه .

محققان همچنین اندکی معماری Llama 2 را دستکاری ند و شیوه کدگذاری موقعیت هر توکن در دنباله را تغییر دادند. آن‌ها از تکنیکی موسوم RoPE ره گرفتند هر توکن را نقطه‌ای در یک گراف سه‌بعدی وضعیتش را نسبت بقیه توکن‌ها نشان می‌دهد، وصل می‌کند. با کار، مدل هوش مصنوعی می‌تواند پاسخ‌های دقیق‌تر و مفیدتری ارائه کند و در عین حال حافظه کمتری مصرف کند.

متا مدعی مدل Llama 2 Long می‌تواند سؤالاتی با حداکثر 200 هزار نویسه معادل یک کتاب 40 صفحه‌ای ، پاسخ‌های باکیفیت بدهد. در مقاله از لینک قابل دسترس ، نمونه‌هایی از پاسخ‌های مدل در زمینه موضوعاتی مثل تاریخ، علم، ادبیات و ورزش دیده می‌شود.

دانشمندان می‌گویند Llama 2 Long گامی سمت ساخت مدل‌های هوش مصنوعی جامع و همه‌منظوره می‌توانند نیازهای مختلف کاربر پاسخ بدهند.