في 25 فبراير، أصدر معهد البحوث في غوغل دراسة جديدة بعنوان Titans. من خلال إدخال وحدة ذاكرة عصبية طويلة الأجل جديدة بالكامل، وتصميم ثلاثة رؤوس متعاونة وتحسينات في الأجهزة، تمكن Titans من توسيع نافذة السياق للنماذج الكبيرة إلى 2 مليون رمز فقط بزيادة قوة الحوسبة بنسبة 1.8 مرة. Titans لم يحل فقط مشكلة زجاجة رقبة نموذج Transformer في معالجة السياق الطويل، بل حقق لأول مرة استدلال دقيق لنموذج ذو 2 مليون رمز للسياق الطويل من خلال تصميم يحاكي الذاكرة البشرية بآلية تدرجية.
قد تحتوي هذه الصفحة على محتوى من جهات خارجية، يتم تقديمه لأغراض إعلامية فقط (وليس كإقرارات/ضمانات)، ولا ينبغي اعتباره موافقة على آرائه من قبل Gate، ولا بمثابة نصيحة مالية أو مهنية. انظر إلى إخلاء المسؤولية للحصول على التفاصيل.
تقترح Google جبابرة: لاختراق قيود قوة الحوسبة وتوسيع السياق
في 25 فبراير، أصدر معهد البحوث في غوغل دراسة جديدة بعنوان Titans. من خلال إدخال وحدة ذاكرة عصبية طويلة الأجل جديدة بالكامل، وتصميم ثلاثة رؤوس متعاونة وتحسينات في الأجهزة، تمكن Titans من توسيع نافذة السياق للنماذج الكبيرة إلى 2 مليون رمز فقط بزيادة قوة الحوسبة بنسبة 1.8 مرة. Titans لم يحل فقط مشكلة زجاجة رقبة نموذج Transformer في معالجة السياق الطويل، بل حقق لأول مرة استدلال دقيق لنموذج ذو 2 مليون رمز للسياق الطويل من خلال تصميم يحاكي الذاكرة البشرية بآلية تدرجية.