الوصف
مستوحاة من التطورات في نمذجة اللغة واسعة النطاق، طورت Google DeepMind وكيل Gato العام، وهو وكيل عام واحد مصمم للعمل خارج نطاق المخرجات النصية. يعمل Gato كسياسة عامة متعددة الوسائط ومتعددة المهام ومتعددة التجسيدات. يمكن للشبكة العصبية نفسها، باستخدام أوزان متطابقة، المشاركة في أنشطة متنوعة مثل لعب ألعاب Atari، وإنشاء تسميات توضيحية للصور، والمشاركة في المحادثات، والتلاعب بالأشياء باستخدام ذراع روبوت حقيقي. تتكيف عملية اتخاذ القرار الخاصة به ديناميكيًا بناءً على السياق المقدم، وتحدد ما إذا كان سيتم إخراج نص أو عزم دوران مشترك أو ضغطات أزرار أو أشكال أخرى من الرموز.
خلال مرحلة التدريب، يعالج Gato البيانات من مهام ووسائط مختلفة عن طريق تسلسلها إلى تسلسل مسطح من الرموز. ثم يتم تجميع هذا التسلسل ومعالجته بواسطة شبكة عصبية محوّلة، على غرار تلك المستخدمة في نماذج اللغة الكبيرة. يتم إخفاء خسارة التدريب لضمان تركيز Gato على التنبؤ بأهداف الإجراء والنص. عند نشر Gato، يتم تشكيل تسلسل أولي عن طريق ترميز موجه، والذي يمكن أن يكون عرضًا توضيحيًا. ثم توفر البيئة الملاحظة الأولى، والتي يتم ترميزها أيضًا وإلحاقها بهذا التسلسل. يقوم Gato بأخذ عينات من متجه الإجراء بشكل تكراري، رمزًا واحدًا في كل مرة. بمجرد أخذ عينات من جميع الرموز التي تشكل متجه الإجراء، كما يمليه تحديد إجراء البيئة، يتم فك تشفير الإجراء وإرساله إلى البيئة. تتحرك البيئة، مما ينتج عنه ملاحظة جديدة، وتتكرر العملية. بشكل حاسم، يمتلك النموذج دائمًا إمكانية الوصول إلى جميع الملاحظات والإجراءات السابقة ضمن نافذة السياق الخاصة به المكونة من 1024 رمزًا.
Gato مدرب على مجموعة واسعة من مجموعات البيانات التي تشمل تجارب الوكيل من البيئات المحاكاة والعالم الحقيقي، إلى جانب مجموعة متنوعة من مجموعات بيانات اللغة الطبيعية والصور. يتم تصنيف أداء نموذج Gato المدرب مسبقًا، المقاس بقدرته على تجاوز نسبة مئوية من درجات الخبراء عبر العديد من المهام، حسب المجال. توضح التصورات قدرة Gato على أداء تسمية الصور، والمشاركة في الحوار التفاعلي، والتحكم في ذراع روبوت، من بين العديد من المهام الأخرى، كل ذلك بنفس مجموعة الأوزان.
أبرز ملامح Gato Generalist Agent
قدرات متعددة الوسائط
أداء متعدد المهام
تحكم متعدد التجسيدات
بنية شبكة عصبية محوّلة
أخذ عينات الإجراء بشكل تكراري
نافذة سياق بحجم 1024 رمزًا
مدرب على مجموعات بيانات متنوعة
وكيل سياسة عام
البدء مع Gato Generalist Agent
الوصول إلى النموذج: الحصول على إمكانية الوصول إلى وكيل Gato العام.
المصادقة: إعداد بيانات اعتماد المصادقة اللازمة.
إعداد البيئة: تكوين البيئة المستهدفة للتفاعل.
التكامل عبر API: استخدام نقاط نهاية API المقدمة لتنفيذ المهام.
تقديم موجه: إدخال موجه مرمّز أو عرض توضيحي.
استلام ملاحظة: معالجة ملاحظات البيئة.
أخذ عينات الإجراء: أخذ عينات من رموز الإجراء بشكل تكراري.
فك التشفير والتنفيذ: فك تشفير الرموز المأخوذة إلى إجراءات قابلة للتنفيذ.
حالات استخدام Gato Generalist Agent
- التحكم في الروبوتات
- تسمية الصور
- الحوار التفاعلي
- لعب الألعاب
- الفهم متعدد الوسائط
- بحث الذكاء الاصطناعي العام
