Windows Agent Arena

الوصف

Windows Agent Arena (WAA) هو إطار عمل مبتكر ومفتوح المصدر مصمم لمعالجة التحديات في تقييم وتطوير وكلاء الذكاء الاصطناعي القادرين على الاستدلال والتخطيط والتصرف داخل نظام تشغيل Windows حقيقي. غالبًا ما تركز المقاييس التقليدية على وسائط أو مجالات محدودة وتستغرق وقتًا طويلاً، حيث تستغرق التقييمات الكاملة أيامًا بسبب الطبيعة التسلسلية للمهام. يوفر WAA بيئة نظام تشغيل Windows قابلة للتكرار وواقعية حيث يمكن لوكلاء الذكاء الاصطناعي التفاعل مع مجموعة واسعة من التطبيقات والأدوات ومتصفحات الويب، مما يعكس تجارب المستخدم البشري.

يدعم الإطار نشر الوكلاء على نطاق واسع، مستفيدًا من البنية التحتية السحابية لـ Azure ML للتنفيذ المتوازي. هذا يسمح بقياس مئات المهام في دقائق بدلاً من أيام. يتضمن WAA أكثر من 154 مهمة متنوعة تغطي أعباء عمل Windows الشائعة مثل تحرير المستندات (LibreOffice Calc/Writer)، وتصفح الإنترنت (Microsoft Edge، Google Chrome)، ومهام النظام (مستكشف الملفات، الإعدادات)، والترميز (Visual Studio Code)، وتشغيل الوسائط (VLC Player)، ووظائف الأدوات المساعدة (Notepad، Clock، Paint). تقييم المهام حتمي، مع قيام نصوص برمجية مخصصة بإنشاء مكافآت في نهاية كل حلقة.

في جوهره، يستخدم WAA حاوية Docker تستضيف جهازًا افتراضيًا لنظام Windows 11. يعمل خادم Python Flask كوسيط، وينفذ الأوامر داخل الجهاز الافتراضي ويعيد الملاحظات. لتحقيق التوازي السحابي القابل للتوسع، يتم استخدام مهام Azure Machine Learning، وتوزيع المهام بالتساوي بين مثيلات الحوسبة وتجميع النتائج. تدعم هذه البنية التحتية التنفيذ المحلي المرن أثناء النمذجة الأولية والقياس السحابي القوي.

لتوضيح قدرات WAA، تم تقديم وكيل Navi. يستخدم Navi الاستدلال المتسلسل (chain-of-thought prompting) للاستدلال على حالة الكمبيوتر، والإجراءات السابقة، وتحديد الخطوة التالية. تتضمن مدخلاته عنوان النافذة الأمامية، وعناوين جميع النوافذ/علامات التبويب المفتوحة، وتمثيل للشاشة يتم معالجته من خلال طرق مختلفة مثل تحليل شجرة UIA، وتحليل شجرة DOM، والتعرف الضوئي على الحروف (OCR)، واكتشاف الأيقونات/الصور، و OmniParser. تظهر النتائج الأولية أنه بينما تحقق النماذج الحالية أداءً أقل من البشر، فإن جودة تمثيل الشاشة تؤثر بشكل كبير على نجاح الوكيل، مع إظهار تحليل شجرة UIA وتسمية الأيقونات في OmniParser لزيادات في الأداء.

WAA هو مورد قيم للباحثين والمطورين الذين يهدفون إلى تطوير مجال وكلاء الذكاء الاصطناعي، وخاصة تلك التي تعمل في بيئات سطح المكتب المعقدة. إنه يسهل الاختبار الصارم، والتحليل المقارن لهياكل الوكلاء، وتوليد رؤى لتطوير الوكلاء المستقبلي.

الميزات الأساسية لـ Windows Agent Arena

• بيئة نظام تشغيل Windows قابلة للتوسع لوكلاء الذكاء الاصطناعي

• تفاعل واقعي مع سطح المكتب عبر تطبيقات متنوعة

• يدعم وكلاء الذكاء الاصطناعي المتعدد الوسائط

• قياس أداء سير عمل الوكلاء

• تنفيذ متوازي عبر Azure ML

• 154 مهمة متنوعة لنظام Windows

• تقييم حتمي للمهام

• الاستدلال المتسلسل (Chain-of-thought prompting) للوكلاء

• طرق متعددة لتمثيل الشاشة (UIA، DOM، OCR، اكتشاف الأيقونات، OmniParser)

• إطار عمل مفتوح المصدر

• بيئة بحث قابلة للتكرار

كيفية استخدام Windows Agent Arena؟

1. 1

   إعداد حاوية Docker مع جهاز افتراضي لنظام Windows 11

2. 2

   تكوين جدولة المهام ونشر الوكيل

3. 3

   تحديد مدخلات الوكيل وطرق تحليل الشاشة

4. 4

   تشغيل تقييمات قياس الأداء محليًا أو على Azure ML

5. 5

   تحليل مقاييس أداء الوكيل والسجلات

حالات استخدام Windows Agent Arena

• قياس أداء وكلاء الذكاء الاصطناعي
• أبحاث أتمتة سطح المكتب
• تطوير الوكلاء المتعدد الوسائط
• أبحاث الذكاء الاصطناعي القابلة للتكرار
• دراسات التفاعل بين الإنسان والذكاء الاصطناعي

الأسئلة الشائعة من Windows Agent Arena

• ما هو Windows Agent Arena (WAA)؟

  Windows Agent Arena (WAA) هو إطار عمل مفتوح المصدر قابل للتوسع لتقييم وكلاء الذكاء الاصطناعي المتعدد الوسائط على نظام التشغيل Windows، مما يوفر بيئة واقعية للاختبار وقياس الأداء.

• ما أنواع المهام التي يمكن للوكلاء أداؤها في WAA؟

  يمكن للوكلاء أداء أكثر من 154 مهمة متنوعة عبر تطبيقات مثل محررات المستندات، ومتصفحات الويب، ومستكشف الملفات، وبيئات الترميز، ومشغلات الوسائط.

• كيف يتيح WAA التقييم القابل للتوسع؟

  يستفيد WAA من البنية التحتية السحابية لـ Azure ML للتنفيذ المتوازي، مما يسمح بقياس مئات المهام في دقائق.

• ما هي وسائط الإدخال للوكلاء في WAA؟

  يتلقى الوكلاء مدخلات تشمل عنوان النافذة الأمامية، وعناوين جميع النوافذ/علامات التبويب المفتوحة، وتمثيل للشاشة يتم معالجته عبر UIA، DOM، OCR، اكتشاف الأيقونات، أو OmniParser.

• هل WAA مناسب للأغراض البحثية؟

  نعم، يوفر WAA بيئة قابلة للتكرار وواقعية لأبحاث الذكاء الاصطناعي، مما يتيح التحليل الكمي والنوعي لأداء الوكيل.

• ما هو وكيل Navi؟

  Navi هو وكيل متعدد الوسائط تم تطويره باستخدام WAA، ويظهر قدرات الوكيل على نظام التشغيل Windows باستخدام الاستدلال المتسلسل (chain-of-thought prompting).

• كيف يتم إجراء تقييم المهام في WAA؟

  تقييم المهام حتمي، حيث تقوم نصوص برمجية مخصصة بإنشاء مكافآت في نهاية كل حلقة لقياس نجاح الوكيل.

• هل يمكن استخدام WAA للتطوير المحلي؟

  نعم، تدعم البنية التحتية التنفيذ المحلي المرن أثناء مرحلة النمذجة الأولية قبل التوسع إلى السحابة.

• ما هي التطبيقات المضمنة في مهام WAA؟

  التطبيقات المضمنة هي LibreOffice Calc/Writer، و Microsoft Edge، و Google Chrome، و File Explorer، و Settings، و Visual Studio Code، و VLC Player، و Notepad، و Clock، و Paint.

• ما فائدة استخدام تحليل شجرة UIA في WAA؟

  يحقق الوكلاء الذين يستخدمون تحليل شجرة UIA، جنبًا إلى جنب مع طرق أخرى، أداءً أعلى مقارنة بتلك التي تعتمد فقط على التعرف الضوئي على الحروف (OCR) واكتشاف الأيقونات المستندة إلى البكسل.