الوصف
يمثل LiteRT الجيل التالي من نشر التعلم الآلي على الأجهزة من Google، متطورًا من TensorFlow Lite المعتمد على نطاق واسع. تم تصميم هذا الإطار لتقديم أداء عالٍ للتعلم الآلي ونماذج الذكاء الاصطناعي التوليدي على مجموعة واسعة من منصات الحافة. يوفر خط أنابيب فعال لتحويل النماذج وتشغيلها وتحسينها، مصمم خصيصًا لقيود ومتطلبات بيئات الأجهزة.
بناءً على أساس TensorFlow Lite الذي تم اختباره في المعارك، يهدف LiteRT إلى توفير زمن استجابة منخفض وخصوصية محسنة للتطبيقات التي تعمل مباشرة على مليارات الأجهزة. يسهل جاهزيته عبر المنصات نشر قدرات الذكاء الاصطناعي المتطورة، بما في ذلك الذكاء الاصطناعي التوليدي، من خلال توفير تسريع مبسط للأجهزة ودعم متعدد الأطر. يمكن للمطورين الاستفادة من نماذج .tflite الحالية أو تحويل النماذج من أطر عمل مثل PyTorch و JAX و TensorFlow. تسمح مجموعة أدوات تحسين LiteRT بالقياس الكمي بعد التدريب، مما يزيد من تحسين كفاءة النموذج.
يدعم LiteRT مجموعة من سيناريوهات النشر، بدءًا من دمج النماذج المدربة مسبقًا في التطبيقات إلى تأليف النماذج المخصصة المتقدمة مع تحسينات عميقة خاصة بالأجهزة. تم تصميمه لتمكين المطورين من جلب أحدث تقنيات الذكاء الاصطناعي، بما في ذلك المهارات الوكيلة المتقدمة والتخطيط متعدد الخطوات باستخدام نماذج مثل Gemma، مباشرة إلى الحافة. يركز الإطار أيضًا على توسيع دعم تسريع الأجهزة، لا سيما لوحدات المعالجة العصبية (NPUs) من MediaTek و Qualcomm، مما يطلق الأداء الأقصى لمهام الذكاء الاصطناعي التوليدي على هذه الشرائح.
بالنسبة لمستخدمي TensorFlow Lite الحاليين، يوفر الانتقال إلى LiteRT أداءً محسنًا وواجهات برمجة تطبيقات موحدة عبر منصات مثل Android و Desktop و Web. يقدم واجهة برمجة التطبيقات CompiledModel API مزيدًا من التبسيط للنشر عن طريق أتمتة اختيار الأجهزة وتمكين التنفيذ غير المتزامن. يتيح LiteRT-LM بشكل خاص نشر نماذج اللغة على الأجهزة القابلة للارتداء والمنصات المستندة إلى المتصفح، مما يوضح تنوعه لتطبيقات الذكاء الاصطناعي المتنوعة على الحافة. يتم تشجيع مساهمات المجتمع من خلال مستودع GitHub الخاص به، وتتوفر نماذج مفتوحة الوزن محسنة عبر Hugging Face Hub.
الميزات الأساسية لـ LiteRT: إطار عمل التعلم الآلي على الجهاز
نشر التعلم الآلي والذكاء الاصطناعي التوليدي عالي الأداء على الأجهزة
تحويل فعال للنماذج من PyTorch و JAX و TensorFlow
وقت تشغيل محسّن لمنصات الحافة
مجموعة أدوات القياس الكمي بعد التدريب
التوافق عبر المنصات (Android و Desktop و Web)
تسريع مبسط للأجهزة
دعم متعدد الأطر
واجهة برمجة تطبيقات CompiledModel لاختيار الأجهزة الآلي
LiteRT-LM لنماذج اللغة على الأجهزة
خصوصية محسنة وزمن استجابة منخفض
يتطور من أساس TensorFlow Lite
يدعم تسريع NPU على شرائح MediaTek و Qualcomm
البدء مع LiteRT: إطار عمل التعلم الآلي على الجهاز
الحصول على النموذج: استخدم نماذج .tflite الحالية أو قم بتحويل نماذج PyTorch أو JAX أو TensorFlow.
تحسين النموذج: استخدم مجموعة أدوات تحسين LiteRT للقياس الكمي بعد التدريب.
نشر النموذج: قم بدمج نموذجك المحسن مع LiteRT، مع اختيار المُسرّع الأمثل.
تشغيل النموذج: قم بنشر تطبيقك على أجهزة الحافة المستهدفة.
استكشاف العينات: ارجع إلى GitHub للحصول على تطبيقات عينات كاملة من البداية إلى النهاية.
الوصول إلى النماذج: ابحث عن نماذج GenAI مفتوحة الوزن محسنة على Hugging Face.
حالات استخدام LiteRT: إطار عمل التعلم الآلي على الجهاز
- روبوتات الدردشة على الأجهزة
- تطبيقات الذكاء الاصطناعي على الحافة
- الذكاء الاصطناعي للأجهزة القابلة للارتداء
- الذكاء الاصطناعي المستند إلى المتصفح
- تجارب الرؤية والصوت
- المهارات الوكيلة
- تحسين النماذج المخصصة
- النشر عبر المنصات
