Beschreibung
LiteRT repräsentiert die nächste Generation von Googles On-Device Machine Learning-Bereitstellung und entwickelt sich aus dem weit verbreiteten TensorFlow Lite weiter. Dieses Framework ist für die leistungsstarke Bereitstellung von ML und Generative AI auf einer Vielzahl von Edge-Plattformen konzipiert. Es bietet eine effiziente Pipeline für die Modellkonvertierung, die Laufzeitausführung und die Optimierung, die speziell auf die Einschränkungen und Anforderungen von On-Device-Umgebungen zugeschnitten ist.
Aufbauend auf der bewährten Grundlage von TensorFlow Lite zielt LiteRT darauf ab, geringe Latenzzeiten und verbesserte Privatsphäre für Anwendungen zu liefern, die direkt auf Milliarden von Geräten laufen. Seine plattformübergreifende Bereitschaft vereinfacht die Bereitstellung hochentwickelter KI-Funktionen, einschließlich Generative AI, indem es eine vereinfachte Hardwarebeschleunigung und Multi-Framework-Unterstützung bietet. Entwickler können bestehende .tflite-Modelle nutzen oder Modelle aus Frameworks wie PyTorch, JAX und TensorFlow konvertieren. Das LiteRT-Optimierungstoolkit ermöglicht eine Post-Training-Quantisierung, um die Modelleffizienz weiter zu verbessern.
LiteRT unterstützt eine Reihe von Bereitstellungsszenarien, von der Integration vortrainierter Modelle in Anwendungen bis hin zur fortschrittlichen Erstellung benutzerdefinierter Modelle mit tiefgreifenden hardware-spezifischen Optimierungen. Es wurde entwickelt, um Entwicklern die Möglichkeit zu geben, modernste KI, einschließlich fortschrittlicher agentischer Fähigkeiten und mehrstufiger Planungsfähigkeiten mit Modellen wie Gemma, direkt auf das Edge zu bringen. Das Framework konzentriert sich auch auf die Erweiterung der Unterstützung für Hardwarebeschleunigung, insbesondere für MediaTek- und Qualcomm-NPUs, um Spitzenleistungen für generative KI-Aufgaben auf diesen Chipsätzen zu erzielen.
Für bestehende TensorFlow Lite-Benutzer bietet der Übergang zu LiteRT eine verbesserte Leistung und vereinheitlichte APIs auf Plattformen wie Android, Desktop und Web. Die Einführung der CompiledModel API vereinfacht die Bereitstellung weiter, indem sie die Hardwareauswahl automatisiert und die asynchrone Ausführung ermöglicht. LiteRT-LM ermöglicht speziell die Bereitstellung von Sprachmodellen auf Wearables und browserbasierten Plattformen und zeigt seine Vielseitigkeit für diverse Edge-KI-Anwendungen. Community-Beiträge werden über sein GitHub-Repository gefördert, und optimierte Open-Weight-Modelle sind über den Hugging Face Hub zugänglich.
LiteRT: On-Device ML Framework's Kernfunktionen
Leistungsstarke On-Device ML- und GenAI-Bereitstellung
Effiziente Modellkonvertierung von PyTorch, JAX, TensorFlow
Optimierte Laufzeit für Edge-Plattformen
Toolkit für Post-Training-Quantisierung
Plattformübergreifende Kompatibilität (Android, Desktop, Web)
Vereinfachte Hardwarebeschleunigung
Multi-Framework-Unterstützung
CompiledModel API für automatisierte Hardwareauswahl
LiteRT-LM für On-Device-Sprachmodelle
Verbesserte Privatsphäre und geringe Latenz
Entwickelt sich aus der TensorFlow Lite-Grundlage
Unterstützt NPU-Beschleunigung auf MediaTek- und Qualcomm-Chipsätzen
Erste Schritte mit LiteRT: On-Device ML Framework
Modell erhalten: Verwenden Sie bestehende .tflite-Modelle oder konvertieren Sie PyTorch-, JAX- oder TensorFlow-Modelle.
Modell optimieren: Nutzen Sie das LiteRT-Optimierungstoolkit für die Post-Training-Quantisierung.
Modell bereitstellen: Integrieren Sie Ihr optimiertes Modell mit LiteRT und wählen Sie den optimalen Beschleuniger.
Modell ausführen: Stellen Sie Ihre Anwendung auf den Ziel-Edge-Geräten bereit.
Beispiele erkunden: Konsultieren Sie GitHub für vollständige End-to-End-Beispiel-Apps.
Modelle zugreifen: Finden Sie optimierte Open-Weight-GenAI-Modelle auf Hugging Face.
LiteRT: On-Device ML Framework's Anwendungsfälle
- On-Device Chatbots
- Edge-KI-Anwendungen
- Wearable-KI
- Browserbasierte KI
- Vision- und Audio-Erlebnisse
- Agentische Fähigkeiten
- Optimierung benutzerdefinierter Modelle
- Plattformübergreifende Bereitstellung
