Beschreibung
LM-Kit.NET bietet die vollständige lokale KI-Laufzeitumgebung für .NET-Anwendungen und ermöglicht es Entwicklern, fortschrittliche KI-Funktionalitäten direkt in ihre Projekte zu integrieren, ohne auf Cloud-Dienste angewiesen zu sein. Das SDK basiert auf einer einzigen, adaptiven Inferenz-Engine, die sieben verschiedene Fähigkeitssäulen unterstützt: KI-Agenten, Dokumentenintelligenz, Vision & Multimodal, RAG & Wissen, Textanalyse, Sprache & Audio sowie Textgenerierung.
Jede dieser Säulen ist so konzipiert, dass sie nahtlos auf der Kern-Laufzeitumgebung funktioniert. Das LM-Kit.NET NuGet-Paket enthält das gesamte Inferenzsystem mit Open-Weight-LLMs, Vision-Language-Modellen, Embedding-Modellen, On-Device-Spracherkennung (Speech-to-Text), OCR und Klassifikatoren. Diese Komponenten werden auf verschiedenen Hardwareplattformen beschleunigt, darunter CPU, AVX2, CUDA 12/13, Vulkan und Metal, was eine effiziente lokale Ausführung gewährleistet. Dieser Ansatz garantiert eine vorhersagbare Latenz, vollständige Datensouveränität und technologische Unabhängigkeit, da keine Cloud-Aufrufe erforderlich sind.
Die Säule KI-Agenten unterstützt fortschrittliche Orchestrierungsmuster wie ReAct-Planung, Supervisoren und parallele/Pipeline-Orchestratoren sowie persistente Speicher und benutzerdefinierte Tools. Dokumentenintelligenz bietet robuste PDF- und Bildanalysefunktionen, On-Device-OCR mit branchenführenden Benchmark-Ergebnissen und die Extraktion strukturierter Felder mithilfe grammatikgesteuerter Generierung. Die Fähigkeiten im Bereich Vision & Multimodal umfassen Bildverständnis, Klassifizierung, Kennzeichnung, multimodale Chats und VLM-OCR, die dieselbe Konversationsschnittstelle wie LLMs bieten.
Für RAG & Wissen enthält LM-Kit.NET einen integrierten Vektorspeicher mit Konnektoren für Qdrant und pgvector, der hybride Abfragen und Quellenangaben unterstützt. Die Textanalyse bietet integrierte Klassifikatoren und Extraktoren für Sentiment, Named Entity Recognition (NER), PII-Erkennung und Spracherkennung, die typisierte C#-Objekte ausgeben. Die Säule Sprache & Audio verfügt über einen wachsenden lokalen Speech-to-Text-Stack mit Halluzinationsunterdrückung, Voice Activity Detection, Echtzeitübersetzung und Streaming-Ausgabe für über 100 Sprachen.
Die Textgenerierung umfasst ein- und mehrstufige sowie zustandslose Konversationsprimitive, einschließlich Übersetzung, Umschreibung, Zusammenfassung, Prompt-Vorlagen und grammatikgesteuerte Ausgaben. Die Grundlage von LM-Kit.NET bildet seine adaptive Inferenz-Engine, die eine eingeschränkte Ausgabe über dynamische Grammatiken für die garantierte Analyse von JSON, Schemata und Tool-Aufrufstrukturen, adaptive Führung zur Reduzierung von Halluzinationen und eine modellunabhängige Architektur für die einfache Integration neuer Open-Weight-Modelle bietet.
LM-Kit.NET bietet erhebliche Vorteile gegenüber Cloud-APIs, darunter keine Kosten pro Token, keine Daten, die das Netzwerk verlassen, vorhersagbare Latenz und die Nutzung bestehender Recheninfrastruktur. Es unterscheidet sich auch von Python-Diensten, indem es Sidecars und HTTP-Shims vermeidet und sich direkt in den .NET-Prozess integriert. Im Vergleich zu anderen lokalen .NET-Stacks bietet LM-Kit.NET die vollständige Laufzeitumgebung, nicht nur die Inferenz, und umfasst Agenten, RAG, OCR, Sprache, Vision und Klassifikatoren.
LM-Kit.NET ist kompatibel mit .NET Standard 2.0 und .NET 8/9/10 und läuft unter Windows, Linux (x64 & ARM64) und macOS. Es bietet eine kostenlose Community-Lizenz für nicht-kommerzielle Anwendungen und Evaluierungen sowie eine professionelle, individuell bepreiste Option für die kommerzielle Weiterverbreitung. Brücken für Microsoft.Extensions.AI und Semantic Kernel sind verfügbar, um eine nahtlose Integration in bestehende .NET-KI-Ökosysteme zu ermöglichen.
LM-Kit.NET's Kernfunktionen
Lokale KI-Laufzeitumgebung für .NET
Sieben Fähigkeitssäulen: Agenten, Dokumentenintelligenz, Vision, RAG, Textanalyse, Sprache, Generierung
Adaptive Inferenz-Engine
Ein NuGet-Paket, null Cloud-Aufrufe
Volle Kontrolle über Daten und Latenz
On-Device-OCR mit SOTA-Benchmark-Ergebnissen
Integrierter Vektorspeicher mit Qdrant- und pgvector-Konnektoren
Lokaler Speech-to-Text-Stack mit über 100 Sprachen
Grammatikgesteuerte Generierung für strukturierte Ausgaben
Beschleunigte Inferenz auf CPU, AVX2, CUDA, Vulkan, Metal
Modellunabhängige Architektur
Kostenlose Community-Lizenz verfügbar
Professionelle benutzerdefinierte Lizenzierung für kommerzielle Nutzung
Brücken für Microsoft.Extensions.AI und Semantic Kernel
Wie verwendet man LM-Kit.NET?
Installation: Fügen Sie das LM-Kit.NET NuGet-Paket zu Ihrem .NET-Projekt hinzu.
Konfiguration: Richten Sie die lokale Inferenz-Engine ein und wählen Sie die gewünschten KI-Modelle aus.
Agenten integrieren: Orchestrieren Sie KI-Agenten mithilfe von Mustern wie ReAct-Planung.
Dokumente verarbeiten: Nutzen Sie die Dokumentenintelligenz für die PDF- und Bildanalyse.
Vision implementieren: Integrieren Sie Bildverständnis und multimodale Chat-Funktionen.
RAG-Systeme erstellen: Richten Sie Vektorsuche und -abruf für Wissensanreicherung ein.
Text analysieren: Verwenden Sie Textanalysefunktionen für Klassifizierung und Extraktion.
Sprache hinzufügen: Integrieren Sie lokale Speech-to-Text- und Übersetzungsfunktionen.
Text generieren: Nutzen Sie Konversationsprimitive und grammatikgesteuerte Generierung.
LM-Kit.NET's Anwendungsfälle
- Lokale KI-Entwicklung
- Dokumentenverarbeitung
- On-Device Vision AI
- Private RAG-Systeme
- Offline-Spracherkennung
- Datensouveränität
- Vorhersagbare Latenz
- KI-Agenten-Orchestrierung
