Langroid

Description

Langroid est un framework Python intuitif, léger et extensible, conçu pour simplifier le développement d'applications basées sur les Large Language Models (LLM). Il fonctionne selon un paradigme de programmation multi-agents, inspiré de l'Actor Framework, où les développeurs définissent des agents, les équipent de composants tels que des LLM, des bases de données vectorielles et des outils, puis orchestrent leur résolution collaborative de problèmes par échange de messages.

L'abstraction centrale dans Langroid est l'`Agent`, qui encapsule l'état de conversation du LLM et peut être enrichi de bases de données vectorielles et d'outils. Les agents agissent comme des transformateurs de messages, avec des méthodes de réponse par défaut pour les interactions LLM, Agent et Utilisateur. La classe `Task` encapsule un `Agent`, fournissant des instructions, gérant les itérations et orchestrant les interactions multi-agents par délégation hiérarchique. Cette conception modulaire favorise la réutilisabilité et le découplage.

Langroid prend en charge une large gamme de LLM, y compris les modèles OpenAI et ceux de centaines d'autres fournisseurs (locaux/open source ou distants/commerciaux) via des bibliothèques proxy et des serveurs de modèles locaux comme Ollama et LiteLLM, imitant souvent l'API OpenAI. Il s'intègre à diverses bases de données vectorielles telles que Qdrant, Chroma, LanceDB, Pinecone et PGVector, permettant la Génération Augmentée par Récupération (RAG) pour l'ancrage et la citation des sources. Le framework offre également un support robuste pour les outils/plugins/appels de fonctions, en s'appuyant sur Pydantic pour une définition simplifiée du schéma et une gestion des erreurs.

Les capacités clés incluent la collaboration multi-agents, l'extraction d'informations structurées, le chat documentaire (RAG) avec citation des sources, et le chat avec des données tabulaires. Langroid met l'accent sur l'expérience développeur, offrant des fonctionnalités telles que la mise en cache des réponses LLM, l'observabilité, la journalisation et le suivi de la lignée des messages. Il est activement développé avec des mises à jour fréquentes et une communauté croissante, ce qui en fait un choix puissant pour la création d'applications LLM sophistiquées.

Fonctionnalités principales de Langroid

• Paradigme de programmation multi-agents pour les applications LLM

• Abstractions Agent et Task pour l'orchestration des interactions LLM

• Prise en charge d'une large gamme de LLM, y compris les modèles locaux et propriétaires

• Intégration avec plusieurs bases de données vectorielles pour les capacités RAG

• Prise en charge des outils/plugins/appels de fonctions utilisant Pydantic

• Chat documentaire (RAG) avec citation des sources

• Chat avec des données tabulaires via la génération de code Pandas

• Mise en cache des réponses LLM

• Observabilité, journalisation et suivi de la lignée des messages

• Framework Python extensible et léger

Premiers pas avec Langroid

1. 1

   Cloner le dépôt : Obtenez le code source de Langroid depuis GitHub.

2. 2

   Installer les dépendances : Configurez un environnement virtuel et installez Langroid avec les extras nécessaires.

3. 3

   Configurer les variables d'environnement : Mettez en place les clés API et autres identifiants requis.

4. 4

   Développer des agents : Définissez des agents avec des LLM, des bases de données vectorielles et des outils.

5. 5

   Orchestrer les tâches : Utilisez la classe Task pour gérer les interactions des agents et les flux de travail.

6. 6

   Exécuter les applications : Lancez vos applications basées sur des LLM.

Cas d'utilisation de Langroid

• Collaboration multi-agents
• Extraction d'informations
• Questions-réponses sur documents
• Analyse de données
• Génération de code
• Systèmes RAG

FAQ de Langroid

• Qu'est-ce que Langroid ?

  Langroid est un framework Python pour la création d'applications basées sur des LLM, utilisant un paradigme de programmation multi-agents, permettant aux agents de collaborer par échange de messages.

• Quels sont les composants principaux de Langroid ?

  Les composants principaux sont les Agents, qui encapsulent les interactions et l'état du LLM, et les Tasks, qui orchestrent le comportement des agents et la collaboration multi-agents.

• Quels LLM Langroid prend-il en charge ?

  Langroid prend en charge les LLM OpenAI et s'intègre à des centaines d'autres fournisseurs, y compris des modèles locaux via des serveurs comme Ollama et LiteLLM.

• Comment Langroid gère-t-il la récupération de données ?

  Langroid prend en charge la Génération Augmentée par Récupération (RAG) en s'intégrant à diverses bases de données vectorielles comme Qdrant, Chroma et LanceDB.

• Les agents Langroid peuvent-ils utiliser des outils ou des fonctions externes ?

  Oui, Langroid prend en charge les outils/plugins/appels de fonctions, en s'appuyant sur Pydantic pour une définition et une intégration faciles.

• Quel est l'avantage d'utiliser Langroid pour les applications LLM ?

  Langroid simplifie le développement d'applications LLM en fournissant un framework multi-agents structuré, favorisant la modularité, la réutilisabilité et une orchestration plus facile des interactions LLM complexes.

• Comment puis-je discuter avec mes documents en utilisant Langroid ?

  Langroid fournit un `DocChatAgent` spécialisé qui gère l'ingestion de documents, l'embedding, le stockage vectoriel et la réponse aux questions augmentée par récupération.

• Langroid prend-il en charge les LLM locaux ?

  Oui, Langroid prend en charge les LLM locaux servis via des API compatibles, comme celles fournies par Ollama.

• Quel est le rôle des Tasks dans Langroid ?

  Les Tasks encapsulent les Agents, fournissent des instructions, gèrent les réponses des agents et orchestrent les interactions multi-agents par délégation hiérarchique.

• Comment Langroid assure-t-il l'ancrage et la citation des sources ?

  En s'intégrant aux bases de données vectorielles pour le RAG, Langroid peut récupérer des informations pertinentes à partir de documents externes et citer les sources utilisées dans ses réponses.