Documentación de Weights & Biases

Descripción

Weights & Biases (W&B) proporciona una plataforma integral diseñada para facilitar el desarrollo de modelos, aplicaciones y agentes de IA. La plataforma W&B está diseñada para soportar todo el ciclo de vida del desarrollo de IA, desde la construcción inicial del modelo hasta su despliegue y gestión continua.

W&B Models es un componente central que permite a los usuarios gestionar el desarrollo de modelos de IA a través de un robusto seguimiento de experimentos, capacidades de fine-tuning, informes detallados y barridos de hiperparámetros. También incluye un registro de modelos para una versionado eficiente y para garantizar la reproducibilidad de los modelos de IA. Este conjunto de herramientas es crucial para científicos de datos e ingenieros de ML que buscan organizar e iterar en sus procesos de desarrollo de modelos.

Complementando W&B Models, W&B Weave permite la integración fluida de modelos de IA en aplicaciones. Ofrece funciones de trazado, evaluación de salidas y estimación de costos, junto con un entorno de pruebas (playground) para comparar diferentes modelos de lenguaje grandes (LLMs) y sus configuraciones. Esto permite a los desarrolladores monitorizar y optimizar el rendimiento de sus modelos de IA desplegados.

La plataforma también aprovecha servicios gestionados impulsados por la infraestructura de CoreWeave. La Inferencia sin Servidor (Serverless Inference) proporciona acceso a los principales modelos fundacionales de código abierto a través de una API compatible con OpenAI, con seguimiento de uso y integración con Weave para trazado y evaluación. El Entrenamiento sin Servidor (Serverless Training), actualmente en vista previa pública, permite a los usuarios realizar post-entrenamiento y fine-tuning de LLMs utilizando infraestructura GPU gestionada, integración ART y RULER, y escalado automático para tareas agentivas de múltiples turnos. Además, los Entornos Aislados sin Servidor (Serverless Sandboxes, en vista previa privada) ofrecen entornos de cómputo aislados para ejecutar código, con gestión del ciclo de vida, manejo de secretos, acceso a archivos y un SDK de Python.

Este enfoque integrado tiene como objetivo optimizar el flujo de trabajo para los profesionales de IA, permitiéndoles construir, gestionar y desplegar soluciones de IA de manera más efectiva y eficiente. La plataforma se dirige a una amplia gama de usuarios involucrados en el desarrollo de IA, desde investigadores individuales hasta grandes equipos de desarrollo.

Características principales de Documentación de Weights & Biases

• Seguimiento de experimentos para el desarrollo de modelos de IA

• Capacidades de fine-tuning para LLMs

• Barridos de hiperparámetros para optimización de modelos

• Registro de modelos para versionado y reproducibilidad

• Trazado y evaluación de salidas para modelos de IA en aplicaciones

• Estimación de costos para el uso de LLMs

• Entorno de pruebas (playground) para comparar LLMs y configuraciones

• Inferencia sin servidor con API compatible con OpenAI

• Entrenamiento sin servidor para LLMs

• Infraestructura GPU gestionada para entrenamiento

• Entornos aislados sin servidor para ejecución de código

• SDK de Python para interactuar con entornos aislados

Primeros pasos con Documentación de Weights & Biases

1. 1

   Instalar: Utilice el gestor de paquetes para instalar las herramientas de W&B.

2. 2

   Configurar: Configure el entorno de W&B y conéctese a la plataforma.

3. 3

   Desarrollar: Construya modelos y aplicaciones de IA utilizando las funciones de W&B.

4. 4

   Rastrear: Registre experimentos, métricas y artefactos para el desarrollo de modelos.

5. 5

   Evaluar: Evalúe el rendimiento del modelo y compare LLMs utilizando W&B Weave.

6. 6

   Desplegar: Integre modelos en aplicaciones con trazado y observabilidad.

7. 7

   Optimizar: Utilice entrenamiento e inferencia sin servidor para mayor eficiencia.

Casos de uso de Documentación de Weights & Biases

• Desarrollo de Modelos de IA
• Despliegue de Aplicaciones LLM
• Seguimiento de Experimentos
• Versionado de Modelos
• Comparación de LLMs
• Entrenamiento de IA sin Servidor
• Ejecución de Código Aislada
• Observabilidad de IA

Preguntas frecuentes de Documentación de Weights & Biases

• ¿Qué es Weights & Biases?

  Weights & Biases es una plataforma que ayuda a los desarrolladores a construir modelos, aplicaciones y agentes de IA proporcionando herramientas para el seguimiento de experimentos, la evaluación y la observabilidad.

• ¿Cómo ayuda W&B en el desarrollo de modelos de IA?

  W&B Models ofrece seguimiento de experimentos, fine-tuning, informes, barridos de hiperparámetros y un registro de modelos para versionado y reproducibilidad, lo que ayuda en el desarrollo integral de modelos de IA.

• ¿Para qué se utiliza W&B Weave?

  W&B Weave permite a los usuarios gestionar modelos de IA dentro de su código, proporcionando trazado, evaluación de salidas, estimaciones de costos y un entorno de pruebas para comparar LLMs y configuraciones.

• ¿Cuáles son las ofertas sin servidor de Weights & Biases?

  Weights & Biases ofrece Inferencia sin Servidor para acceder a modelos fundacionales, Entrenamiento sin Servidor para post-entrenamiento y fine-tuning de LLMs, y Entornos Aislados sin Servidor para ejecutar código en entornos aislados.

• ¿Puedo acceder a modelos fundacionales de código abierto a través de W&B?

  Sí, la Inferencia sin Servidor proporciona acceso a los principales modelos fundacionales de código abierto a través de una API compatible con OpenAI, con seguimiento de uso y evaluación integrados.

• ¿Cuál es el propósito de los Entornos Aislados sin Servidor (Serverless Sandboxes)?

  Los Entornos Aislados sin Servidor proporcionan entornos de cómputo aislados para ejecutar código, con gestión del ciclo de vida, manejo de secretos, acceso a archivos y un SDK de Python para desarrolladores.

• ¿Está disponible el Entrenamiento sin Servidor para el fine-tuning de LLMs?

  Sí, el Entrenamiento sin Servidor está disponible en vista previa pública para post-entrenamiento y fine-tuning de LLMs, utilizando infraestructura GPU gestionada y escalado automático para tareas agentivas.

• ¿Cómo garantiza W&B la reproducibilidad de los modelos?

  W&B utiliza un registro de modelos para el versionado y seguimiento, lo que ayuda a garantizar que los modelos de IA puedan reproducirse de manera fiable.

• ¿Qué tipo de infraestructura utiliza W&B para sus servicios gestionados?

  Los servicios gestionados ofrecidos por Weights & Biases se ejecutan en la infraestructura de CoreWeave.

• ¿Cómo puedo comparar diferentes LLMs con Weights & Biases?

  W&B Weave incluye una función de entorno de pruebas (playground) que permite a los usuarios comparar varios modelos de lenguaje grandes (LLMs) y sus configuraciones.