Descripción
Cleora es un innovador motor de incrustación de grafos impulsado por Rust diseñado para proporcionar incrustaciones de grafos determinísticas y de alta precisión. A diferencia de los métodos tradicionales que se basan en caminatas aleatorias, muestreo negativo y clústeres de GPU, Cleora calcula la distribución exacta de todas las caminatas posibles en una única potencia de matriz dispersa. Este enfoque elimina el ruido y la aproximación estocástica, garantizando una reproducibilidad perfecta y una computación significativamente más rápida en un solo núcleo de CPU.
El núcleo de la innovación de Cleora reside en su algoritmo. Construye una matriz de transición dispersa a partir del grafo de entrada, manejando hipergrafos heterogéneos con aristas tipificadas y multirelacionales de forma nativa. Cada iteración de multiplicación de matrices con esta matriz de transición captura la distribución completa de caminatas de una longitud específica. Esto va seguido de una propagación normalizada L2, donde la incrustación de cada nodo se actualiza al promedio normalizado de las incrustaciones de sus vecinos. Este proceso requiere solo unas pocas iteraciones para la similitud de co-ocurrencia y un poco más para la similitud contextual, lo que lo hace órdenes de magnitud más rápido que los métodos basados en muestreo.
Las ventajas clave de Cleora incluyen su velocidad, precisión y eficiencia. Es hasta 240 veces más rápido que GraphSAGE y utiliza significativamente menos memoria que otras bibliotecas como NetMF. El motor es determinístico por defecto, crucial para la investigación reproducible y las canalizaciones de ML de producción. Admite de forma nativa hipergrafos heterogéneos, lo que elimina la necesidad de un preprocesamiento complejo del grafo. Además, Cleora cuenta con un tamaño de instalación mínimo de alrededor de 5 MB con solo numpy y scipy como dependencias, evitando los dolores de cabeza de las instalaciones de controladores de GPU y los marcos pesados.
Cleora está listo para producción, ofreciendo incrustaciones estables e inductivas que admiten la incrustación de nuevos nodos sin reentrenar todo el grafo. Sus capacidades se extienden a diversas aplicaciones, incluidos sistemas de recomendación, grafos de conocimiento, resolución de entidades, detección de fraude y descubrimiento de fármacos. La eficiencia del motor se destaca en estudios de caso como Zomato, que reemplazó GraphSAGE con Cleora, reduciendo el tiempo de generación de incrustaciones de 20 horas a menos de 5 minutos para millones de usuarios.
Cleora proporciona un conjunto completo de herramientas, que incluyen algoritmos alternativos integrados para comparación, un rico conjunto de evaluación para evaluar la calidad de las incrustaciones, capacidades de muestreo de grafos y ajuste de hiperparámetros. También incluye una herramienta CLI para una fácil integración en canalizaciones de scripting y CI/CD. Toda la biblioteca es de código abierto, gratuita para usar, modificar y desplegar, ofreciendo una solución rentable en comparación con las alternativas basadas en GPU.
Características principales de Cleora Graph Embedding Engine
Cálculo determinístico de incrustaciones de grafos mediante potencias de matrices dispersas
Ejecución solo con CPU, no se requiere GPU
Maneja hipergrafos heterogéneos con aristas tipificadas y multirelacionales de forma nativa
Elimina el muestreo de caminatas aleatorias y el entrenamiento skip-gram
Logra alta precisión en grafos del mundo real
Significativamente más rápido que los métodos basados en GPU y muestreo
Dependencias mínimas y tamaño de instalación pequeño (~5 MB)
Admite aprendizaje inductivo para nuevos nodos sin reentrenamiento
Incluye algoritmos alternativos integrados para comparación
Proporciona un rico conjunto de evaluación para la calidad de las incrustaciones
Ofrece una herramienta CLI para integración de scripting y CI/CD
Código abierto y gratuito para usar, modificar y desplegar
¿Cómo usar Cleora Graph Embedding Engine?
Instalar: pip install pycleora
Datos de entrada: Alimentar listas de aristas, registros de interacciones o triples de conocimiento en formato TSV.
Construcción de grafos: Cleora construye un hipergrafo heterogéneo a partir de los datos de entrada.
Potencia de matriz: Calcula la matriz de transición dispersa y sus potencias para capturar las distribuciones de caminatas.
Generación de incrustaciones: La propagación normalizada L2 genera vectores de incrustación determinísticos.
ML posterior: Utilizar las incrustaciones generadas para recomendaciones, clasificación, búsqueda, etc.
Casos de uso de Cleora Graph Embedding Engine
- Sistemas de recomendación
- Grafos de conocimiento
- Resolución de entidades
- Detección de fraude
- Análisis de redes sociales
- Descubrimiento de fármacos
- Optimización de la cadena de suministro
- Segmentación de clientes
