Cleora Graph Embedding Engine

Descrição

Cleora é um motor de embedding de grafos inovador com tecnologia Rust, projetado para fornecer embeddings de grafos determinísticos e de alta precisão. Ao contrário dos métodos tradicionais que dependem de caminhadas aleatórias, amostragem negativa e clusters de GPU, Cleora calcula a distribuição exata de todas as caminhadas possíveis em uma única potência de matriz esparsa. Essa abordagem elimina ruído e aproximação estocástica, garantindo reprodutibilidade perfeita e computação significativamente mais rápida em um único núcleo de CPU.

O cerne da inovação de Cleora reside em seu algoritmo. Ele constrói uma matriz de transição esparsa a partir do grafo de entrada, lidando nativamente com hipergrafos heterogêneos com arestas tipadas e multirelacionais. Cada iteração de multiplicação de matriz com essa matriz de transição captura a distribuição completa de caminhadas de um comprimento específico. Isso é seguido por propagação normalizada por L2, onde o embedding de cada nó é atualizado para a média normalizada dos embeddings de seus vizinhos. Este processo requer apenas algumas iterações para similaridade de co-ocorrência e um pouco mais para similaridade contextual, tornando-o ordens de magnitude mais rápido do que métodos baseados em amostragem.

As principais vantagens de Cleora incluem sua velocidade, precisão e eficiência. É até 240 vezes mais rápido que o GraphSAGE e usa significativamente menos memória do que outras bibliotecas como NetMF. O motor é determinístico por padrão, crucial para pesquisa reprodutível e pipelines de ML de produção. Ele suporta nativamente hipergrafos heterogêneos, eliminando a necessidade de pré-processamento complexo de grafos. Além disso, Cleora possui um tamanho de instalação mínimo de cerca de 5 MB com apenas numpy e scipy como dependências, evitando as dores de cabeça de instalações de drivers de GPU e frameworks pesados.

Cleora está pronto para produção, oferecendo embeddings estáveis e indutivos que suportam o embedding de novos nós sem retreinar todo o grafo. Suas capacidades se estendem a várias aplicações, incluindo sistemas de recomendação, grafos de conhecimento, resolução de entidades, detecção de fraudes e descoberta de medicamentos. A eficiência do motor é destacada por estudos de caso como o Zomato, que substituiu o GraphSAGE por Cleora, reduzindo o tempo de geração de embeddings de 20 horas para menos de 5 minutos para milhões de usuários.

Cleora fornece um conjunto abrangente de ferramentas, incluindo algoritmos alternativos integrados para comparação, um rico conjunto de avaliação para avaliar a qualidade do embedding, capacidades de amostragem de grafos e ajuste de hiperparâmetros. Ele também inclui uma ferramenta CLI para fácil integração em pipelines de script e CI/CD. Toda a biblioteca é de código aberto, gratuita para usar, modificar e implantar, oferecendo uma solução econômica em comparação com alternativas baseadas em GPU.

Recursos principais de Cleora Graph Embedding Engine

• Cálculo determinístico de embedding de grafo via potências de matriz esparsa

• Execução apenas para CPU, sem necessidade de GPU

• Lida nativamente com hipergrafos heterogêneos com arestas tipadas e multirelacionais

• Elimina amostragem de caminhada aleatória e treinamento skip-gram

• Alcança alta precisão em grafos do mundo real

• Significativamente mais rápido que métodos baseados em GPU e amostragem

• Dependências mínimas e tamanho de instalação pequeno (~5 MB)

• Suporta aprendizado indutivo para novos nós sem retreinamento

• Inclui algoritmos alternativos integrados para comparação

• Fornece um rico conjunto de avaliação para qualidade de embedding

• Oferece uma ferramenta CLI para integração de script e CI/CD

• Código aberto e gratuito para usar, modificar e implantar

Como usar Cleora Graph Embedding Engine?

1. 1

   Instalar: pip install pycleora

2. 2

   Dados de Entrada: Alimente listas de arestas, logs de interação ou triplas de conhecimento em formato TSV.

3. 3

   Construção do Grafo: Cleora constrói um hipergrafo heterogêneo a partir dos dados de entrada.

4. 4

   Potência da Matriz: Calcula a matriz de transição esparsa e suas potências para capturar distribuições de caminhada.

5. 5

   Geração de Embedding: Propagação normalizada por L2 gera vetores de embedding determinísticos.

6. 6

   ML Downstream: Utilize embeddings gerados para recomendações, classificação, busca, etc.

Casos de uso de Cleora Graph Embedding Engine

• Sistemas de Recomendação
• Grafos de Conhecimento
• Resolução de Entidades
• Detecção de Fraudes
• Análise de Rede Social
• Descoberta de Medicamentos
• Otimização da Cadeia de Suprimentos
• Segmentação de Clientes

Perguntas frequentes de Cleora Graph Embedding Engine

• O que torna o motor de embedding de grafos de Cleora determinístico?

  Cleora calcula a distribuição exata de todas as caminhadas possíveis usando potências de matriz esparsa, eliminando a amostragem aleatória e a aproximação inerentes a outros métodos, garantindo assim a saída determinística.

• Cleora requer uma GPU para embedding de grafos?

  Não, Cleora é projetado para ser apenas para CPU e não requer nenhum hardware ou drivers de GPU, tornando-o acessível e econômico.

• Como Cleora lida com estruturas de grafos complexas como hipergrafos?

  Cleora lida nativamente com hipergrafos heterogêneos com arestas tipadas e multirelacionais, permitindo a entrada direta de relacionamentos complexos sem pré-processamento extensivo.

• Quais são as principais vantagens de Cleora sobre outras técnicas de embedding de grafos?

  Cleora oferece velocidade superior (até 240x mais rápido), saída determinística, uso de memória significativamente menor e suporte nativo para estruturas de grafos complexas, tudo sem a necessidade de GPUs.

• Os embeddings de Cleora podem ser usados para aprendizado indutivo?

  Sim, os embeddings de Cleora são estáveis e suportam aprendizado indutivo, o que significa que novos nós podem ser incorporados sem a necessidade de retreinar todo o grafo.

• Qual é o tamanho típico de instalação e a pegada de dependência de Cleora?

  Cleora tem um tamanho de instalação mínimo de aproximadamente 5 MB, com apenas numpy e scipy como suas dependências principais, tornando-o leve e fácil de integrar.

• Como Cleora se compara em termos de precisão a outros métodos de embedding de grafos?

  Cleora consistentemente alcança a maior precisão em grafos do mundo real, muitas vezes superando outros métodos que pontuam dígitos únicos, como demonstrado em vários benchmarks.

• Cleora é adequado para ambientes de produção?

  Sim, Cleora está pronto para produção, oferecendo saídas determinísticas, alto desempenho e estabilidade, tornando-o ideal para pipelines de ML de produção e implantações em larga escala.

• Que tipo de dados de entrada Cleora aceita?

  Cleora aceita qualquer arquivo TSV com colunas tipadas, incluindo listas de arestas, logs de interação ou triplas de conhecimento, suportando relacionamentos e modificadores complexos.

• Como o desempenho de Cleora escala com o tamanho do grafo?

  Cleora exibe escalonamento sublinear, permitindo processar grafos muito grandes de forma eficiente. Por exemplo, ele pode incorporar 2 milhões de nós em 31 segundos.