GraphSAINT

설명

GraphSAINT는 대규모 그래프에서 그래프 신경망(GNN)을 훈련하기 위해 설계된 일반적이고 유연한 프레임워크입니다. 기존의 레이어 샘플링 접근 방식과 달리 그래프 샘플링을 사용하는 새로운 미니배치 훈련 방법론으로 차별화됩니다. 이 그래프 샘플링 기법은 레이어 내에서 샘플링하는 대신 작은 샘플링된 하위 그래프에 대해 완전한 GNN 레이어를 구성할 수 있도록 합니다. 이러한 관점의 근본적인 변화는 몇 가지 주요 이점을 가져옵니다.

그래프 샘플링으로 인해 발생하는 편향을 완화하는 간단하면서도 효과적인 정규화 기법을 통해 정확도가 향상됩니다. 또한 GraphSAINT는 토폴로지 특성에 따라 중요한 이웃을 보존하는 경량 그래프 샘플러를 제안하여 모든 샘플링 프로세스에 내재된 정보 손실을 해결합니다. 이는 데이터 증강 또는 훈련 정규화의 한 형태로 볼 수도 있습니다.

레이어 샘플링 방법에서 흔히 발생하는 '이웃 폭발' 문제를 해결하여 효율성이 크게 향상됩니다. 하위 그래프에 대해 샘플링되지 않은 완전한 GNN 레이어를 구성함으로써, 네트워크 깊이에 관계없이 이웃의 수가 일정하게 유지되어 GNN 깊이에 대한 미니배치당 계산 비용이 지수적에서 선형으로 감소합니다. 이는 분산 환경에서의 통신 오버헤드도 크게 줄여줍니다.

유연성은 GraphSAINT의 핵심 원칙입니다. 미니배치 하위 그래프에서의 레이어 전파는 전체 그래프에서의 전파와 매우 유사하므로, 전체 그래프용으로 설계된 대부분의 GNN 아키텍처를 원활하게 훈련할 수 있습니다. 이는 일부 레이어 샘플링 알고리즘이 제한된 GNN 아키텍처만 지원하는 것과 대조됩니다. 확장성은 그래프 크기, 모델 크기 및 병렬 리소스 전반에 걸쳐 달성됩니다. 하위 그래프 크기가 그래프 크기에 비례하여 성장할 필요가 없어 대규모 그래프를 GPU 메모리에 맞출 수 있습니다. 훈련 비용은 GNN 너비와 깊이에 따라 선형적으로 확장되며, 그래프 샘플링은 병렬화가 매우 용이합니다.

이 리포지토리는 TensorFlow와 PyTorch 모두에서 Python 구현을 제공하며, 병렬 훈련 기법을 위한 C++ 구현도 포함합니다. GraphSAGE, GAT, JK-Net과 같은 다양한 GNN 아키텍처와 Node, Edge, RW, MRW를 포함한 여러 그래프 샘플러를 지원합니다. 이 프레임워크는 효율적이고 정확한 GNN 훈련이 필요한 대규모 그래프 데이터셋을 다루는 연구원 및 실무자를 위해 설계되었습니다.

GraphSAINT 하이라이트

• 대규모 그래프에서 딥 GNN을 위한 미니배치 훈련

• 그래프 샘플링 기반 귀납적 학습 방법

• 그래프 샘플링을 이용한 새로운 미니배치 훈련 접근 방식

• 정규화를 통한 그래프 샘플링으로 인한 편향 제거

• 중요한 이웃을 보존하는 경량 그래프 샘플러

• 효율성을 위한 '이웃 폭발' 문제 해결

• 그래프 크기, 모델 크기 및 병렬 리소스에 대한 확장성

• 다양한 GNN 아키텍처 지원 (GraphSAGE, GAT, JK-Net, GaAN, MixHop)

• 다양한 그래프 샘플러 지원 (Node, Edge, RW, MRW, Full graph)

• TensorFlow 및 PyTorch 구현 제공

• 병렬 훈련 기법을 위한 C++ 구현 포함

• 자체 데이터셋 및 샘플러에 대한 사용자 정의 용이

GraphSAINT 시작하기

1. 1

   모델 접근: GitHub 리포지토리를 클론합니다.

2. 2

   환경 설정: Python, TensorFlow/PyTorch, Cython, g++를 포함한 종속성을 설치합니다.

3. 3

   샘플러 컴파일: `python graphsaint/setup.py build_ext --inplace`를 실행합니다.

4. 4

   데이터셋 준비: 그래프 데이터를 `adj_full.npz`, `adj_train.npz`, `role.json`, `class_map.json`, `feats.npy` 형식으로 준비합니다.

5. 5

   훈련 구성: `./train_config/`의 YAML 구성 파일을 사용하여 하이퍼파라미터를 설정합니다.

6. 6

   훈련 실행: 데이터, 구성 및 GPU 사용에 대한 적절한 플래그와 함께 `python -m graphsaint.<tensorflow/pytorch>_version.train`을 사용하여 훈련 스크립트를 실행합니다.

GraphSAINT의 사용 사례

• 대규모 그래프 훈련
• 그래프에서의 귀납적 학습
• 그래프 표현 학습
• 노드 분류
• 링크 예측
• 그래프 수준 예측
• 사용자 정의 GNN 개발

GraphSAINT의 FAQ

• GraphSAINT는 무엇이며 어떤 문제를 해결하나요?

  GraphSAINT는 대규모 그래프에서 딥 그래프 신경망(GNN)을 훈련하기 위한 프레임워크입니다. 새로운 그래프 샘플링 기반 미니배치 방법을 도입하여 GNN 훈련의 정확도, 효율성 및 확장성 문제를 해결합니다.

• GraphSAINT의 그래프 샘플링은 레이어 샘플링과 어떻게 다른가요?

  GraphSAINT는 각 미니배치에 대해 작은 하위 그래프를 샘플링하고 그 위에 완전한 GNN을 구성하는 '그래프 샘플링'을 수행합니다. 기존 방법은 GNN 레이어 내에서 노드를 샘플링하는 '레이어 샘플링'을 수행하여 '이웃 폭발'을 유발할 수 있습니다.

• GraphSAINT 사용의 주요 이점은 무엇인가요?

  GraphSAINT는 정규화 및 이웃 보존을 통한 정확도 향상, GNN 깊이에 대한 계산 비용을 선형으로 줄여 효율성 향상, 대규모 그래프 및 모델에 대한 뛰어난 확장성을 제공합니다.

• GraphSAINT에서 지원하는 GNN 아키텍처는 무엇인가요?

  GraphSAINT는 GraphSAGE, GAT, JK-Net, GaAN, MixHop을 포함한 여러 GNN 아키텍처를 지원하며, TensorFlow 및 PyTorch 구현이 모두 제공됩니다.

• GraphSAINT에서 사용할 수 있는 그래프 샘플러 유형은 무엇인가요?

  이 프레임워크는 Node, Edge, Random Walk (RW), Multi-dimensional Random Walk (MRW) 및 기준선 비교를 위한 'Full graph' 옵션을 포함한 다양한 그래프 샘플러를 지원합니다.

• 자체 데이터셋을 GraphSAINT와 함께 사용할 수 있나요?

  예, GraphSAINT는 자체 데이터셋에 대한 사용자 정의를 허용합니다. `adj_full.npz`, `adj_train.npz`, `role.json`과 같은 특정 형식으로 그래프 데이터를 준비해야 합니다.

• 자체 그래프 샘플러 또는 GNN 레이어를 추가하려면 어떻게 해야 하나요?

  Python의 `GraphSampler` 또는 Cython의 `Sampler`를 서브클래싱하여 사용자 정의 샘플러를 구현할 수 있습니다. GNN 레이어의 경우 해당 TensorFlow 또는 PyTorch 구현 파일에 추가할 수 있습니다.

• GraphSAINT를 실행하기 위한 종속성은 무엇인가요?

  주요 종속성에는 Python (>= 3.6.8), TensorFlow (>=1.12.0) 또는 PyTorch (>= 1.1.0), Cython (>=0.29.2), NumPy (>=1.14.3), SciPy (>=1.1.0), scikit-learn (>=0.19.1), PyYAML (>=3.12), g++ (>=5.4.0) 및 OpenMP (>=4.0)가 포함됩니다.

• GraphSAINT는 귀납적 학습을 지원하나요?

  예, GraphSAINT는 귀납적 학습을 위해 설계되었으므로 훈련 및 추론 중에 보지 못한 노드와 그래프에 일반화할 수 있습니다.

• GraphSAINT의 소스 코드는 어디에서 찾을 수 있나요?

  GraphSAINT의 소스 코드는 GitHub(https://github.com/GraphSAINT/GraphSAINT)에서 확인할 수 있습니다.