LTSF-Linear

Описание

LTSF-Linear предоставляет официальную реализацию PyTorch для научной статьи «Эффективны ли трансформеры для прогнозирования временных рядов?», представленной на AAAI-2023. Этот репозиторий посвящен семейству линейных моделей, разработанных для решения задач долгосрочного прогнозирования временных рядов (LTSF), демонстрируя превосходную производительность по сравнению с архитектурами на основе трансформеров.

Семейство LTSF-Linear включает три основные модели: Linear, NLinear и DLinear. Базовая модель Linear — это однослойная линейная модель, которая на удивление превосходит сложные трансформеры. NLinear повышает производительность за счет нормализации входных данных для обработки сдвигов распределений между обучающим и тестовым наборами. DLinear сочетает схему декомпозиции с линейными слоями, разделяя данные на трендовые и сезонные компоненты для более надежного прогнозирования.

Ключевые преимущества LTSF-Linear включают O(1) максимальную длину пути прохождения сигнала, что позволяет эффективно улавливать как краткосрочные, так и долгосрочные временные зависимости. Модели высокоэффективны, требуют меньше памяти, меньше параметров и обеспечивают более высокую скорость инференса по сравнению с трансформерами. Кроме того, модели LTSF-Linear интерпретируемы, позволяя визуализировать веса для получения представлений о прогнозах, и просты в использовании без обширной настройки гиперпараметров.

Репозиторий также служит эталоном для LTSF, поддерживая как унивариатное, так и мультивариативное прогнозирование. Он включает реализации нескольких известных трансформеров для прогнозирования (Transformer, Informer, Autoformer, Pyraformer, FEDformer) для сравнительного анализа. Предоставлены подробные скрипты для различных экспериментальных установок, включая долгосрочное прогнозирование, влияние размеров окна просмотра и стратегии встраивания.

Этот проект ценен для исследователей и практиков в области анализа временных рядов, машинного обучения и прогнозирования, которые ищут эффективные, интерпретируемые и высокопроизводительные решения для долгосрочных прогнозов. Включение эталона и сравнительных реализаций делает его комплексным ресурсом для оценки моделей прогнозирования.

Главное о LTSF-Linear

• Официальная реализация моделей LTSF-Linear на PyTorch

• Включает модели Linear, NLinear и DLinear

• Превосходит методы на основе трансформеров в долгосрочном прогнозировании временных рядов

• Поддерживает унивариатное и мультивариативное прогнозирование

• Высокая эффективность с меньшим потреблением памяти и более быстрым инференсом

• O(1) максимальная длина пути прохождения сигнала для улавливания зависимостей

• Визуализация весов для интерпретируемости

• Включает эталон для долгосрочного прогнозирования временных рядов

• Предоставляет реализации Transformer, Informer, Autoformer, Pyraformer, FEDformer

• Скрипты для различных экспериментальных установок (долгосрочное прогнозирование, исследование окна просмотра)

• Простота использования без обширной настройки гиперпараметров

Начало работы с LTSF-Linear

1. 1

   Настройка среды: Установите Conda, создайте виртуальное окружение и установите зависимости.

2. 2

   Подготовка данных: Загрузите эталонные наборы данных и поместите их в каталог './dataset'.

3. 3

   Обучение: Выполните предоставленные скрипты оболочки в каталоге './scripts' для конкретных моделей и наборов данных.

4. 4

   Выбор модели: Укажите желаемую модель (Linear, DLinear, NLinear) в скриптах обучения.

5. 5

   Экспериментирование: Используйте скрипты для долгосрочного прогнозирования, изучения окна просмотра и стратегий встраивания.

6. 6

   Визуализация: Запустите скрипты для построения графиков весов, чтобы интерпретировать поведение модели.

7. 7

   Интеграция: Адаптируйте скрипты обучения и инференса для пользовательских задач прогнозирования временных рядов.

Варианты использования LTSF-Linear

• Долгосрочное прогнозирование
• Унивариатное прогнозирование
• Мультивариативное прогнозирование
• Анализ трендов и сезонности
• Бенчмаркинг производительности моделей
• Интерпретируемый ИИ

Часто задаваемые вопросы LTSF-Linear

• Что такое LTSF-Linear?

  LTSF-Linear — это официальная реализация PyTorch линейных моделей, предназначенных для долгосрочного прогнозирования временных рядов, демонстрирующая превосходную производительность по сравнению с методами на основе трансформеров.

• Каковы основные модели в семействе LTSF-Linear?

  Семейство LTSF-Linear включает Linear (один линейный слой), NLinear (нормализованный линейный для сдвигов распределений) и DLinear (декомпозиция с линейными слоями).

• Как LTSF-Linear сравнивается с трансформерами для прогнозирования временных рядов?

  Модели LTSF-Linear превосходят методы на основе трансформеров в задачах долгосрочного прогнозирования временных рядов, предлагая лучшую точность, эффективность и интерпретируемость.

• Каковы преимущества использования LTSF-Linear?

  Преимущества включают высокую эффективность, меньшее потребление памяти, более быстрый инференс, способность улавливать долгосрочные зависимости и интерпретируемость посредством визуализации весов.

• Поддерживает ли LTSF-Linear как унивариатные, так и мультивариативные временные ряды?

  Да, LTSF-Linear поддерживает как унивариатное, так и мультивариативное долгосрочное прогнозирование временных рядов.

• Как начать работу с LTSF-Linear?

  Вам необходимо настроить среду Conda, подготовить наборы данных, а затем запустить предоставленные скрипты оболочки для обучения и экспериментирования.

• Могу ли я визуализировать веса модели с помощью LTSF-Linear?

  Да, репозиторий предоставляет скрипты для визуализации весов модели, которые могут дать представление о характеристиках данных и прогнозах модели.

• Какие наборы данных используются в эталоне LTSF-Linear?

  Эталон включает девять наборов данных, которые можно получить по ссылке Google Drive, указанной в репозитории Autoformer.

• Есть ли скрипты для сравнения LTSF-Linear с другими моделями?

  Да, репозиторий включает реализации и скрипты для нескольких трансформеров прогнозирования, таких как Transformer, Informer, Autoformer, Pyraformer и FEDformer, для сравнения.

• Легко ли настраивать LTSF-Linear?

  LTSF-Linear разработан для простоты использования и обычно достигает хороших результатов без обширной настройки гиперпараметров.