PyTorch Sequence Fusion — LSTM + Transformer Attention Toolkit

Создавайте и экспериментируйте с моделями последовательностей в конфигурируемой архитектуре PyTorch, которая сочетает в себе LSTM, самовнимание Transformer, обучаемую позиционную кодировку, гибкую агрегацию и выходной MLP.

Sequence Fusion — это набор исходников для Python-разработчиков и специалистов по машинному обучению, которые ищут понятную отправную точку для экспериментов с моделированием последовательностей и пользовательских ML-проектов.

ЧТО ВКЛЮЧЕНО

• Устанавливаемый пакет Python — повторно используемые компоненты модели с чистым путем импорта.

• Редактируемая конфигурация JSON — настройка размерностей, направления LSTM, dropout, голов внимания, агрегации и слоев классификатора.

• Пример быстрого старта — как инициализировать модель, подготовить входные тензоры, передать маски Boolean и выполнить прямой проход.

• Демонстрация синтетического обучения — изучение базового цикла обучения на сгенерированных тестовых данных.

• Smoke-тесты — проверка поддерживаемых режимов агрегации, маскинга, валидации размерностей и двунаправленной работы.

• Двуязычная документация — установка, конфигурация, примеры и устранение неполадок на английском и русском.

• Файл лицензии — условия использования при интеграции набора инструментов в личные или коммерческие проекты.

АРХИТЕКТУРА МОДЕЛИ

1. Обучаемая позиционная кодировка добавляет обучаемую информацию о позиции к последовательности.

2. LSTM обрабатывает последовательные признаки и поддерживает настраиваемую двунаправленность.

3. Кодировщик Transformer применяет многоголовое самовнимание и блок прямой передачи (feed-forward).

4. Гибкая агрегация поддерживает внимание, максимум, среднее или сочетание max + mean pooling.

5. Выходной слой MLP формирует задача-специфичные сырые логиты.

ВОЗМОЖНЫЕ СЛУЧАИ ИСПОЛЬЗОВАНИЯ

Адаптируйте архитектуру для экспериментов, связанных с:

• Классификация последовательностей

• Моделирование временных признаков

• Сигналы и сенсоры

• Пользовательские исследования и прототипирование в области ML

Подходящесть и предиктивное качество зависят от ваших данных, предобработки, процедуры обучения и оценки. Набор инструментов — отправная точка для разработки, а не валидированная продакшн-модель.

ТРЕБОВАНИЯ

• Python 3.10 или новее

• PyTorch 2.0 или новее

• CPU достаточен для приведённых примеров

• Поддерживаемый GPU необязателен для более крупных экспериментов

QUICK START

1. Скачайте и распакуйте ZIP-архив.

2. Откройте терминал в папке Sequence_Fusion_PyTorch_Toolkit.

3. Создайте и активируйте виртуальное окружение.

4. Установите зависимости