AI Snake Lab — лабораторія ШІ для «Змійки»

AI Snake Lab — інтерактивне середовище для експериментів із навчанням із підкріпленням, у якому ШІ-агенти вчаться грати в класичну «Змійку». Воно має живий термінальний інтерфейс на Textual (TUI), гнучку базу даних пам’яті повторного відтворення досвіду та модульні визначення моделей.

🚀 Можливості

• 🐍 Класичне середовище «Змійки» з настроюваними розмірами поля та правилами
• 🧠 Інтерфейс ШІ-агента, який підтримує кілька архітектур (лінійна модель, RNN, CNN)
• 🎮 Симулятор на основі Textual із візуалізацією та метриками в реальному часі
• 💾 Пам’ять повторного відтворення на SQLite для зберігання кадрів, епізодів та запусків
• 🧩 Облік метаданих експериментів: моделі, гіперпараметри, версії відображення стану
• 📊 Вбудовані графіки хешрейту, результатів гри та прогресу навчання

🧰 Технології

🔄 Динамічне навчання

Прапорець Dynamic Training («Динамічне навчання») поступово збільшує обсяг тривалого навчання, яке виконується наприкінці кожної епохи. Із зростанням загальної кількості епох код AIAgent:train_long_memory() виконується наприкінці кожної епохи дедалі більше разів, але не більше ніж MAX_ADAPTIVE_TRAINING_LOOPS. Зараз граничне значення — 16, як показано в розрахунку нижче:

    if self.dynamic_training():
        loops = max(
            1, min(self.epoch() // 250, DAIAgent.MAX_DYNAMIC_TRAINING_LOOPS)
        )
    else:
        loops = 1

    while loops > 0:
        loops -= 1
        self.train_long_memory()

🧩 Epsilon N

Клас Epsilon N, натхненний статтею Річарда Саттона The Bitter Lesson, може безпосередньо замінити традиційний алгоритм Epsilon Greedy. Він створює окремий екземпляр звичайного Epsilon Greedy для кожного рахунку. Наприклад, коли ШІ набрав 7 очок, використовується екземпляр за адресою self._epsilons[7].

На знімку нижче показано графік найкращих результатів за традиційного алгоритму Epsilon Greedy з єдиним екземпляром і ввімкненим динамічним навчанням. Такий алгоритм швидко збігається, але прогрес нерівномірний. Різкі стрибки на лінії рекордів означають, що дослідження варіантів зменшується раніше, ніж ШІ встигає повністю опанувати кожний етап гри.

На наступному знімку показано найкращі результати з вимкненим динамічним навчанням та алгоритмом Epsilon N. Окреме значення epsilon для кожного рівня рахунку дозволяє підтримувати дослідження локально. Внаслідок цього крива рекордів виходить плавнішою та ближчою до лінійної: ШІ закріплює навички на кожному етапі, перш ніж переходити до наступного.

Як видно вище, традиційний Epsilon Greedy забезпечує повільніше вдосконалення: крива рекордів досить рано вирівнюється. Натомість Epsilon N підтримує сталий прогрес, поки ШІ окремо опановує кожен рівень рахунку.

💻 Встановлення

Проєкт опублікований на PyPI. Ви можете встановити AI Snake Lab через pip.

Створення віртуального середовища

python3 -m venv snake_venv
. snake_venv/bin/activate

Встановлення AI Snake Lab

Після активації середовища venv:

pip install ai-snake-lab

▶️ Запуск AI Snake Lab

У межах активованого середовища venv виконайте:

ai-snake-lab

⚠️ Обмеження

Оскільки симуляція працює всередині Textual TUI, зміна розмірів термінала й перемальовування графіків можуть трохи впливати на її швидкість. Тому найкращі результати можуть з’являтися під дещо іншими номерами ігор у різних запусках. Це очікувана поведінка, а не помилка в логіці ШІ.

Якщо вам потрібні повністю відтворювані симуляції, напишіть мені: я можу реалізувати безінтерфейсний режим, у якому симуляція працюватиме в окремому процесі поза Textual.

🙏 Подяки

Початковий код цього проєкту заснований на відеоуроці Патріка Лебера Python + PyTorch + Pygame Reinforcement Learning — Train an AI to Play Snake. Його оригінальний код доступний на GitHub. Дякую, Патріку!!! Ти неймовірний!!!! Мій проєкт переносить рішення з Pygame та Matplotlib в інше середовище.

Дякую також Віллу Макґуґану та команді Textual. Textual — неймовірний фреймворк. Оце я розумію швидка розробка застосунків! Перенесення з Pygame + Matplotlib на Textual зайняло менш ніж день.

🌟 Натхнення

Створити агента штучного інтелекту, дати йому свободу експериментувати й спостерігати, як він розвивається, — дивовижний досвід. Трохи нагадує виховання дітей, тільки в набагато, набагато, набагато меншому масштабі. Принаймні сьогодні! Дивитися, як ШІ грає у «Змійку», напрочуд захопливо. Я постійно придумую, як можна його вдосконалити. Саме Патріку Леберу я завдячую цим цікавим способом досліджувати ШІ.

Значну частину кар’єри я працював системним адміністратором Linux. Командний рядок — моя стихія. Я ніколи не працював професійним програмістом, а тим паче фронтенд-розробником. Textual як фреймворк для створення багатих термінальних інтерфейсів мені ідеально підходить. Коли я побачив Dolphie, то був приголомшений: вбудовані графіки метрик MySQL у реальному часі! Неймовірно!

Річард С. Саттон також мене надихає. Його ідеї щодо навчання з підкріпленням поступово здійснюють революцію. Я поділяю його критику сучасного ШІ, зосередженого на створенні окремої системи для окремого завдання, після чого роботу вважають завершеною. Його бачення агента, здатного до безперервного нелінійного навчання, залишається однією з ключових меж на шляху до штучного загального інтелекту.

📚 Технічна документація

• Сайт проєкту
• Проєкт на GitHub
• Структура файлової системи
• Документація схеми бази даних
• Організація та іменування констант
• Стандарт Git-комітів
• Стратегія гілок Git
• Журнал змін

🔗 Посилання

• Відеоурок Патріка Лебера на YouTube
• Textual Вілла Макґуґана — фреймворк швидкої розробки застосунків
• Dolphie: єдина панель аналітики MySQL/MariaDB та ProxySQL у реальному часі
• Домашня сторінка Річарда Саттона
• Цитати Річарда Саттона та інші матеріали
• Корисні графіки для діагностики нейронної мережі — Джордж Ві Джозе
• Докладно про криві навчання в машинному навчанні — Мостафа Ібрагім

• 2026 19
• 2025 16
• 2024 2