Від прототипу до продукту (4/4)

Fr3d працював: міг спілкуватися зі Snake Lab, пропонувати зміни конфігурації RNN, запускати експерименти, аналізувати результати й пробувати знову. Він довів ідею: локальна LLM може діяти як автономний дослідник, налаштовуючи систему навчання з підкріпленням протягом сотень симуляцій.

Але коли я закінчив із Fr3d, то вже точно знав, як не хочу будувати наступну версію.

Код розростався природним шляхом навколо експерименту. Промпти були вбудовані в застосунок. Обов’язки компонентів перекривалися. Журнали показували, що робить програма, але не завжди пояснювали, чому. Будь-яка зміна вимагала пробиратися крізь код, який накопичувався разом з ідеями.

Fr3d був успішним прототипом.

Ax3l став його повним переписуванням.

Спочатку панель приладів

У розробці Ax3l я виходив з архітектурних уроків, які дав Fr3d.

Система промптів стала модульною й керованою даними. Різні типи взаємодії з LLM отримали окремі класи промптів. Дані експериментів, побудова промптів, керування симуляціями та звітність стали окремими напрямами відповідальності.

А головне, я ставився до спостережуваності як до складової застосунку, а не до додатку, який можна прикрутити пізніше.

Ax3l отримав власний сервер звітності та нову систему журналювання подій із базою даних. Події були розділені на категорії й підкатегорії, а самі журнали стали інтерактивними.

Замість простого повідомлення на кшталт:

Симуляцію завершено.

Я міг натиснути на подію й переглянути саму симуляцію, її конфігурацію, промпт, який до неї призвів, міркування моделі та результати.

Журнали перестали бути потоком тексту.

Вони стали способом навігації між експериментами.

Це виявилося надзвичайно важливим. Ax3l мав виконати не один експеримент, за яким я спостерігатиму, а сотні без нагляду, протягом днів і згодом тижнів. Щоб зрозуміти, що робить ШІ, мені потрібно було мати змогу відтворити його рішення постфактум.

Потім мені захотілося побачити змійку

У якийсь момент рядків із числами стало недостатньо.

Snake Lab уже знав, коли гра досягала нового рекорду, тож я змінив його, щоб захоплювати стан ігрового поля в цей момент і зберігати його разом із результатами симуляції.

Потім надав доступ до цього знімка через API Snake Lab на ZeroMQ.

Тепер Ax3l міг отримати справжнє ігрове поле, що відповідало найкращій грі симуляції, та показати його у звіті.

Раптом результат 47 перестав бути просто числом 47.

Ось вона, змійка.

Можна було побачити шлях, який вона пройшла, наскільки виросла, де лежала їжа та в якому стані було поле, коли вона набрала цей результат.

Технічно це було невелике доповнення, але воно змінило характер проєкту. Експеримент тепер не просто створював записи в базі даних. Десь усередині жила маленька змійка зі штучним інтелектом, яка ставала дедалі вправнішою.

У цьому експерименті не постраждала жодна справжня змія, хоча багато віртуальних змій ухвалювали сумнівні життєві рішення!

Чи справді вона стає кращою? Графіки!!!

Сам по собі рекорд — жахливий спосіб відповісти на це запитання.

Навчання з підкріпленням містить багато випадковості. Конфігурації може просто пощастити. Один надзвичайний результат не обов’язково означає, що базова система покращилася.

Тому я додав гістограму розподілу результатів симуляцій.

Потім наклав на неї ще одну.

Гістограму найстарішої половини експерименту показано поверх гістограми всіх даних. Оскільки старіші результати є підмножиною повного набору, їхні стовпчики можуть бути лише такими самими або нижчими за відповідні стовпчики загального набору.

Якщо Ax3l нічого не досягає, нові результати просто накопичуватимуться приблизно в тому самому розподілі.

Але якщо експеримент працює, відбувається дещо значно цікавіше.

Розподіл починає поволі зсуватися праворуч.

Можна буквально побачити, як експеримент навчається знаходити кращі області простору конфігурацій.

Ця візуалізація стала для мене набагато кориснішою, ніж спостереження за одним числом рекорду, яке час від часу зростає.

Від рекорду 38 до 53

Початкова робоча конфігурація «Змійки» могла набрати приблизно 38 очок.

Із попередніх експериментів я знав, що RNN здатна на більше. Питання полягало в тому, чи зможе LLM, маючи правильні інструменти, історію та експериментальну основу, систематично знайти кращі конфігурації.

На момент написання статті Ax3l провів понад 500 симуляцій.

Поточний рекорд — 53.

Але що важливіше, розподіл результатів змінився.

Ax3l не просто навмання кидає дротики, доки один із них не влучить у 53. Протягом експерименту вся сукупність результатів посунулася в бік конфігурацій із кращою продуктивністю.

І експеримент триває.

Живі дані експерименту: Snake Web

Залишалася остання проблема.

Сервер звітності Ax3l був чудовим, коли я сидів у власній мережі, але мені хотілося показувати сам експеримент широкій публіці.

Я не збирався відкривати виробничу базу даних або сервер застосунку для всього інтернету лише заради кількох графіків.

Тож я створив ще один маленький проєкт: Snake Web.

Кожні пів години Snake Web звертається до бази даних експерименту й генерує CSV-файли з інформацією, потрібною статичному сайту на GitHub Pages. Ці файли публікуються, і відкритий сайт оновлюється відповідно до поточного стану експерименту.

Там є рекорди.

Є гістограми.

Є результати окремих симуляцій.

Видно навіть зміну початкових значень генератора випадкових чисел. Коли Ax3l переходить до нового seed і продуктивність раптом падає, графік чесно летить униз, а потім знову починає підніматися.

Це не відполірований звіт, який демонструє лише успіхи.

Це справжній експеримент, з усіма його шрамами.

Спостерігаючи за експериментом

І тепер, гадаю, проєкт завершений.

Не тому, що я не зміг би додати ще сотню можливостей. Завжди можна.

А тому, що система, яку я від початку хотів створити, тепер існує.

Є окрема лабораторія навчання з підкріпленням, яка проводить контрольовані експерименти зі «Змійкою» та зберігає результати.

Є автономний агент на базі LLM, який аналізує ці результати, міркує над ними, обирає нові конфігурації та надсилає наступні експерименти.

Є шар спостережуваності, за допомогою якого можна з’ясувати, що він робив і чому.

Є відкритий конвеєр публікації прогресу без розкриття внутрішньої інфраструктури.

А десь посеред усієї цієї архітектури, баз даних, повідомлень ZeroMQ, промптів, тензорів PyTorch, CSV-файлів і графіків живе змійка, яка колись набирала 38 очок.

Тепер вона набирає 53.

Гарний момент, щоб зупинитися.

Посилання

• Проєкт Ax3l
• Сайт живого експерименту Ax3l
• Snake Lab Server

Серія статей

• Частина 1/4 — локальна LLM пише хайку
• Частина 2/4 — еволюція Snake Lab
• Частина 3/4 — основи промпт-інжинірингу
• Частина 4/4 — ця стаття

• 2026 19
• 2025 16
• 2024 2