Die Entwicklung von Snake Lab (2/4)

Im letzten Beitrag habe ich eine lokale LLM auf einer alten HP-Z440-Workstation eingerichtet und eine einfache Gesprächsschleife geschrieben. Ich erzeugte Zufallszahlen, übergab sie der LLM und bat sie, Haikus darüber zu verfassen.

Snake-Lab-Logo

Es funktionierte.

In meinem Keller stand ein Computer und schrieb Gedichte über Zufallszahlen.

Die nächste Frage lag auf der Hand: Was kann ich diese Maschine noch machen lassen?

Beim Experimentieren stellte ich fest, dass das Modell Patrick Loebers KI-Snake-Experiment kannte. Das weckte meine Aufmerksamkeit, denn ich kannte dieses Projekt sehr gut und hatte den Code schon lange untersucht und verändert.

Und da hatte ich eine Idee.

Was wäre, wenn ich der LLM statt Zufallszahlen die Ergebnisse einer Snake-Simulation übergeben würde?

Ich könnte ihr die Konfiguration samt Ergebnissen zeigen, sie darüber nachdenken lassen und um eine bessere Konfiguration bitten. Dann würde ich diese im Simulator ausführen, die Ergebnisse sammeln, an die LLM zurückgeben und den Ablauf wiederholen.

Anders gesagt:

Könnte ich eine LLM eine andere KI optimieren lassen?

Aus dieser Idee wurde später Fr3d.

Aber es gab ein Problem.


Das alte Projekt AI Snake Lab

Ich hatte Patrick Loebers Tutorial umgesetzt und danach weiterentwickelt. Ich portierte es auf Textual und ersetzte die alten Matplotlib-Diagramme durch integrierte Textual-Plot-Darstellungen. Die Anwendung wurde in Client- und Serverprozesse aufgeteilt, verbunden durch ZeroMQ. Simulationsergebnisse landeten in einer Datenbank.

Der Textual-Client konnte Simulationen konfigurieren, die Konfiguration an den Server senden, einen Lauf starten und ihn überwachen.

Das war schon weit mehr als ein Snake-Spiel.

Aber es blieb eine Anwendung, deren Architektur davon ausging, dass ein Mensch vor dem Client saß und Experimente durchführte.

Fr3d änderte diese Annahme.


Das Labor bauen

Ich trennte den bestehenden Snake-Code ab und gründete ein neues unabhängiges Projekt: Snake Lab Server.

Die Grundidee war einfach: Dem Server sollte es egal sein, wer das Experiment durchführt.

Ein Client sendet eine JSON-Konfiguration über ZeroMQ. Der Server validiert sie, stellt das Experiment in eine Warteschlange, führt die Simulation aus, sammelt Messwerte und speichert die Ergebnisse in MariaDB.

Der Server selbst läuft als systemd-Dienst.

Damit kann eine LLM ihn verwenden. Oder ein Python-Skript. Oder eine Terminalanwendung. Oder etwas, an das ich noch gar nicht gedacht habe.

Der Simulator muss das nicht wissen.

Ich portierte auch den Textual-Client. Schließlich wollte ich weiterhin selbst Experimente starten und vor allem beobachten können.

Es ist viel befriedigender, die Schlange über das Feld kriechen zu sehen, als Zahlen in einer Logdatei vorbeiziehen zu lassen.

Aber jetzt war die Textual-Oberfläche nur noch ein Client unter mehreren.

Das war ein wichtiger Unterschied.


Ein Experiment ist mehr als ein Rekord

Außerdem sollte Snake Lab Server streng festlegen, was ein Experiment ausmacht.

Die Konfiguration wird geprüft, bevor eine Simulation angenommen wird. Die verwendete Konfiguration und die Ergebnisse werden gespeichert. Während der Simulation werden Messwerte gesammelt, auch für einzelne Spiele und Episoden.

Denn ich wollte nicht nur fragen:

Hat diese Schlange mehr Punkte erreicht?

Ich wollte fragen können:

Was genau haben wir ausgeführt und was ist dabei passiert?

Wenn eine automatisierte Anlage irgendwann Hunderte Experimente durchführt, muss sich die Frage auch lange nach deren Abschluss beantworten lassen.

Sonst hätte ich kein Labor.

Sondern einen Spielautomaten.


Bereit für den Wissenschaftler

Das war also Snake Lab Server.

Fr3d gab es noch nicht.

Noch fehlte ein autonomer LLM-Wissenschaftler, der Ergebnisse betrachtete, über Konfigurationen nachdachte und den nächsten Versuch auswählte. Diesen Teil musste ich erst bauen.

Doch nun gab es einen Arbeitsplatz für ihn.

Angefangen hatte ich mit einer KI, die Snake spielen lernte. Daraus wurde eine Client-Server-Anwendung für Experimente. Jetzt war sie erneut gewachsen, zu einem Dienst, der ausdrücklich dafür geschaffen wurde, dass andere Programme kontrollierte Experimente mit der Snake-KI durchführen können.

Das Labor war fertig.

Jetzt musste ich den Wissenschaftler bauen.


2026

German Translation

AI translation is pretty amazing these days. AI tooling is pretty great too. I host my websites on GitHub Pages and I have a ChatGPT subscription. ChatGPT co...

Git Automation

Some of you may have read my Git Battles post, where I talked about how I developed and a documented a Git workflow.

My blog in Simplified Chinese

I recently built MyCount to track website visitors to my projects. I found that that over 40% of my visitors were from China, and that 35% of those used a Ch...

MyCount: Website Analytics & Marketing

I have a future project in mind which will require a Dynamic DNS service. I created BMDynIP for that purpose. After building the service, I wanted a simple a...

Animating Ax3l Playing Snake

I’ve been tinkering with various incarnations of Patrick Loeber’s Train an AI to Play Snake tutorial for a while now. It’s my relaxing goto project that’s fu...

Dynamic DNS Service

This project started as a cron job and a flatfile and -honestly- that would work perfectly well for a small home setup. Say, two or three machines. I’m curre...

Local GeoIP Database

The Bear & Moose GeoIP Project provides an easy-to-use GeoIP service for your applications and for interactive lookups.

An LLM to organize my Movies

Our first TV was a small black-and-white thing where, on rare occasions, we’d watch Animal Kingdom. Then Beta and VHS came along, and you could watch them at...

From Prototype to Product (4/4)

Fr3d worked: It could talk to the Snake Lab, propose changes to the RNN configuration, run experiments, look at the results, and try again. It proved the ide...

Prompt Engineering 101 (3/4)

The Snake Lab had become a proper server, with a ZeroMQ API, configuration validation, a database, and a way to run experiments independently of the client. ...

The Evolution of Snake Lab (2/4)

In my last post, I setup a locally hosted LLM running on an old HP Z440 and wrote a crude little conversation loop. I generated random numbers, fed them to t...

Local LLM Writes Haikus (1/4)

This is part one of a four part blog series. In this post, I download, install and setup some software to prompt a local LLM to write haikus…

From Seed to Signal: AI FX

In the first post, AI FX was still mostly a seed: a repo, a PyPI package, and an idea about using automated FOREX tooling as a learning lab. Since then, the ...

Simulating the Power Grid

A potential client pointed me to Empowering the Energy Transition Through Fast and Flexible Network Simulation. The article describes an Open Source project,...

Delphi in a Day

I have a prospective client who runs a small group of technology businesses, at least one of which integrates with clients using the Delphi programming lan...

A Small Experiment: AI FX

I’ve spent some time around trading systemsL At Merrill Lynch, I supported the Order Audit Trail System (OATS), a compliance system required by NASDAQ. Its p...

Back to top ↑

2025

My Art on Etsy

I setup an Etsy Storefront to sell high quality, museum grade prints of some of my artwork.

Python systemctl Wrapper

I’ve been working on Db4E, my Monero deployment, operations and analytics platform. It uses Linux systemd to spin up manage Monero, P2Pool and XMRig instance...

AI Snake Lab

AI Snake Lab is an interactive reinforcement learning sandbox for experimenting with AI agents in a classic Snake Game environment — featuring a live Textual...

The Power of Pictures

You know that saying, “A picture is worth a thousand words.”? In programming, I’d argue it can be worth a thousand lines of code…

Caring About Constants

This post is about using constants in your code. Why it matters, what the benefits are and how you can do it well. I’m sad to say, I learned this the hard wa...

Why I Built Db4E

When I first started experimenting with Monero mining and self-hosted infrastructure, I did what everyone else does: I downloaded the Monero software, the P2...

Releasing with Git

Let me be honest: Git has punched me in the face more times than I can count. Every time I think I’ve got a smooth release flow down, Git yells, “Not so fast...

Documentation Matters

I was burned by opaque documentation: I’ve been building a modern terminal UI in Python using the excellent Textual framework. It’s sharp, fast, and honestly...

Textual Replaces ApexCharts

The original reporting system was a set of static dashboards built using GitHub Pages, JavaScript, and ApexCharts. It pulled data from my mining setup — via ...

Pivot to Textual

I’ve been deep in the trenches with my Db4E project — pulling together Monero mining infrastructure, MongoDB integration, and a bunch of orchestration magic....

Released Db4E SystemD

I recently published a small Python module to PyPI and GitHub: db4e-systemd, a lightweight wrapper around systemctl that lets you control services (start, st...

NIKU Farms

I received my order from NIKU Farms, YAY! It’s a meat delivery that my sister, Corinna Ghaznavi, gifted me this Christmas. Every two months I receive this am...

The Main Website

As part of my goal to be more visible in the world, I setup this domain i.e. https://osoyalce.com. I use it to publish information about the projects I’m wor...

Reviving the Blog

It’s been a while since I started and then abandoned this blog. My last post was in June of 2024!!

Changing the Blog Site’s Layout

I decided that I didn’t like the way that the main blog page looks. I am using GitHub to host the website and am using a fork of the jekyll/minima theme. My ...

Back to top ↑

2024

Aquaponics Update #1

It’s in the construction phase. I need to complete the water circulation process. I bought a fiber glass kit for this (and also to fix my kitchen sink!).

What I’m working on

The XMR Mining Farm complete with this eye-popping chart The Bear and Moose Knowledge Base My resume MyZODB - A Place to Store Everything

Back to top ↑