Warum ich Db4E entwickelt habe

Als ich anfing, mit Monero-Mining und selbst betriebener Infrastruktur zu experimentieren, tat ich das Übliche: Ich lud Monero, P2Pool und XMRig herunter. Nach Experimenten mit Konfigurationsdateien, eigenen Startskripten und Definitionen für Systemdienste konnte ich endlich minen.

Schnell merkte ich aber, dass jeder Dienst sein eigenes Konfigurationsformat, eigene Besonderheiten bei der Einrichtung und eigene Anforderungen an die Verwaltung seines Lebenszyklus hatte.


Keine Analysen

Ich beobachtete die Logs und meine Monero-Wallet. Schon bald kam die erste Auszahlung. Später folgten weitere, aber Trends oder künftige Einnahmen waren kaum einzuschätzen. Hatte meine letzte Änderung an XMRig etwas gebracht?

Besonders fiel mir das Fehlen von Analysen auf. Bestenfalls exportierte ich Wallet-Transaktionen, importierte sie in eine Tabelle und zeichnete ein Diagramm. Mühsam, improvisiert und vor allem immer wieder dieselbe Handarbeit.

Für Programmierer ist das eine offensichtliche Gelegenheit zur Automatisierung.


Datenquellen

Die Monero-Wallet ist komplexe, auf Sicherheit ausgelegte Software. Einen programmatischen Zugriff auf meine Transaktionen fand ich nicht. Aber im P2Pool-Log konnte ich die Transaktionen und viele weitere interessante Angaben sehen. Statt die Wallet abzufragen, könnte ich also die P2Pool-Protokolle auswerten, um die Leistung meiner Miningfarm über die Zeit zu analysieren.


Dauerhafte Speicherung

Ich legte los. So begann Db4E.

Ich baute einen persistenten Datenspeicher. Erst SQLite, dann ZODB und schließlich MongoDB. Ein Log-Watcher überwachte das P2Pool-Protokoll auf Transaktionen. Nebenbei sammelte ich auch Share Found, Block Found und Hashrate für meinen Miner, die Mini-Sidechain und die Haupt-Blockchain. Einfach weil es möglich war.


Analyse, Phase I

Danach schrieb ich ein Dashboard mit Urwid, das MongoDB minütlich abfragte. Das war nicht einfach: Urwid ist ein Monster. Im Jahr 2012 war es modern, aber 2024 war die Entwicklung damit mühsam. Trotzdem blieb ich dran.

Nach einigen Monaten hatte ich ein einfaches Dashboard. Noch keine Diagramme, aber aktuelle XMR-Auszahlungen und gefundene Shares waren sichtbar. Ein Anfang.


Betriebsüberwachung

Ich ergänzte Hashrate-Daten der Miner, der Sidechain und der Haupt-Blockchain. Ich versah die Daten mit Zeitstempeln, um Ausfälle zu erkennen. Langsam sah das ordentlich aus, blieb aber zerbrechlich und schwer erweiterbar. Es gab keine Bedienelemente, nur minütliche Aktualisierungen. Immerhin erkannte ich auf einen Blick: Alles in Ordnung.


Analyse, Phase II

Diagramme fehlten weiterhin. Transaktionen exportierte ich noch immer manuell, konnte sie aber inzwischen mit einem Skript in ein tabellenfreundliches CSV-Format umwandeln. Immer noch lästig.

Ich überlegte, Tk/Tcl, Gtk oder Qt einzusetzen. Mit keinem davon hatte ich Erfahrung. Alle Optionen bedeuteten eine steile Lernkurve, eine grafische Desktopumgebung und viele Voraussetzungen. Das schien mir übertrieben.

Dann dachte ich: „Warum nicht das Web?“

Der Browser wäre die Oberfläche, und GitHub Pages würde sie kostenlos hosten. Nach etwas Recherche entschied ich mich für JavaScript und ApexCharts. Ich schrieb Code, der Daten aus Mongo extrahierte, CSV- und Markdown-Dateien generierte und sie per Git zu GitHub Pages pushte.

Endlich hatte ich Diagramme und konnte tägliche und kumulierte Einnahmen verfolgen.


Nachfrage entsteht von selbst

Ich lehnte mich zurück und genoss den Erfolg. Ich hatte eine Pipeline gebaut:

P2Pool → Mongo → CSV → GitHub Pages → ApexCharts + Markdown.

Kompliziert, viele Technologien, aber es funktionierte.

Eines Tages veröffentlichte ich beim Stöbern in r/MoneroMining auf Reddit einfach ein paar Screenshots. Das Interesse war überwältigend.

Der Beitrag erhielt über hundert Upvotes und hat inzwischen 27.000 Aufrufe. Kommentare kamen herein:

„Was ist das für eine Oberfläche? Sieht gut aus.“ „Sieht prima aus. Vielleicht probiere ich sie aus.“ „Wie heißt diese GUI?“ „Ziemlich cool.“

Dieser Moment veränderte alles.


Bereitstellungswerkzeug

Eigentlich logisch: Jeder Miner kennt diese Probleme.

Doch Db4E war nicht für die Installation verpackt. Es war ein Hobbyprojekt. Wer mein GitHub-Repository klonte, musste trotzdem den Monero-Daemon, P2Pool, XMRig und Db4E selbst einrichten. Keine Kleinigkeit.

Um meine Arbeit teilen zu können, brauchte ich ein Bereitstellungswerkzeug.

Also setzte ich mich wieder an die Tastatur.

Ich verabschiedete mich von Urwid und wechselte zu Textual, einem Python-Framework für Rapid Application Development mit Terminal User Interface.

Jetzt habe ich eine saubere Architektur und einen vollständig funktionierenden Ablauf für die Erstinstallation. Das Schwierigste ist geschafft.


Wie geht es weiter?

Ich arbeite inzwischen mit formalen Releases, strengen Git-Branch- und Commit-Regeln und einer Testsuite.

Heute möchte ich die Bereitstellung des Monero-Daemons auf einem entfernten Rechner fertigstellen. Danach kommen lokales Monero, P2Pool auf lokalen und entfernten Rechnern sowie XMRig. Damit wäre der gesamte Bereitstellungsstack abgedeckt.

Bei der Arbeit mit Textual beschloss ich, GitHub Pages und ApexCharts für historische Trends wieder aufzugeben. Zu öffentlich: Es verrät Miningaktivitäten, fast als würde man seine Bitcoin-Wallet übertragen. Stattdessen werde ich die Diagramme direkt im Terminal mit plotext darstellen.

Ja, alles im Terminal.

Bevor ihr urteilt, schaut euch Textual, besonders Dolphie, und dieses plotext-Beispiel mit Wetterdiagrammen an.

Und warum nicht gleich den Betriebszustand überwachen? Ich plane Zustandsprüfungen für monerod, P2Pool und Miner, mit Warnmeldungen wie:

„Die Hashrate deines Miners ist in der letzten Woche um 20 % gesunken.“


Warum ist das wichtig?

Für den Betrieb eigener Infrastruktur sollte man keinen Doktortitel in Linux-Interna brauchen, kein Dutzend improvisierter Skripte und keine drei offenen Terminals. Db4E ermöglicht einen zuverlässigen Betrieb und die Steuerung mit wenigen Klicks.


Links

👀 GitHub-Repository ansehen 📦 Von PyPI installieren 📬 Fragen oder Feedback? Erstellt ein Issue oder schreibt mir.

2026

German Translation

AI translation is pretty amazing these days. AI tooling is pretty great too. I host my websites on GitHub Pages and I have a ChatGPT subscription. ChatGPT co...

Git Automation

Some of you may have read my Git Battles post, where I talked about how I developed and a documented a Git workflow.

My blog in Simplified Chinese

I recently built MyCount to track website visitors to my projects. I found that that over 40% of my visitors were from China, and that 35% of those used a Ch...

MyCount: Website Analytics & Marketing

I have a future project in mind which will require a Dynamic DNS service. I created BMDynIP for that purpose. After building the service, I wanted a simple a...

Animating Ax3l Playing Snake

I’ve been tinkering with various incarnations of Patrick Loeber’s Train an AI to Play Snake tutorial for a while now. It’s my relaxing goto project that’s fu...

Dynamic DNS Service

This project started as a cron job and a flatfile and -honestly- that would work perfectly well for a small home setup. Say, two or three machines. I’m curre...

Local GeoIP Database

The Bear & Moose GeoIP Project provides an easy-to-use GeoIP service for your applications and for interactive lookups.

An LLM to organize my Movies

Our first TV was a small black-and-white thing where, on rare occasions, we’d watch Animal Kingdom. Then Beta and VHS came along, and you could watch them at...

From Prototype to Product (4/4)

Fr3d worked: It could talk to the Snake Lab, propose changes to the RNN configuration, run experiments, look at the results, and try again. It proved the ide...

Prompt Engineering 101 (3/4)

The Snake Lab had become a proper server, with a ZeroMQ API, configuration validation, a database, and a way to run experiments independently of the client. ...

The Evolution of Snake Lab (2/4)

In my last post, I setup a locally hosted LLM running on an old HP Z440 and wrote a crude little conversation loop. I generated random numbers, fed them to t...

Local LLM Writes Haikus (1/4)

This is part one of a four part blog series. In this post, I download, install and setup some software to prompt a local LLM to write haikus…

From Seed to Signal: AI FX

In the first post, AI FX was still mostly a seed: a repo, a PyPI package, and an idea about using automated FOREX tooling as a learning lab. Since then, the ...

Simulating the Power Grid

A potential client pointed me to Empowering the Energy Transition Through Fast and Flexible Network Simulation. The article describes an Open Source project,...

Delphi in a Day

I have a prospective client who runs a small group of technology businesses, at least one of which integrates with clients using the Delphi programming lan...

A Small Experiment: AI FX

I’ve spent some time around trading systemsL At Merrill Lynch, I supported the Order Audit Trail System (OATS), a compliance system required by NASDAQ. Its p...

Back to top ↑

2025

My Art on Etsy

I setup an Etsy Storefront to sell high quality, museum grade prints of some of my artwork.

Python systemctl Wrapper

I’ve been working on Db4E, my Monero deployment, operations and analytics platform. It uses Linux systemd to spin up manage Monero, P2Pool and XMRig instance...

AI Snake Lab

AI Snake Lab is an interactive reinforcement learning sandbox for experimenting with AI agents in a classic Snake Game environment — featuring a live Textual...

The Power of Pictures

You know that saying, “A picture is worth a thousand words.”? In programming, I’d argue it can be worth a thousand lines of code…

Caring About Constants

This post is about using constants in your code. Why it matters, what the benefits are and how you can do it well. I’m sad to say, I learned this the hard wa...

Why I Built Db4E

When I first started experimenting with Monero mining and self-hosted infrastructure, I did what everyone else does: I downloaded the Monero software, the P2...

Releasing with Git

Let me be honest: Git has punched me in the face more times than I can count. Every time I think I’ve got a smooth release flow down, Git yells, “Not so fast...

Documentation Matters

I was burned by opaque documentation: I’ve been building a modern terminal UI in Python using the excellent Textual framework. It’s sharp, fast, and honestly...

Textual Replaces ApexCharts

The original reporting system was a set of static dashboards built using GitHub Pages, JavaScript, and ApexCharts. It pulled data from my mining setup — via ...

Pivot to Textual

I’ve been deep in the trenches with my Db4E project — pulling together Monero mining infrastructure, MongoDB integration, and a bunch of orchestration magic....

Released Db4E SystemD

I recently published a small Python module to PyPI and GitHub: db4e-systemd, a lightweight wrapper around systemctl that lets you control services (start, st...

NIKU Farms

I received my order from NIKU Farms, YAY! It’s a meat delivery that my sister, Corinna Ghaznavi, gifted me this Christmas. Every two months I receive this am...

The Main Website

As part of my goal to be more visible in the world, I setup this domain i.e. https://osoyalce.com. I use it to publish information about the projects I’m wor...

Reviving the Blog

It’s been a while since I started and then abandoned this blog. My last post was in June of 2024!!

Changing the Blog Site’s Layout

I decided that I didn’t like the way that the main blog page looks. I am using GitHub to host the website and am using a fork of the jekyll/minima theme. My ...

Back to top ↑

2024

Aquaponics Update #1

It’s in the construction phase. I need to complete the water circulation process. I bought a fiber glass kit for this (and also to fix my kitchen sink!).

What I’m working on

The XMR Mining Farm complete with this eye-popping chart The Bear and Moose Knowledge Base My resume MyZODB - A Place to Store Everything

Back to top ↑