Чому я створив Db4E

Коли я вперше почав експериментувати з майнінгом Monero та власною серверною інфраструктурою, то зробив те саме, що й усі: завантажив програми Monero, P2Pool та XMRig. Трохи повозившись із файлами конфігурації, написавши власні сценарії запуску й створивши описи системних служб, я нарешті зміг запустити майнінг.

Але невдовзі зрозумів, що кожна служба має власний формат конфігурації, особливості налаштування та вимоги до керування її життєвим циклом.


Немає аналітики

Я спостерігав за журналами й гаманцем Monero. Невдовзі отримав першу виплату. Час минав, виплати надходили й далі, але було складно побачити тенденції чи хоча б приблизно оцінити майбутній дохід. Чи виправдала себе та зміна, яку я вніс у XMRig?

Мене майже відразу вразила відсутність аналітики. Найбільше, що я міг зробити, — експортувати транзакції з гаманця Monero, завантажити їх в електронну таблицю та побудувати графік. Це було незручно, ситуативно й, що найгірше, вимагало щоразу повторювати ручну роботу.

Будь-який програміст одразу впізнає тут чудову нагоду для автоматизації.


Джерела даних

Гаманець Monero — складна програма, створена з акцентом на безпеку. Я не бачив способу програмно отримувати свої транзакції, але міг бачити транзакції — і багато іншої цікавої інформації — у журналі P2Pool. Я зрозумів, що це багате джерело даних. Замість звертатися до гаманця, можна було аналізувати журнал P2Pool та оцінювати роботу моєї невеликої майнінгової ферми з часом.


Постійне сховище даних

І я взявся до роботи. Так почався Db4E.

Я створив постійне сховище даних: почав із SQLite, перейшов на ZODB і зрештою зупинився на MongoDB. Написав програму для спостереження за журналом P2Pool, яка відстежувала події транзакцій. Заодно збирав дані Share Found, Block Found і Hashrate для мого майнера, мінісайдчейну, у якому я працював, і основного ланцюга. Просто тому, що міг.


Аналітика — етап I

Потім я написав панель моніторингу на Urwid, яка щохвилини зверталася до Mongo. Це було непросто: Urwid — справжній звір. У 2012 році він був передовим інструментом, але в 2024 працювати з ним було боляче. Утім, я не здавався.

Після кількох місяців експериментів я отримав базову панель. Графіків ще не було, але я міг бачити останні виплати XMR і знайдені шари. Уже щось.


Операційний моніторинг

Я повернувся до коду й додав дані про хешрейт майнерів, сайдчейну та основного ланцюга. Для показників майнерів зберігав часові позначки, щоб визначати, коли майнер вимикається. Усе почало виглядати непогано, але система залишалася крихкою й важкою для розширення. Засобів керування не було — лише оновлення щохвилини. Але одного погляду вистачало, щоб зрозуміти: усе гаразд.


Аналітика — етап II

У мене досі не було графіків. Я й далі вручну експортував транзакції гаманця, хоча вже мав сценарій, який перетворював експорт на CSV, придатний для побудови графіків в електронній таблиці. Усе одно незручно.

Я розглядав Tk/Tcl, Gtk та Qt, але не мав досвіду з жодним із них. І, скажімо прямо, кожен варіант вимагав би складного навчання, повноцінного графічного середовища й купи залежностей лише для запуску. Для моїх потреб це було надмірно.

І тут я подумав: «А як щодо вебу?»

Браузер став би моїм графічним інтерфейсом. GitHub надає безкоштовний хостинг через GitHub Pages, тож платформа вже була. Я дослідив варіанти й обрав JavaScript + ApexCharts. Написав код, який витягував дані з Mongo, створював CSV та Markdown і надсилав результати до GitHub Pages через git.

Нарешті я мав графіки. Міг спостерігати за щоденними й накопиченими доходами з часом.


Органічний попит

Я відкинувся в кріслі й насолоджувався результатом. Життя було прекрасне. Я побудував конвеєр:

P2Pool → Mongo → CSV → GitHub Pages → ApexCharts + Markdown.

Складна конструкція, що поєднувала чимало технологій, але вона працювала.

Одного дня, переглядаючи r/MoneroMining на Reddit, я між іншим зробив кілька знімків екрана й опублікував їх. Інтерес виявився приголомшливим.

Допис зібрав понад сотню позитивних голосів. Зараз у нього 27 000 переглядів. Коментарі посипалися один за одним:

«Що це за графічний інтерфейс? Гарно виглядає». «Класно. Можливо, теж спробую». «Як називається цей інтерфейс?» «Дуже круто».

Цей момент змінив усе.


Інструмент розгортання

Цілком логічно: кожен, хто займається майнінгом, стикався з тими самими проблемами.

Але Db4E не був упакований для встановлення. Це був аматорський проєкт. Ви могли клонувати мій репозиторій GitHub, але все одно довелося б окремо налаштовувати демон блокчейну Monero, P2Pool, XMRig, а тепер і Db4E, щоб отримати те саме, що мав я. Завдання не з простих.

Якщо я хотів поділитися тим, що створив, мені потрібен був інструмент розгортання.

І я повернувся до клавіатури.

Я відмовився від Urwid: працювати з ним було надто важко. Натомість перейшов на Textual. Textual — фреймворк швидкої розробки застосунків на Python для створення термінального інтерфейсу користувача.

Тепер у мене чиста архітектура та повністю функціональний процес першого встановлення. Найважче вже позаду.


Що далі

Я перейшов на серйозніший рівень: роблю формальні випуски, дотримуюся суворої стратегії гілок і комітів Git та пишу набір тестів.

Сьогодні працюватиму над розгортанням демона Monero на віддаленій машині. Складну частину вже зроблено, тому сподіваюся закінчити до вечора. Далі — локальне розгортання Monero, P2Pool (локально та віддалено) і XMRig. Це повний стек розгортання.

Чим більше я освоював Textual, тим певніше розумів, що треба відмовитися від GitHub Pages + ApexCharts для історичних графіків. Цей підхід надто публічний: він розкриває вашу майнінгову активність, майже як трансляція даних про Bitcoin-гаманець. Натомість я створю красиві графіки прямо в терміналі за допомогою plotext.

Так, усе в терміналі.

Перш ніж судити, подивіться на сайт Textual, особливо на Dolphie, а також на приклад plotext, який будує графіки погоди.

Я вже згадував про контроль справності? Чому б і ні!

Додам перевірки стану, щоб можна було бачити, коли зупиняється monerod, P2Pool або майнер. Сповіщення на кшталт:

«Хешрейт вашого майнера впав на 20% за останній тиждень»

— теж у планах.


Чому це важливо?

Тому що для роботи з власною інфраструктурою не повинні бути потрібні науковий ступінь із внутрішньої будови Linux, десяток нашвидкуруч написаних сценаріїв і три відкриті термінали. Db4E дозволяє впевнено запускати систему й керувати нею буквально кількома натисканнями.


Посилання

👀 Переглянути на GitHub 📦 Встановити з PyPI 📬 Є запитання або відгуки? Створіть задачу або напишіть мені. Буду радий поспілкуватися.

2026

Git Automation

Some of you may have read my Git Battles post, where I talked about how I developed and a documented a Git workflow.

My blog in Simplified Chinese

I recently built MyCount to track website visitors to my projects. I found that that over 40% of my visitors were from China, and that 35% of those used a Ch...

MyCount: Website Analytics & Marketing

I have a future project in mind which will require a Dynamic DNS service. I created BMDynIP for that purpose. After building the service, I wanted a simple a...

Animating Ax3l Playing Snake

I’ve been tinkering with various incarnations of Patrick Loeber’s Train an AI to Play Snake tutorial for a while now. It’s my relaxing goto project that’s fu...

Dynamic DNS Service

This project started as a cron job and a flatfile and -honestly- that would work perfectly well for a small home setup. Say, two or three machines. I’m curre...

Local GeoIP Database

The Bear & Moose GeoIP Project provides an easy-to-use GeoIP service for your applications and for interactive lookups.

An LLM to organize my Movies

Our first TV was a small black-and-white thing where, on rare occasions, we’d watch Animal Kingdom. Then Beta and VHS came along, and you could watch them at...

From Prototype to Product (4/4)

Fr3d worked: It could talk to the Snake Lab, propose changes to the RNN configuration, run experiments, look at the results, and try again. It proved the ide...

Prompt Engineering 101 (3/4)

The Snake Lab had become a proper server, with a ZeroMQ API, configuration validation, a database, and a way to run experiments independently of the client. ...

The Evolution of Snake Lab (2/4)

In my last post, I setup a locally hosted LLM running on an old HP Z440 and wrote a crude little conversation loop. I generated random numbers, fed them to t...

Local LLM Writes Haikus (1/4)

This is part one of a four part blog series. In this post, I download, install and setup some software to prompt a local LLM to write haikus…

From Seed to Signal: AI FX

In the first post, AI FX was still mostly a seed: a repo, a PyPI package, and an idea about using automated FOREX tooling as a learning lab. Since then, the ...

Simulating the Power Grid

A potential client pointed me to Empowering the Energy Transition Through Fast and Flexible Network Simulation. The article describes an Open Source project,...

Delphi in a Day

I have a prospective client who runs a small group of technology businesses, at least one of which integrates with clients using the Delphi programming lan...

A Small Experiment: AI FX

I’ve spent some time around trading systemsL At Merrill Lynch, I supported the Order Audit Trail System (OATS), a compliance system required by NASDAQ. Its p...

Back to top ↑

2025

My Art on Etsy

I setup an Etsy Storefront to sell high quality, museum grade prints of some of my artwork.

Python systemctl Wrapper

I’ve been working on Db4E, my Monero deployment, operations and analytics platform. It uses Linux systemd to spin up manage Monero, P2Pool and XMRig instance...

AI Snake Lab

AI Snake Lab is an interactive reinforcement learning sandbox for experimenting with AI agents in a classic Snake Game environment — featuring a live Textual...

The Power of Pictures

You know that saying, “A picture is worth a thousand words.”? In programming, I’d argue it can be worth a thousand lines of code…

Caring About Constants

This post is about using constants in your code. Why it matters, what the benefits are and how you can do it well. I’m sad to say, I learned this the hard wa...

Why I Built Db4E

When I first started experimenting with Monero mining and self-hosted infrastructure, I did what everyone else does: I downloaded the Monero software, the P2...

Releasing with Git

Let me be honest: Git has punched me in the face more times than I can count. Every time I think I’ve got a smooth release flow down, Git yells, “Not so fast...

Documentation Matters

I was burned by opaque documentation: I’ve been building a modern terminal UI in Python using the excellent Textual framework. It’s sharp, fast, and honestly...

Textual Replaces ApexCharts

The original reporting system was a set of static dashboards built using GitHub Pages, JavaScript, and ApexCharts. It pulled data from my mining setup — via ...

Pivot to Textual

I’ve been deep in the trenches with my Db4E project — pulling together Monero mining infrastructure, MongoDB integration, and a bunch of orchestration magic....

Released Db4E SystemD

I recently published a small Python module to PyPI and GitHub: db4e-systemd, a lightweight wrapper around systemctl that lets you control services (start, st...

NIKU Farms

I received my order from NIKU Farms, YAY! It’s a meat delivery that my sister, Corinna Ghaznavi, gifted me this Christmas. Every two months I receive this am...

The Main Website

As part of my goal to be more visible in the world, I setup this domain i.e. https://osoyalce.com. I use it to publish information about the projects I’m wor...

Reviving the Blog

It’s been a while since I started and then abandoned this blog. My last post was in June of 2024!!

Changing the Blog Site’s Layout

I decided that I didn’t like the way that the main blog page looks. I am using GitHub to host the website and am using a fork of the jekyll/minima theme. My ...

Back to top ↑

2024

Aquaponics Update #1

It’s in the construction phase. I need to complete the water circulation process. I bought a fiber glass kit for this (and also to fix my kitchen sink!).

What I’m working on

The XMR Mining Farm complete with this eye-popping chart The Bear and Moose Knowledge Base My resume MyZODB - A Place to Store Everything

Back to top ↑