Локальна LLM пише хайку (1/4)

Це перша з чотирьох статей серії. У цій частині я завантажую, встановлюю та налаштовую програмне забезпечення, щоб запропонувати локальній великій мовній моделі написати хайку…

Нещодавно я придбав дві однакові робочі станції HP Z440 із відеокартами M4000. Трохи дослідивши тему, дізнався, що на такому обладнанні можна запускати невелику локальну LLM. До цього я взаємодіяв із мовними моделями лише як користувач, через браузер або редактор VS Code.

Тож я завантажив модель Qwen3.5 4B із Hugging Face і почав розбиратися, як запустити її за допомогою llama.cpp.

Підготовка моделі

Щоб усе запрацювало, знадобилося кілька складових.

Я завантажив модель Qwen із Hugging Face та вихідний код llama.cpp. Потім створив проміжну модель і зрештою перетворив її на формат GGUF, який використовує llama.cpp. Процес був технічним, але зрозумілим. Найдовше тривало завантаження 18 ГБ даних.

Після цього я запустив llama_server, відкрив його в браузері й…

Ось воно.

Вебсторінка з віконцем чату.

Я створив власного чатбота.

Це було водночас надзвичайно круто й не надто цікаво.

Адже в мене вже був ChatGPT, який знає та вміє НАБАГАТО більше.

Розмова з моделлю

Звісно, насамперед я почав ставити їй запитання.

Перевірив загальні знання. Вона знала історичних постатей (наприклад, Рудольфа Штайнера), географію, природничі науки. Програмування…

Відповідь була: знала досить багато.

Уже це вражало. Вона не зверталася до Google і не викликала якусь гігантську хмарну ШІ-службу. Модель і всі її знання зберігалися просто на моєму комп’ютері.

Потім я спитав її про навчальний проєкт Патріка Лебера, де ШІ вчиться грати у «Змійку».

Вона зрозуміла, про що я.

Ось тут я зацікавився по-справжньому.

Проєкт Патріка Лебера — добре знайома мені територія. Мій власний Snake Lab виріс з експериментів із навчанням ШІ гри «Змійка». І раптом я перестав ставити моделі запитання з розряду вікторини. Тепер міг обговорювати з нею тему, у якій сам розбирався.

І вона відповідала цілком розумно.

Оце було цікаво.

І що далі?

Проблема полягала в тому, що в мене досі був лише чатбот.

Я міг ставити питання, він міг відповідати. Це вражало, але цікавило мене зовсім інше.

Я хотів використовувати LLM із програмного коду.

Тому написав примітивний цикл розмови.

Жодного грандіозного плану тоді не було. Я просто хотів мати програму, яка може надіслати запит моделі, отримати відповідь і щось із нею зробити.

Тут виникло важливе інженерне запитання:

Що саме я маю попросити її зробити?

Схоже, моєю відповіддю було:

Писати хайку про числа.

Хайку про випадкові числа

Програма генерувала випадкове число та надсилала його LLM із проханням написати хайку про це число.

LLM створювала вірш.

Програма записувала результат у файл журналу.

A new age starts today
Apollo touches the moon's face
New world begins to shine

1970

Потім генерувала ще одне число.

І ще одне.

І ще одне.

Невдовзі на моєму комп’ютері працювала локальна велика мовна модель, яка розмірковувала про випадкові цілі числа й складала про них вірші.

Практичної користі від цього майже не було.

Але все працювало.

Найважливішим було не хайку. Найважливішим був цикл:

1. Моя програма створювала вхідні дані.
2. Формувала запит.
3. Надсилала запит до LLM.
4. LLM генерувала відповідь.
5. Програма записувала її.
6. Процес повторювався.

Уперше я не просто розмовляв зі штучним інтелектом.

Я помістив ШІ всередину програми.

Висновок

Мій перший експеримент із локальною LLM не приніс абсолютно нічого практично корисного.

Модель писала хайку про випадкові числа.

Але цей маленький дослід відповів на питання, яке насправді мене цікавило.

Я міг запускати LLM локально. Міг спілкуватися з нею через власне програмне забезпечення. Передавати інформацію, отримувати відповіді, записувати їх і повторювати все без постійної присутності перед вікном чату.

Тоді я ще не мав Ax3l.

Навіть сама ідея не була остаточно сформована.

У мене був цикл.

І файл журналу, повний хайку.

Посилання

• Частина 2/4 цієї серії

• 2026 19
• 2025 16
• 2024 2