Пост Коли мова заходить про використання генеративного ШІ в проєкті на роботі (особливо у великих компаніях), серед основних …

Коли мова заходить про використання генеративного ШІ в проєкті на роботі (особливо у великих компаніях), серед основних перепонів є завжди такі: 1. Лячно надсилати дані на чужі сервери всіляких Anthropic чи OpenAI (особливо якщо проєкт для замовника). 2. Згенерований код може бути підозріло схожий на чийсь ще, бо всі ВММ навчалися переважно на чужих відкритих сирцях. З другим нічого не можу порадити. А стосовно першого… Річ у тім, що ШІ допомагає не лише код писати, але й аналізувати: знайти, що, де і як використовується, побудувати ментальну модель, пояснити звʼязки тощо. Тому доки ваша компанія розбирається, як хостити нормальну модель у власній хмарі, вам на допомогу приходять локальні моделі. Жодне спілкування в чаті з надто загальними описами проблеми та копіпастою повідомлень про помилки не буде настільки ж ефективним, як використання агентної системи, яка може досліджувати код самостійно. Для прикладу: я днями намагався зібрати Xmakeʼом 💻-проєкт під WASM — нічого не виходило. Декілька годин спілкування з Perplexity коту під хвіст. Наступного дня дав копайлоту 💻 подивитися: він повивчав CMake-файли з самого кьюта, подивився на те лайно, що написане в Xmake, і врешті згенерував мені повністю робоче правило трохи менше ніж за годину. Як повторити те саме з локальною моделлю? Ну, спершу треба… «запустити» модель. Я використовую LM Studio, бо є нормальний GUI та за потреби вміє працювати й у headless-моді. Одна з найтоповіших моделей нині — Gemma 4 від ґуґла. Я вибрав Gemma 4 26B A4B з 8-бітним квантуванням. Тут правило просте: беріть те, що влізає на ваше залізо. E2B та E4B — для слабших пристроїв, A4B з так званим Mixture-of-Experts для макбука, 31B без додаткових приписок — не бачу сенсу. Якщо у вас macOS, то постає ще вибір між MLX та GGUF. За моїми особистими відчуттями MLX завантажується в памʼять значно швидше. Але пишуть, що швидкість генерації починає відчутно падати з ростом контексту. А нам якраз доведеться працювати з великим контекстом, тому, певно, краще одразу брати GGUF. Отже, стягнули модель, завантажили в памʼять. Можна прямо в LM Studio поспілкуватися в чатику, та сенсу в цьому мало. Натомість беремо OpenCode і додаємо цю модель туди (~/.config/opencode/opencode.jsonc): { "$schema": "https://opencode.ai/config.json", "provider": { "lmstudio": { "npm": "@ai-sdk/openai-compatible", "name": "LM Studio (local)", "options": { "baseURL": "http://127.0.0.1:1234/v1" }, "models": { "google/gemma-4-26b-a4b": { "name": "Gemma 4 26B A4B" } } } } } Далі запускаємо: opencode -m google/gemma-4-26b-a4b Ну, або просто opencode і вже всередині вибрати через /model. І вуаля — тепер у вас особистий локальний майже клод код 💻. Так, це вочевидь не Opus і, мабуть, навіть не Haiku, але для багатьох задач і цього достатньо! Пробуйте.