ChillHouse Chat

Круто! поздравляю! Ура!

Скажите, а можно использовать OpenCode с вашими локальными моделями как-то? Простите, если глупый вопрос

в квене 3.8 есть мтп, там не нужно обучать драфтер, а все что скрывается под "квантизация и все остальное" обучать не требуется -> нужно просто аккуратно реализовать

Дальше не хочу убеждать

просто если мы учим мелкую модельку которая будет помогать запускать большую — тут я понимаю трудоемкость и кое-какую защиту технологии, а в просто оптимизации не понимаю

А вы только dense делаете? Qwen3.8-Flash-Next вроде в planned-soon нет, да и вообще на первый взгляд MoE нет

Есть мое в плане. Чуть позже будет да.

Я не пытаюсь наехать, просто мне реально интересно как под это сейчас поднимать деньги/убеждать инвесторов, потому что я отлично понимаю сложность (сейчас), и отлично понимаю зачем нужна скорость, но убежден, что очередная астра через несколько месяцев будет ваншотать тут большую часть сложности, если у нее будет доступ к документации от производителя процессора

А инновации в движке и нет. Кхм. Мы же свои чекпоинты кладем а не родные от лабы

вот так понятнее, спасибо

Но справедливости ради ваншотнуть движок не выйдет. А запустить одну модель может и выйдет. Но без знания будет тяжеловато. Там же важно понимать какие фичи тебе нужны. А не просто скорость

Ваншотнуть не выйдет т.к. в процессе нужно много бенчей. Тупо долго. Но я оцениваю подбор параметров и запуск в каком-то смысле не менее сложной задачей. Так как поле параметров огромное, проверка комбинаций занимает кучу времени. Даже спустя недели после релизы моделей комьюнити иногда внезапно находит какие-то более эффективные комбинации. с "просто запустить" если пофиг на производительность при этом сейчас справится, думаю, luna max 🙂

Короче сложность не в этом. Это у нас и так делается сетками.

дай какую-нибудь задачку, которая по железу вытянет на M4 pro 48gb, которую ты считаешь очень сложной. Мне просто из принципа интересно ее поделать 🙂

Так возьми зайди в наш публичный репозиторий. И все. Поддержи там чего-то. Проблема в том что сделать то ты сделаешь, а когда настанет время сверху дописать что-то тогда все и пойдет лесом. Но это долгий разговор. Мы тратим на токены а месяц 50к баксов. Поверь чего мы только не делали и делаем.

~ » brew install mirai ==> Downloading Homebrew API data ✔︎ JSON API packages.arm64_tahoe.jws.json Downloaded 15.5MB/ 15.5MB ==> Would install 1 cask: mirai ==> Fetching downloads for: mirai ✔︎ Cask mirai (0.4.7) Downloaded 79.3MB/ 79.3MB ==> Installing Cask mirai ==> Moving App 'Mirai.app' to '/Applications/Mirai.app' ==> Linking Binary 'mirai' to '/opt/homebrew/bin/mirai' 🍺 mirai was successfully installed! ~ » mirai --model trymirai/Qwen3.5-9B-L Error: Backend error: Failed to create directory И неясно, куда бежать, на всё говорит Failed to create directory

А аппку ставил руками да этого? Если да то снеси и попробуй заново

Не ставил. Удалил, поставил снова, картина та же Додебажил до прав на ~/.config, поправил, теперь запустилось

Так творить может только живой продакт.

это огонь! как раз искал что-то для своего M5 Max 128gb, спасибо

Скоро зарелизим спек дек для 3.8 и muse, будет огонек