harness engineering

зараз взагалі хтось оффлайн працює?

😌

грести всіх в одну когорту - імхо таке собі рішення

я не всіх, в плані що кожного учасника всіх айті чатів. але я був в деяких айті чатах, з метою отримання інфи щодо першої роботи в айті розробницею, і всюди мав негатив. не від кожного звичайно, але загальна атмосфера була токсичною

Та про Світлану ніхто жодного разу нічого поганого не казав

Ось з чим, імхо, найбільша проблема. Я зробив інджект в плануванні, щоб не вгадував, а якщо що питав мене для прийняття рішень ЗІ: як раз читаю If Claude Code really did make you ten times faster, then, by Brooks’ napkin math, nine tenths of what you were doing was the labor of representation, not the conceptual work

Нащо ж вона в айті шукає роботу на якій не зможе працювати через психологічне несприйняття?

далі читай, там пояснив логіку

Ладно це не по темі. На твоє питання - ми використовуємо для прода але весь код передивляємось, зазвичай є що правити але бувають дуже зрозумілі задачі які з першого разу приймаються. У нас все тестами покривається, особливо тести треба дивлятися, але вони допомогають в подальшому агенту краще розуміти контекст. Якщо тести прошли та код пройшов рівью то на прод.

тобто: промпт - генерація - передивились руками. якщо не підходить то починаєм знову?

Ні не знову, корегуєш що не так промптом, іноді самому легше дописати деталі. Допомогає переписати шматок та в промті сказати щоб притримувався цих правок, тоді агент все виправляє у відповідності

дякую що поділився, Максиме. На негатив до Світлани я вже не зважаю, тому все ок. Вже звик до цього.

Ну всі ж знають вже що то вигадана персона )

no comments..

Якого ?

я напишу

Вчора заради цікавості трохи поганяв локальний Qwen3.8-27B на RTX 5090 32 GB і вирішив перевірити не стільки «наскільки він розумний», скільки наскільки йому взагалі можна довіряти як research/agent-моделі. Підключив йому web-search + fetch сторінок і дав задачу підібрати/порівняти локальні LLM/VLM під 5090: agentic flows, coding, vision тощо. Потім зберіг увесь його trace з reasoning, tool calls, знайденими джерелами та фінальними висновками й окремо віддав ChatGPT на fact-check. Загалом Qwen виступив несподівано добре. Він нормально будував multi-step search: якщо пошук нічого не знаходив, змінював запити, пробував прямі URL, доходив до офіційних HuggingFace README/config.json і arXiv, а не просто переказував SEO-статті. Наприклад, по Qwen3.6-35B-A3B сам витягнув офіційні параметри: 35B total / 3B active, 256 experts, 8 routed + 1 shared, 262K native context, і реальні benchmark’и: SWE-bench Verified 73.4, Terminal-Bench 51.5, Claw-Eval 68.7. Ще знайшов і сам виправив свою помилку, коли спочатку назвав модель text-only — офіційний config показав vision encoder. По InternVL3.5 взагалі вийшло цікаво: Qwen поліз прямо в config.json і з’ясував, що InternVL3.5-38B = Qwen3-32B + приблизно 5.5–6B vision encoder, а в 14B і 30B-A3B vision-частина всього близько 0.3B. Причому він не повірив лише назві intern_vit_6b, а подивився hidden size/layers і зрозумів, що в 30B-A3B це насправді маленький ViT. Це вже цілком нормальна інженерна перевірка джерела, а не просто autocomplete. Але слабке місце теж дуже добре проявилося. Факти з первинних джерел він витягує добре, а от інженерні висновки з них інколи починає додумувати. Наприклад, видавав оцінки на кшталт 75–90 tok/s, 64–128K context буде комфортно, приблизно у 2 рази швидше, хоча конкретних benchmark’ів саме під цей runtime не було. Один раз узагалі написав, що Qwen3.8 використовує звичайне quadratic attention і 32K+ context, хоча раніше сам же знайшов офіційний config: там hybrid linear/full attention і 262K native cont