FLOOD Interview UA

Цікаво. В такому випадку жодне зменшення костів не веде до прибутку?)

Ні, воно веде до опитимізації костів на OPEX

10 річна дитина набагато гірше зробить чим LLM, якби ви їй не розказували Вона в шоці буде від ваших історій 😀 Контекст зараз проактивно агенти оновлюють, єдина проблема це вузьке вікно того контексту. Самонавчання як такого нема, бо це дуже повільна штука й потребує гарних датасетів. Не дуже розумію, чому ви так впевнені, що архітектуру LLM неможливо допілити до чогось путнього. Згадайте розвиток, туповатий третій чат гпт, і проактивний агент codex/claude code з chain of thoughts. Останні роки два моделі не сильно розвинулися, це правда. Але якість роботи сильно покращилася. Чому? Бо розвивається архітектура навколо, harnesses стали набагато більше прогресними та самостійними. Вони зараз можуть одну задачу колупати годинами чи днями. І знаходити рішення (не факт що оптимальні).

Яке може привести до прибутку якщо їх не витрачати?

Максимум це збільшення EBITDA - тобто збільшення ефективності бізнеса на затрачений доллар

Супер!

Збільшення прибутку це виключно збільшення та/або розширення кліентської бази й обсягів продажу

Супер!)

Мені треба інструмент що може зробити те що я йому розкажу, а не те що він захоче. І той що буде мати змогу навчатись. Архітектура LLM не має змогу довчити частинку моделі, як наприклад в нашому мозку, і в цьому моя основна проблема з LLM. + consistency, я хочу бути впевненим що інструмент який я використовую детерміністичний, і дає для одного паттерну одне й те саме рішення Проблема контексту, це костиль, який намагається закрити навчання. Якби модель могла вчитись, контекст не був би потрібен

PEFT?

Це знову ж таки той самий костиль, так як для великих проектів/моделей це буде не дуже ефективний та надійний метод. І архітектурно ми все ще не можем апдейтити знання в моделі, тільки якусь невиличку надбудівлю типу контекст 2.0

Чому це не буде ефективно для великих проектів?

Багато контексту, PEFT це невелика частина параметрів виділенна під файн тюн, які мають овверайднути кор параметри + додати нову інфу

Контекст потрібен навіть вам як людині. Коли ви відкриваєте проект ви загружаєте контекст з вашої памʼяті про проект та технології. Але ви вмієте вчитись. В процесі навчання ви поповнюєте памʼять даними, які будуть загружені в контекст при необхідності. Чому моделі не потрібен контекст тоді? Далі, ви кажете, що хочете детерміністичний інструмент. Але при цьому оперуєте своїм мозком який апріорі є недерменістичним. Людський мозок це складна система яка має величезну кількість випадкових процесів всередині як на квантовому рівні так і на банально молекулярно-хімічному рівні. То чи справді ця технологія ЛЛМ настільки далека від мозку? Наче є відчуття, що не вистачає тільки модулів поверх, якихось елементів які будуть емулювати активну свідомість та пасивну підсвідомість

Це у ваших руках яку кількість параметрів необхідно міняти. Так само на яких задачах тюнити. Я маю приклад внутрішніх моделей затюнених і донавчених на монорепі (і не тільки) в Гуглі. Працює це чудово і «проект» дуже великий 😁

Дяка богу ні 😅 Менеджером 😁

Воно так, але до нормального adoption ще далеко До ентузіастів тільки ось почало доходити, що вайбкодинг не працює. А багато людей взагалі за скобками. Тому й ефект важко поміряти, бо зараз LLM більшість компаній не розуміють. Йде тупа сила навʼязування. У самурая нема мети, є тільки шлях ) Але це все в майбутньому прийде в порядок і еффект буде помітнішим

Є багато моделей з відкритими вагами з якими можна більше експериментувати. Я сильно сумніваюсь що прям фронтіер моделі необхідні в більшості великих софтвер проектів.

З того що я зараз бачу серед наших кліентів Багато хто інтегрує AI збільшуючи свій OPEX Але здебільшого ці капабіліті вони дають безкоштовно Бо мало хто з юзерів поки що готовий за це платити

Все на перспективу, головне підсадити на голку, та бути в тренді. Ось така в них логіка. Очевидно що більшість з таких разумістів просто втратить багато грошей на дурню. В кращому випадку. Чомусь проста ідея, що LLM треба використовувати там де це ВЖЕ ЗАРАЗ приносить користь, для більшості недосяжна. Пхають всюди, де треба і де не треба. А не треба багато де))