xVibeNot - Chat

Не юзаю его. Слышал про pydantic c llm. Но тоже не юзал.

и объяснение полей прям в дескрипшн поля класть можно, без доп промптов

Получается не дублирую. Просто в промте явно приписываю)

эт прям бум мастхев база с времен 4o 4.1 сейчас модели поумнее и их лучше учат, они в целом более менее стабильные, но все равно не 100% гарантия на выходе

Понял про SO - абстракция - наврное полезное. Надо потетсить

Не верю я в такую гарантию - если ллм стримит тебе генерацию. То она не может гарантировать что json будет валидным

берет другой по вероятности токен, пока не попадет

Поулчается - что я закопался в своем мирке и решаю проблемы - которые опенсорс рещает коллективно. Я там велосипедов написал изрядно для восттановления сломанных json ответов))

да, похоже на это

То есть это json lora работает поверх ллм)

там еще особенности что каждый провайдер поразному поддерживает это и поразному следует структурам описанным вот тут думаю норм, все не читал, но про то что у провайдеров поразному https://habr.com/ru/articles/1033478/ а вот хайповавший подход от ру комунити, как через so заставить llm думать в нужном направлении, без промптов https://abdullin.com/schema-guided-reasoning/

в проде активно юзаю как на работе так и у себя в проектах