ПостБольшие языковые модели разобрали ПО ВИНТИКАМ — исследовательница OpenAI Алиса Лю выложила бесплатный конспект об устрой…

Большие языковые модели разобрали ПО ВИНТИКАМ — исследовательница OpenAI Алиса Лю выложила бесплатный конспект об устройстве LLM, который помог ей залететь на работу в корпу 😮 Внутри — от отдельных нейронов и основ обучения до устройства трансформеров, ускорения генерации и работы на нескольких видеокартах. Разобраны KV-кэш, FlashAttention, обучение на человеческих предпочтениях и расчёты того, сколько памяти съедает модель. Всё с формулами, пояснениями и примерами кода на PyTorch. Материал на английском, математики много — пригодится тем, кто готов разбираться в нейросетях глубже интерфейса чат-бота 🍺