ВеткаПривет всем! Здесь многие выкладывают свои проекты, выложу и я свое поделие. Если кто не знает, то последнии версии прод…

Привет всем! Здесь многие выкладывают свои проекты, выложу и я свое поделие. Если кто не знает, то последнии версии продвинутых моделей от Antropic и OpenAI вполне так неплохо умеют в hardware. Поэтому некоторое время назад возникла идея - а не написать ли мне собственный NPU (штука, которая умеет работать с нейронками, если кто не знает). Так появился Cormorant. Раньше для подобного требовались годы работы и большая инженерная команда. У меня же на это ушло всего где-то месяца 3 чистого времени. Система работает на FPGA от AMD и позволяет производить инференс для различных моделей. Вместо того, чтобы загрузить одну единственную модель и на это успокоиться я решил сделать расширяемый фреймворк, который бы поддерживал обычные CNN, небольшые LLM, VLM, TTS модели. Все это может быть загружено на плату с энергопотреблением порядка 4-х ватт. Список поддерживаемых моделей, бенчмарки и исходный код проекта тут: https://github.com/phoenix367/cormorant