AINetSD Group

Любопытный момент касаемо конкретно qat и особенностей именно q4_0, она медленее чем q4 k_m Т.е gemma-4-26B-A4B-it q 4_k_m у меня 11-12 токенов в секунду, а qat-q4_0 ~8 токенов в секунду