Debian Brasil

E estão vendendo ilusão de que comprimindo/quantizando tanto o modelo quanto o KV Cache absurdamente pode rodar até em celular, porém já perde bastante acurácia quando quantiza de INT8 para INT4. Nesse aí de 1Bit então esquece não acerta nada https://youtu.be/mCWUtEbmssM?si=6voFQo6DQs5cOhdT