ESC Hardware - PCs e Overclock

Explicação muito boa sobre os tipos de dados, quantização e o impacto no tamanho do arquivo e precisão na inferência. Só rodam em INT4 por pura limitação de VRAM das placas de vídeo que precisa colocar umas gambiarras para não perder muita acurácia Um modelo em INT8 não cabe nem numa 5090 ou ARC B70 PRO de 32GB mas na Intel tem como usar o CPU a RAM e a GPU juntos. https://youtu.be/anhLHBi1pP4?si=qy4qgSfzfg09fso3