Replymessage unavailable
Ciao Alessandro, l'idea di avere l'AI locale l'accarezzo da tempo ma oggi è qualcosa di utopico. Per far girare semplici LLM occorrono risorse hw veramente notevoli e senza la GPU ne servono ancora di più. In ogni caso ad oggi anche spendendo veramente tanti soldini (anche 3/4K) si avrebbero risultati in locale si, ma non migliori anche della semplice chat-gpt. Il rischio è che con la corsa che c'è all'AI l'investimento di oggi domani non varrebbe assolutamente niente. Quindi bisogna essere pratici: se vogliamo un bot da prima o forse quinta elementare è un discorso ma sempre a patto di avere almeno 8GB , cpu decenti e magari gpu. Aggiungo visto che parliamo di Linux . Ho un intel core ultra 5 125h con Proxmox. Malgrado abbia NPU ad oggi è veramente un casino fare pass-through o fare in modo che le vm accedano alla npu fondamentale per l'AI. Questo perchè lato linux ancora ci devon lavorare bene. L'unico futuro che immagino già da un paio di anni è quello di avere a casa un'AI "figlia" custode dei fatti nostri (privacy) capace di risolvere problemi semplici che si faccia da "interfaccia" verso un'AI "madre" per l'elaborazione e ricerca ed aggregazione di altri dati. Andando sul pratico non più di un paio di mesi fa installai una VM allocando qualcosa come 12GB e 12vcpu senza passthrough quel "mostro" a stento dopo 30 secondi rispondeva a semplicissime domande. Abbandonata l'idea, almeno per ora.