webpage
нажмите — покажем
нажмите — покажем
Говорят, кими 3 (прям который 3т недавно выложили) можно локально через цпу даже с 32/64 гб озу запустить через новый движок, на маке про 64гб выдавал треть токена/сек
А кими 48b на 10 токенов в сек у них заработал, то есть мелкие до 100b тоже можно ускорить
https://open.substack.com/pub/marcobambini/p/the-waste-inference-engine?utm_source=share&utm_medium=android&r=8ti2b7
Сам не щупал, все лишние озу обменял на золото, кто пощупает отпишитесь