پست InferSSD 基于 llama.cpp 改造，用标准 GGUF 文件，在 MacBook（Metal）和 NVIDIA GPU（CUDA）上从 SSD 流式加载 763B–816B 级别的 MoE 模型。

InferSSD 基于 llama.cpp 改造，用标准 GGUF 文件，在 MacBook（Metal）和 NVIDIA GPU（CUDA）上从 SSD 流式加载 763B–816B 级别的 MoE 模型。 https://github.com/wici-ai/inferssd 互联网充电｜优质资源 优质内容｜内幕消息