Het verhaal
DeepInfer draait op Nvidia (CUDA 13) en Huawei Ascend (CANN 9.2) en vraagt Linux, GCC 13 of nieuwer en Python 3.12. Standaard laadt het het checkpoint DeepSeek-V4.1-Flash-1017 vanaf Hugging Face. De repo bevat benchmarks voor prefill en decode, gemeten op 4 SM100-GPU's voor prefill en 64 voor decode.