Optimum

Optimum é uma biblioteca de otimização que suporta quantização para Intel, Furiosa, ONNX Runtime, GPTQ e funções de quantização de baixo nível do PyTorch. Ela foi projetada para aprimorar o desempenho em hardware específico — CPUs/HPUs da Intel, GPUs da AMD, NPUs da Furiosa, etc. — e aceleradores de modelos como o ONNX Runtime.

Update on GitHub