A inferência de IA ficou lenta demais?

O gargalo das camadas em Python está limitando o potencial bruto das suas GPUs.

Tiny-vLLM: performance pura em C++.

Esqueça o overhead: essa arquitetura extrai o máximo poder de processamento do CUDA.