vllm

本项目属于「论坛社区源码」,按近期活跃更新与热度筛选,适合当前阶段参考或二次开发。

vllm

项目简介:A high-throughput and memory-efficient inference and serving engine for LLMs