vllm（大模型应用与知识增强项目｜人工智能）
项目简介：A high-throughput and memory-efficient inference and serving engine for LLMs
- 仓库地址：https://github.com/vllm-project/vllm
- 源码下载：下载 ZIP 包
- Stars：72976
- 主要语言：Python
vllm（大模型应用与知识增强项目｜人工智能）
还没有评论，欢迎抢沙发。
项目简介：A high-throughput and memory-efficient inference and serving engine for LLMs