# ztxz16/fastllm — RepoVerse

fastllm是后端无依赖的高性能大模型推理库。同时支持张量并行推理稠密模型和混合模式推理MOE模型，任意10G以上显卡即可推理满血DeepSeek。双路9004/9005服务器+单显卡部署DeepSeek满血满精度原版模型，单并发20tps；INT4量化模型单并发30tps，多并发可达60+。

URL: https://repoverse.app/zh/cards/640177564

[仓库来源](https://github.com/ztxz16/fastllm)

## 卡牌快照

- 版本: Genesis
- 稀有度: uncommon
- 材质: Base
- 攻击力: 5534
- 防御力: 3979
- GitHub stars: 5114
- GitHub forks: 503
- 语言: C++
- 分类: Programming Languages
- 快照日期: 2026-10-22

这些仓库指标和游戏属性属于注明日期的卡牌快照，不代表软件当前质量的评价。

此页描述仓库对应的卡牌，不包含玩家持有人或单张副本信息。

- [规则](https://repoverse.app/zh/rules.md)
- [探索仓库](https://repoverse.app/zh/explore)