客户：制造企业，年销售额 70 亿元以上
项目类型：企业内网私有化 AI 推理部署
业务场景：10 人财务团队的票据核对、报表汇总与费用归集
为什么必须私有化
财务数据出厂区在合规上不可接受，这不是技术偏好问题。对于这类数据，「承诺不留存」与「物理上发不出去」不是同一量级的保障——前者依赖对方的政策与审计，后者不依赖任何外部方的行为。
部署配置
- 算力：2 × RTX PRO 6000D，单卡 84GB 显存，合计 168GB
- 推理框架：Strata（开源项目）
- 模型：Qwen 3.8-Flash-Next
- 部署位置：企业内网，与外部网络隔离
- 并发规模：10 名财务同时在线
实测吞吐 200 tokens/s
该数值取自真实业务负载下的稳态吞吐，非离线跑分峰值。
这一区分对可用性判断很关键：财务数据整理是长时连续批处理负载，而非短时问答。峰值指标描述的是瞬时能力，而决定生产可用性的是连续运行数小时不降速、不 OOM、不堆积。批处理场景下，峰值再高、稳态上不去，同样不构成生产力。
部署中真正决定成败的三项
① 批处理
该场景的负载形态是批量任务而非对话。逐条请求的吞吐无法覆盖真实工作量，必须实现任务队列与批提交机制，把零散请求聚合为批。
这也正是自建推理相对公有云 API 的成本优势来源：在批处理场景下，单位成本差距是数量级的，前提是批处理机制真正落地。
② 并发调优
10 人同时使用需要处理排队、超时与优先级三个问题。结账周期与日常查询不是同一负载量级，优先级必须可配置，否则最紧急的请求会排在最后。长请求与短请求混跑时的调度策略也需要单独处理。
③ 显存优化
168GB 显存需要同时容纳模型权重、KV Cache、批输入与并发会话。显存管理不到位时的典型表现有三种：批量增大即 OOM、并发升高即吞吐下降、显存未满却出现排队等待。
调优的目标是让显存占用与排队行为可预测，而不是把显存占满。
服务边界
本项目属于推理侧：选型、部署、批处理、并发、显存与稳定性。模型微调与训练属于另一类需求，不在本次服务范围内。