---
license: mit
hardwares:
  - NPU
frameworks:
  - MindSpore
language:
  - zh
  - en
---

## 数据集精度

将权重加载到MindSpore Transformers网络仓，并使用vLLM-MindSpore Plugin进行部署，基于[AISBench](https://gitee.com/aisbench/benchmark)评测工具 `gsm8k_gen_0_shot_cot_chat_prompt` 任务和 `ceval_gen_0_shot_cot_chat_prompt ` 任务，输入长度4K，输出长度32K，评测结果如下：

| 模型 | gsm8k | ceval-average | ceval-weighted |
|------|------|------|------|
| Qwen3-32B bf16 | 96.21 | 89.57 | 88.86 |
| Qwen3-32B a8w8 | 95.98 | 89.41 | 88.78 |