某省某金融 · 技术交流

在某国产芯片上
把模型真正跑起来

三个真实项目  /  从"卡闲着"到"跑得比进口卡快"
今天不讲产品，讲三件我们真做过的事：
一　某省级气象部门：自研模型从进口卡迁到某国产芯片，反而快了 24%
二　一家制造企业：8 张卡买回来全闲着，不动生产系统把它盘活
三　一台某国产芯片 8 卡整机：我们连续测了 4 天，把能踩的坑都踩了一遍
故事一 · 某省级气象部门

同一个模型，某国产芯片比进口卡快 24%

客户用于降水预报的深度学习模型（公开学术模型，客户自己做的微调训练），原来跑在自己的 进口 GPU 机器上。我们把它原样搬到某国产芯片平台，同模型、同参数、同数据集、同精度策略，各跑 30 轮。
107
客户现役机器
某进口 GPU 80GB
分钟
→
快 24%
81
某国产芯片 国产AI加速卡
8 × 64GB
分钟
而且这是让着打赢的。某国产芯片单卡显存比对方少 16 GB，装不下，只能开一个"省显存"的开关—— 代价是反向计算多花 25% 的力气，精度损失为零。这 81 分钟里还含了一次性的编译时间 7 分钟，以后每轮都不用再花。
背着这两个包袱，还是比对方快了四分之一。
故事一 · 把差距拆开看

"国产卡慢"这句话，得拆开才说得清

同一批测试里还有第三台机器——一张顶配的某高端进口显卡（96GB），它跑了 40 分钟，比某国产芯片快。我们没有回避，而是把这 41 分钟的差距逐项拆开了：
差距来自哪里占多少时间能不能解决怎么解决
显存不够，被迫开省显存开关约 10 分钟 (24%)能换大显存型号即可去掉
一次性的编译预热约 6.5 分钟 (16%)能只在第一轮发生，之后不再有
硬盘读数据慢约 5 分钟 (12%)能换全闪存储
真正的算力差距约 1.75 分钟 (4%)不能这才是芯片本身的差别
其余系统开销约 18 分钟 (43%)待查我们还没查清，如实标出来
我们能定位到的三项——显存、预热、硬盘——全是工程问题，都能解决； 而真正落在芯片本身的算力差距，只有 1.75 分钟（4%）。
最后那 18 分钟我们还没拆明白，所以照实列在这里。没查清的事，我们不往有利的方向说。
故事一 · 一个反直觉的发现

算得最快的那台机器，总时间最慢

进口 GPU 机器

1.07 秒 · 单批反向计算

三台里算得最快——算力优势是真实存在的。

但它的硬盘

0.55 秒 · 单批读数据

用的是老式机械硬盘。光等数据就等掉了大半优势。

最终结果

107 分钟 · 三台最慢

对比另一台配全闪的机器只要 40 分钟，慢了 2.7 倍。

这台进口 GPU 是客户自己攒的——"没钱买服务器，就买了显卡自己装"，显卡是顶配，硬盘是旧的。
结论：AI 训练的瓶颈，经常不在 GPU 上。 卡换成再贵的，数据喂不进去也没用。所以我们建议任何客户—— 先做一次同条件基线测试，再决定钱花在哪。
故事一 · 最有意思的一段

客户的模型跑不动，是谁的错？

现象：一跑就崩

另一位老师带来自己写的模型，在某国产芯片上跑了一小时后崩了，报显存不足。

这时候最容易下的结论是："国产卡不行。"

我们没这么说，而是去算了一下它到底要多少显存——

5449 GB

这个数字超出任何现有单卡。某国产芯片 64 GB 装不下， 那张顶配的 GPU 96 GB 同样装不下。

根因是模型架构本身——它的注意力机制要处理 30 万个位置，开销按平方增长。换什么卡都救不了。

解法：换个架构，我们替他写了一个

业内有个叫 Mamba 的新架构，开销随规模线性增长，正好治这个病。 但它的官方实现依赖 GPU 专用底层算子——业界普遍认为国产卡跑不了 Mamba。

我们绕开了：用通用框架自己实现一遍，不依赖任何专用算子。在某国产芯片上开箱即跑。

显存占用不到 10 GB
单步耗时43 秒 → 3.7 秒（优化后快 11 倍）
10 轮总耗时约 31 分钟
训练效果损失单调下降、未过拟合
这一段我们自己觉得比前面的性能数字更值钱：
客户的模型跑不动时，第一嫌疑人往往是国产卡。而我们能分清——哪些是架构的问题，哪些才是平台的问题。
故事一 · 收口

这个项目还教了我们三件事

① 内网没有外网，照样能干活

客户内网装不了任何软件包。我们把 29 个依赖包离线打成 101 MB 的包带进去， 还自建了一个分片续传的上传通道。

贵司的网络只会比这更严格，这条经验直接能用。

② 老业务不停，新东西照跑

那台机器上，5 张卡在跑着生产服务，我们训练只用剩下的 3 张，全程锁死。

整个测试期间，生产服务一次没受影响。

这是我们所有项目的第一条红线。

③ 迁移经验固化成了手册

从进口卡迁到某国产芯片会踩的坑，我们写成了一份 11 章的避坑指南， 含 8 个常见报错的速查和 10 条不许碰的红线。

换个行业的软件清单，就能直接给下一家用。

如实说明： 这个项目目前是测试样机阶段的实测数据，客户方还没有出具书面验收。 上面每一个数字都来自我们留存的原始训练日志，可以逐行核对；但请各位按"PoC 实测"来理解，不是"已交付案例"。
故事二 · 某制造企业  01 / 04

8 张卡买回来，一张都没在干活

这家客户机器和模型都买齐了，员工却没人愿意用。我们先做只读体检，不动任何东西。

体检查出的六个毛病

  • 8 张卡全部 0% 闲置，模型其实跑在 CPU 上
  • 一个 70B 的大模型用错了方式跑在 CPU 上，体检时白占 83 GB 内存、已经跑了 15 天
  • 模型没设常驻，每次提问都要重新加载 19 GB，光加载就 30–60 秒
  • 默认选了个"先想再答"的模型——查资料场景纯属浪费
  • 提升准确率的重排模型早就下载好了，4 个知识库一个都没开
  • 128 核的机器，后端只开了 1 个工作进程

员工的实际感受

54.8 秒 · 问一个问题要等这么久

这不是我们估的，是从客户自己的数据库里查出来的周平均值。而且还在恶化—— 6 月中旬还是 22.8 秒，下旬就到了 54.8 秒。历史最慢一次 362 秒，等六分钟。

首次提问还要额外等半分钟到一分钟。

结论：这不是"AI 不好用"，是这台机器从来没被真正启动过。

我们没有立刻动手。先出了一份只读体检报告，把六个毛病和各自的证据摆给客户看，然后才谈怎么改。
故事二 · 某制造企业  02 / 04

不改一行现网，另起一套

我们的第一原则： 绝不碰客户已有的任何东西。新服务全部用新端口、新目录、独立运行，新旧并存 —— 旧系统原封不动、随时还能用，什么时候把人切过来，客户自己说了算。
在这个前提下，八张卡这样排班：
卡号干什么怎么配给谁用
0 · 1 · 2 · 3主力问答四张卡合起来跑主力模型，关掉"先想再答"，直接给结论日常查资料
4编程助手一个单卡放得下的编程模型写代码
5检索 ＋ 排序把"找得准"这件事也放到显卡上做提升准确率
6 · 7长文专用两张卡跑长文档版本，不用时可以关掉整篇文档分析

为什么长文要单独拆一套

把"能读长文"这个能力硬塞进主力，会拖累占绝大多数的日常短问答。拆开跑，互不影响。

选型上少走的一步弯路

原计划上更大的 72B，查证后发现 某国产大模型 这个系列根本没有 72B；而 32B 的官方成绩已经接近上一代 72B。改用 32B 后单卡就放得下。

下载也是个坎

官方工具单线程只有 0.36 MB/s。换多线程拉到 5.5 MB/s（约 15 倍），基本吃满客户带宽——客户链路上限就 7.5 MB/s，不是网变快了。

故事二 · 某制造企业  03 / 04

交付了什么，还差什么

核心指标 已达成

问一个问题54.8 秒→ 约 4 秒
显卡利用8 卡全闲→ 8 卡全载
首次提问30–60 秒→ 不用等了

另外两件超出体检范围的交付：
▸ 4 个部门各自的知识库，员工登录只看得到本部门的，越权调用实测被拦住（目前用本地账号测试）；域控对接已预留，参数到位就生效
▸ AI 运维助手，管理员用大白话就能查显卡、查服务、查日志

运维助手的三色权限（这条对贵司可能更有用）

  • 绿 · 随便问——查显卡、查服务、查日志，只读的都放行
  • 黄 · 要再问一次——重启我们自己部署的服务，必须二次确认
  • 红 · 直接拒绝——碰客户生产系统的任何写操作，执行层一律拒，写死在代码里

规则不在提示词里，在服务端代码里——不是靠模型"自觉"，是它根本调不到那个接口。
这条是有教训的：早期把安全规则写在提示词里，换个模型就失效过。

还差什么（照实说）： ① 域控参数还没拿到，统一登录暂未接通； ② 4 个部门库目前是示例文档，等业务部门给真实资料，权限怎么分也还要客户最终确认； ③ 排序服务已就位但没全量打开，等真实文档一起开； ④ 新系统的并发目前也还是默认值，全公司推广前要调大——我方实例，5 分钟的事； ⑤ 旧的那个 70B 到 7 月 9 日复测仍占着 79.9 GB 内存 —— 一直没动它，因为守零破坏，要下线得客户点头。
故事二 · 某制造企业  04 / 04

一个 3.3 KB 的文件，和它今天的反转

20
没有这个文件
出 300 字要 15 秒
显卡只干约 23% 的活
→
4.6 ×
92
装上之后
同样 300 字 3.28 秒
两次复测 3.28 / 3.27

问题出在哪

这类模型运行时要去查一份"针对你这张卡的调优参数表"。 社区里没人发过这个 GPU 型号的——查不到就用通用的兜底值： 卡插在那儿只干约 23% 的活，而且不报错。

怎么解决的

自己跑一遍调优：单卡试了 18 种批量大小 × 1920 组参数， 耗时 5 小时 20 分，产出这一个 3.3 KB 的文件。装进去、重启，就完事了。

意外收获

此前这个模型在这张卡上偶发无声崩溃（进程直接没了、一句报错都没有）。装上后连续 25 分钟零重启零错误—— 崩溃根因大概率就是缺这份配置。

但这个故事今天有了后续，我们必须说在前面： 就在今天上午，我们把这份配置拿到另一台机器上复测——在新版本的推理框架下它已经不带来任何收益，单请求反而稳定慢 3%，我们已经回退了。 更麻烦的是新版本要求文件名多一段标识，照老办法复制会静默失效、连报错都没有。
所以这一页真正的结论不是"我们有一个好用的文件"，而是——换卡型、换模型、换框架版本，都必须重新跑一遍。这一点我们自己刚栽过一次。
这件事本身不大，但它说明一个问题：无论是国产卡，还是这类相对小众的型号，社区都不会替你把配置备齐。
留下来的是方法和脚本，不是这个文件本身。
故事三 · 一台某国产芯片 8 卡整机

八张卡，当时只有一张在干活

149
客户自己测的
一张卡的成绩
另外七张空着
→
整机
1714
八张卡配对之后
整机能吃下的量
同一台机器
先把话说清楚： 这两个数不是同一组测试条件——客户测的是单卡、长输出；我方测的是八卡双组、短输出、更高并发。 所以别把它读成"同一件事快了 11 倍"。
客户那 149 我们完全认同，那就是这台机器一张卡的合理水平，数据很准。问题不在测得准不准， 在于——当时另外七张卡是空的。

原来是怎么跑的

模型只部署在一张卡上，上下文也只开到 8K。另外七张卡完全空闲。

我们改了什么

给八张卡排了个班：四张一组、分成两组，各自独立接活。改一行配置、重启服务，5 分钟。

为什么不是八张一起上

这批卡彼此之间的通道比较窄。八张硬凑一组，光是互相商量就把好处吃掉了——实测 1139，反而比"四张一组开两组"的 1714 低了三分之一。

我们两边测得准不准，有个旁证：另一个模型、双方用同样的配法，客户测出 139.5，我们测出 153，只差 9%。
两边对得上，说明谁都没在测法上做手脚。 客户测的是"当前这套部署"的上限，不是"这台机器"的上限——完整的卡数 × 并发矩阵在附页 A1。
故事三 · 我们是怎么知道这些的

一台整机，连续测了四天

第一天：装机

开机只认到 7 张卡，不是 8 张。RAID 卡驱动折腾了约 5 小时。 系统镜像走错了传输路线，白白浪费 6 小时。
——第一天基本没干成正事。

第二、三天：把配法试遍

三个模型 × 各种卡数组合 × 各种并发量，共 34 组计划：26 组通过，8 组没跑通 （一个模型在 4 卡 / 8 卡下启动就崩，至今没解决）；另有 12 个长输入测试点因压测工具自身超时全部作废。
——通过的那 26 组，就是前面那张排班表的来源。

第四天：让它满负荷不停跑 8 小时，看会不会出事

7 小时 58 分

全程满载，一刻没停

全部为零

没有降频、没有掉卡、没有报错、没有温度告警

用了 25%

整机峰值 3196 W，电源额定 12800 W，余量还有四分之三

这四天的意义不在于测出几个漂亮数字，而在于——该踩的坑我们替客户踩过了。
完整的硬件基线、性能矩阵、8 小时温度功耗曲线，都在附页里，想看多细都有。
经验 · 落地要过四道坎

"卡能买到、跑不起来"，具体卡在哪

这四道坎加起来，就是很多单位买了国产卡用不起来的全部原因。

坎一 · 装机

八张卡只认到七张；RAID 卡驱动耗掉一个上午；管理接口报"配置成功"其实根本没配上，最后只能进 BIOS 手工做。

→ 现在我们的做法：驱动提前一天问现货，系统镜像走管理口直挂，30 秒搞定。

坎二 · 驱动

这卡在系统里不是普通显卡的身份——常规排查命令一条都查不到它，工具名字也全不一样。 按 GPU 或者 某主流芯片 的路数去排查，全程都在找错地方。

→ 我们把 8 类常见报错整理成了速查表。

坎三 · 推理

照搬 GPU 的显存参数直接爆显存；有个加速开关一打开就偶发乱码，只能关掉换稳定，代价是慢 10–20%； 有些参数设错了不报错，等真跑长文时才悄悄出问题。

→ 九个坑写成了一页速查卡，在附页。

坎四 · 应用

模型跑起来只是一半，上面还要搭应用。光是应用平台那一层的四个坑就多花了约 8 小时， 端到端从八项全不通，修到八项全通。

→ 大模型下载还必须逐个校验文件大小，否则损坏了要等加载时才报错。

这四道坎，没有一道是硬件问题。但每一道都能让一台几十万的机器停在原地。
诚实的边界

哪些我们能绕过去，哪些绕不过去

能绕过去的

  • 卡与卡之间通道窄 → 别硬凑一大组，拆成两小组反而快 50%
  • 显存比进口卡吃得紧 → 水位线整体调低一档，我们有一张分场景的参数表
  • 某个加速功能有 bug → 关掉换稳定，代价 10–20% 速度
  • 八张卡温度不均（有几张比另几张高 8–12 度）→ 重活放到凉的那几张上

这四条的共同点：结构性的，消除不掉，但都能绕。而且绕的方式全是改配置，不用换硬件、不用改模型。

目前绕不过去的

  • 有一个模型在 4 卡 / 8 卡配置下直接起不来，八组测试全部跳过，我们至今没解决
  • 推理时显存温度冲到 84 度，是全场温度余量最紧的一项——只能靠负载排布规避
  • 72B 那一档，第一个字要等 20 秒，是 32B 的 50 倍以上——架构决定的，选型时就要避开
  • 并发一高，排队会急剧恶化——只能靠限流闸门控，调参消除不了
  • 长上下文我们没测过，三个模型标称能到 128K，我们实际只敢部署到 8K/16K —— 没测过的事，我们不承诺
右边这一栏，我们本可以不给各位看。
但这些坑你们迟早会撞上——与其在生产系统上撞，不如现在就知道它在哪。
我们怎么进贵司的场

三条路线，看贵司的规矩允许哪一条

现场就问三个问题：能不能联网？内网有没有现成的模型？能不能带设备进去？
路线什么情况下用怎么做成熟度
A 能联网 客户机器主动往外拨连回我方工作台。不需要开放任何入站端口、不改防火墙，只连管理网段，业务流量不受影响。 控制权在贵司手上，随时可以单方面切断。 ✓ 已实战跑通
故事二那家客户
B 隔离网
内网已有模型		 把整套环境封装成一个镜像摆渡进场，附逐个文件的校验清单配合贵司扫毒审批； 镜像里主动删掉所有远程工具，没有任何能连出去的东西。产出带出内网前先经贵司签字。 物料已验证
客户现场尚未落地
C 隔离网
内网没有模型		 把算力一体机连同环境一起送进场，先用后买，数据全部留在贵司本地。 设备就绪
尚未首次进场

我们的三条红线（主动说在前面）

① 不重写贵司的生产系统
② 不让模型去硬判规范、质量、安全的结论
③ 真实数据进场前，先签脱敏边界

作业纪律

先只读体检 → 拿到书面许可再动手 → 所有改动可回退 → 交付后主动拆除通道不留后门、全部改密移交

案例墙 · 状态一律照实标

我们真正做过的项目

客户 / 项目做了什么硬成果状态
某省级气象部门
某国产芯片 国产AI加速卡		 自研气象模型从进口卡迁到某国产芯片；替客户解决模型跑不动的架构问题 同模型比 进口 GPU 机器快 24%；差距拆解证明仅 4% 是真算力差；业界认为跑不了的 Mamba 在某国产芯片上跑通 PoC 实测
未书面验收
某国产芯片 8 卡整机
国产化算力		 4 天完成硬件、性能、稳定性三层实测 149 → 1714（同机调参）；8 小时满载零故障；26 组测试全通过 借测样机
PoC 后随机移交
某制造企业
8× 某 GPU 型号		 零破坏隔离新建一套推理系统，旧系统原封未动 问答 54.8 秒 → 约 4 秒；显卡 8 卡全闲 → 8 卡全载；4 部门分权实测隔离通过 已交付
某半导体企业
半导体 · 某市		 数据资产化：真备份 ＋ 备份日志入知识库，一个入口同时答业务与合规问题 知识库打靶 5/5 全命中且跨双库检索；1842 文件 / 443 份 PDF；A 级验收 独立复核通过
某半导体企业 · 运维 AI 线
半导体 · 隔离网		 提出受控开发区方案（依据等保三级"开发与运行环境分开"），配套标准镜像 镜像开箱自检 95 项 94 通过；底座 65/65 全绿；离线库 919 MB / 118 个依赖包 物料就绪
现场未落地
省妇保
三甲医疗		 病理切片存储 ＋ AI 辅助阅片 1.6 GB 超大切片秒开（0.06 秒）；单次检出 6470 个细胞核，显卡利用率 0 → 84% 端到端验证通过
中国铁塔
通信基础设施		 集群时间同步事故：先建实验环境真机复现，再给处置方案 全流程 90 分钟闭环（传统需 2.5–5 天）；实测单台猛调时钟 → 100% 数据分片不可用 已交付三件套
标"未落地""未验收"的就是还没落地、还没验收，不含糊。
合作方式

建议的第一步，成本很低

我们能提供什么

  • 某国产芯片装机与驱动加固（含 RAID、某国产OS、DTK）
  • 自研模型从进口卡迁到某国产芯片——含避坑手册与离线依赖打包
  • 推理调参与卡数选型——就是今天讲的那 11 倍
  • 模型跑不动时做根因定界：是架构问题还是平台问题
  • 知识库落地与部门分权
  • 隔离网进场三方案

建议的第一步

在贵司现有的某国产芯片机器上，做一次同条件基线测试， 出一份和今天同规格的报告。

先看清楚手上这批卡现在实际跑在什么水位——是卡的问题，还是配法的问题，还是硬盘的问题。

不改配置、不动生产、只读采集。

今天想请教三个问题：
一　贵司现在有多少张卡，什么型号？　二　主要跑什么——通用问答，还是自己的专用模型？　三　现在几张卡一组在跑？
第三个问题，往往就是答案。
附页 A1 · 想细看再翻

某国产芯片 8 卡：卡数 × 并发 全矩阵

某国产大模型，输入 512 / 输出 256，单位 tok/s。这张表就是"11.5 倍"的来源。
几张卡一组 ＼ 并发41664结论
1 张55185160基准
2 张55187160完全没有提升——通信开销吃光收益
4 张192556857真扩展：并发 16 时 3.0×，并发 64 时 5.4×
8 张2017021139比 4 张只多 26–33%，边际递减
所以：8 张卡拆成两个"4 张一组"＝ 857 × 2 ＝ 1714，比一个"8 张一组"的 1139 高 50%。零成本，纯配置。
注：客户那次自测是单卡、输入 2048 / 输出 2048、并发 8，与本表（输出固定 256）不同坐标系， 不能直接往表里对号入座——它落在本表 c=4 与 c=16 之间，属合理区间。
附页 A2

另外两个杠杆：拓扑与显存水位

卡 ↔ 卡

50.06 GB/s

56 条链路差异 < 0.1%，完全均衡无弱链路。卡间不是瓶颈。

卡 → CPU

23.36 ~ 35.85

最低/最高 ＝ 仅 65%。同一台机器，取决于落在哪个 NUMA 节点。

根因

双路 Hygon C86-4G 共 8 个 NUMA 节点，距离从 20 到 58，差约 3 倍。最远的是 CPU5。
规则：4 张以内优先同 NUMA 组 + 绑核。

显存水位：把 GPU 的经验值整体下调一档
场景GPU 常用某国产芯片 实测安全线
单模型独占0.90 – 0.950.85
长上下文—0.80
高并发—0.75
同卡多任务—0.70
实证：设 0.95 直接 OOM。某模型 FP16 单卡设 0.9 时可用 57.6 GB，而权重就要 58 GB —— KV 缓存一个字节都分配不出。改 2 卡 + 0.85 后正常。
附页 A3

某国产芯片 8 卡 · 硬件基线全表

项目实测值说明
FP16 单卡峰值260.2 TFLOPS4K 矩阵实测。厂商资料给的标称值明显偏保守，实测远高于标称——所以别只看 spec，自己跑一遍
FP16 8 卡合计2069.9 TFLOPS≈ 2 PFLOPS
BF16 / INT8 单卡276.4 / 280.2 TFLOPSINT8 为 fp16 fallback
卡间 D2D50.06 GB/s56 条链路差异 < 0.1%
显存内部带宽882.32 GB/sHBM2e 理论 819，达成率 107%（含突发）
主机 → 卡37.52 GB/s64 种组合差异 < 3%
卡 → 主机23.36 – 35.85 GB/smin/peak = 65%，跨 NUMA 不均
单卡功耗墙400.0 W实测限额 400W，非资料所写 350W
健康度0 ECC / 0 掉线3224 个时序采样，温度 36–73 ℃
机器配置：8 × 某国产芯片 国产AI加速卡（HBM 64 GB/卡）｜2 × Hygon C86-4G（8 NUMA）｜502 GB 内存｜4 × 3200W 电源。软件：银河某国产操作系统 SP3 ＋ DTK 26.04 ＋ HIP 6.3.26113 ＋ 某国产芯片定制版 推理引擎。
附页 A4

三个模型 · 推理性能全矩阵

输出长度固定 256 token，单位 tok/s。
配置c=4c=16c=64备注
某国产大模型  (in=512)
TP=155185160in=2048 时 36 / 63 / 72
TP=255187160与 TP=1 持平
TP=4192556857in=2048: 178 / 531 / 781
TP=82017021139in=2048: 187 / 675 / 1086
某国产视觉大模型
TP=2—110—权重约 80 GB，单卡装不下
TP=4—247—
TP=8—301—in=2048 时 307，比 TP=4 高 24%
推理模型-某国产大模型  FP16
TP=2—153—in=2048；in=8192 时降到 83
TP=4 / TP=8推理引擎 启动 crash8 组 plan 全 SKIP，至今未解
推理场景物理指标：整机峰值 3060 W；PCIE Switch 85 ℃（危险 110）；GPU 核心 82 ℃（告警线 101）；显存 84 ℃ —— 全场温度余量最窄的一项。另：并发拐点——32B 在 c=10、推理模型 在 c=14 出现延迟陡增而吞吐反降。
附页 A5

8 小时满载 burn-in

负载与稳定性

  • 持续 7 小时 58 分（478 分钟）
  • 21,818,417 次 4096×4096 FP16 矩阵运算
  • 平均 759.6 iter/s（8 卡聚合），累计约 3 EFLOPS
  • 降频 0 · 掉线 0 · ECC 0 · 温度告警 0
  • 每分钟迭代平稳度 98.56%（标准差 138.9）—— 用它反证频率没塌

温度与功耗余量

  • GPU 核心峰值 82 ℃（阈值 101，余 19）
  • 显存峰值 76 ℃ —— 比推理场景凉 8 ℃，因不走 PCIe DMA
  • PCIE Switch 79 ℃（阈值 105，余 26）
  • 8 卡核心温差仅 4 ℃（78–82）
  • 单卡封装功耗峰值 251–264 W，远低于实测功耗墙 400 W
  • 整机峰值 3196 W，电源 12800 W 仅用 25%
注意区分场景：推理场景显存冲到 84 ℃ 才是真正的紧约束；纯矩阵压力反而更凉。做容量规划按推理口径。
附页 A6

某国产芯片上跑推理服务 · 参数速查卡

必设参数

  • 用 HIP_VISIBLE_DEVICES，不是 GPU 加速_VISIBLE_DEVICES
  • --gpu-memory-utilization 0.85（0.95 必 OOM）
  • --enforce-eager（HIP Graph 有 corner case）
  • --shm-size=16g（Docker 默认 64MB 起不来多卡）
  • --trust-remote-code（否则 KeyError）
  • --quantization 量化（量化 不自动检测）
  • -e MODELSCOPE_DOMAIN（默认走外网，隔离网必挂）

工具链对照（GPU 加速 → 国产加速卡）

  • nsys → hipprof --hip-trace
  • ncu → hipprof --pmc
  • cuda-gdb → hipgdb
  • nccl-tests → rccl-tests
  • wavefront 是 64，GPU 加速 warp 是 32
  • lspci | grep -i amd 返空 —— 驱动是 hycu 模块 + 某国产芯片自有 vendor ID，不是 amdgpu
  • 四步定位法：时间线 → PMC → kernel-stack → RCCL

验收标准（自建）

dudiag 3,1800 双压 30 分钟／dudiag 5 卡间带宽／dudiag 7 GEMM。
峰值 GEMM ≥ 标称 95% 才算合格，< 90% 直接报修。

模型预热时间（别演示翻车）

单卡约 290 秒（含编译 102 秒，重启后 90–120 秒）；8 卡加载实测 223 秒。
服务启动后等 5 分钟再做健康检查。

附页 A7

气象项目 · 三机对比全表

同模型（公开学术模型）、同参数（30 轮 / batch 20 / 500 样本 / 512×512 / FP16+AMP）、同数据集。
指标客户业务机
进口 GPU 80GB ＋ 机械硬盘		某国产芯片 国产AI加速卡
8 × 64GB		对照机
某高端进口显卡 96GB
总耗时107.10 分钟81.40 分钟39.84 分钟
平均每轮3.57 分钟2.71 分钟1.33 分钟
数据读取 / 批0.55 s0.4943 s0.09 s
前向 / 批0.25 s0.3570 s0.22 s
反向 / 批1.07 s2.3865 s 含重算1.59 s
单批总计1.87 s3.2378 s1.90 s

某国产芯片的让分条件

单卡显存少 32 GB → 不开省显存开关时峰值约 62 GB 直接 OOM，开了之后稳在 55 GB（86%）。 代价：反向 +25%，精度损失为零。改动量：1 行 import ＋ 6 行包装，仅 1 个文件。

逐轮表现

第 1 轮 429 秒（一次性编译），第 2 轮起稳定在 152–155 秒。
功耗 245–251 W（TDP 400W），卡温 62–76 ℃，训练时利用率持续 100%。

Mamba 对照

客户自研模型需 5449 GB 显存（注意力 30 万 token，平方复杂度）——任何单卡都装不下。
改纯框架实现的 Mamba：0.84M 参数、<10 GB 显存，单步 43 s → 3.7 s，10 轮约 31 分钟，验证损失 0.1225 → 0.1112。

附页 A8

我们的测评工具长什么样

先声明： 下面这组数字来自 我们自己实验室的一张 某 GPU 型号，不是某国产芯片、也不是贵司环境。 放在这里只为说明"工具长什么样、出什么样的报告"，不代表贵司能拿到这个数。
并发183264128
吞吐 tok/s100.7661.82614.33224.15976.7
首字延迟37 ms59 ms96 ms133 ms240 ms
成功率100%100%100%100%100%

零失败

全程 420 次请求，0 失败；单卡开 fp8 KV 真跑满 256K 上下文（约 25 万字）。

主机无关

换 IP、换模型名即测。GPU 厂商、服务端口、可用模型全部现场探测，不预设。

数据不出门

压测在目标主机本地跑，结果解读走该主机本地模型，全程不跨网、不出厂。

某省某金融
1 / 25
江西天溥网络科技有限公司 · 赣ICP备2026024379号-1