四 第四生产力NOTES ON AI & ENGINEERING

自己部署大模型,真的更便宜吗?这笔账我帮你算了

如果你的老板最近问你:咱们要不要自己部署个大模型?我听说 API 用着贵。

先别急着点头,也别急着摇头。这笔账,十个团队里有九个算漏过。

先给自建一个公道

自建不是没道理。数据不出自己的机房、可以微调、不用看 API 厂商的脸色、量大了边际成本接近零。

知乎上有个说法我觉着挺准:本地部署对 90% 的人没意义,但对剩下 10%,它是目前最划算的生产力投资。

问题只有一个——你是那 10% 吗?

今天把这笔账从头到尾算一遍。算完你自己就能拍板,不用再问任何人。

第一笔账:看得见的成本

这块最容易算,也最容易只算这一笔。

按 2025 年下半年以来国内行情(据雷峰网对 12 家上市企业的调研、科创板日报等;2026 年算力硬件还在全线涨价):

  • 跑 32B 模型的一体机:几万元
  • 跑 70B 的:几十万
  • 想上满血 DeepSeek:主流报价百万级起步(满血版一般 150 万上下,国产芯片更高)
  • 常见的 8 卡一体机:也是百万级

先纠正一个流行误会:DeepSeek 开源免费,但下载不花钱,跑起来才花钱。

还有个更迷惑的:新闻里学校、医院排着队装 DeepSeek,好像很便宜。装起来给人看,和 7×24 扛住生产,是两码事——冗余、运维、电费,一样都省不了。

第二笔账:看不见的成本

这才是大头。

电费。 一张 A100 满负荷跑,一天电费约 20 元(按 0.6 元/度算)。8 卡集群就是一天 160,一年 5.8 万。这还没算空调。

闲置。 据 36kr 报道引用的分析,GPU 有 30% 到 65% 的时间在闲置。

不是没任务,是数据没准备好、流程没跑顺、业务部门还没想好怎么用。“建完集群就闲置”的故事,几乎每个园区都有。

运维。 有人觉得运维可以顺手兼着。企业呢?你得养一个懂 GPU、懂推理框架、凌晨两点能爬起来看 CUDA 报错的人。这种人什么价,去招聘网站搜搜就知道。

折旧。 GPU 两年一换代,你的卡第二年起就是旧卡。

第三笔账:API 到底多少钱

很多人没意识到:API 价格战已经打到以分计费了。

以 DeepSeek 官方定价(2026 年 9 月):百万 token 输入最低 1 元,输出最低 2 元。就算按输出价猛用,一天烧 100 万 token,一个月也就 ¥60。

关键问题变成:你的业务一天烧多少 token?

没有统一的行业标准答案,我拿一个生产环境的经验参数举例:一个 20 人团队,每人每天跟 AI 打交道二三十次——问资料、写纪要、改文案、查知识库,一次千把 token,一人一天约 2 万,团队一天就是 40~50 万 token。

这个参数偏保守。2026 年有开发者实测过 ChatGPT Plus 会员的用量(Eduard Ruzga 的订阅对比测试):重度使用约 1,300 万 token/周,折合每天约 186 万。就算团队 20 人全是这个强度,一天约 3,700 万 token——还是API赢。

就按这两个参数往下算。

先算 API 侧(DeepSeek 官方定价):一天 50 万 × 30 天 = 1,500 万 token/月。全按输出价 ¥2/百万顶格算,一个月 ¥30。就算换成海外贵价 API,也就 15 美元上下。

再算自建侧:一台 4 卡服务器 ¥10 万,五年折旧每月 ¥1,700;电费 2.5 度/小时 × 24 × ¥0.8 ≈ 每月 ¥1,400;运维按每月 ¼ 人力折算 ¥3,000。一个月 ¥6,100 左右,用不用都得花。

50 万 token 的参数下,API 赢麻了。但这只是这一档,把参数往上调,结论会变:

日用量 参照 API 月成本 自建月成本 谁赢
50 万 20 人团队日常办公(经验参数) ¥30(海外 API ≈ $15) ¥6,100 API,约 200 倍
3,700 万 20 人全是 ChatGPT Plus 重度用户(实测口径) ¥2,220(海外 ≈ $1,100) ¥6,100 API,约 3 倍
1 亿 中厂级全面铺开 ¥6,000 ¥6,100 打平,进入拐点区
10 亿+ 大厂量级 / Agent 跑批 ¥60,000 ¥6,100(需扩容另算) 自建开始赢

拐点在哪,取决于你 API 买谁家的:按 DeepSeek 这个定价,拐点约在每天 1 亿 token 往上;按海外贵价 API(每百万 $0.5–1),拐点约每天 200 万 token。海外厂商博客引的”业内共识拐点 200 万”,就是后一个口径。

看出门道了吗?

自建的成本是固定的——用不用,服务器都在烧钱。API 的成本跟着用量走。量小,固定成本就是纯亏。

知乎上有篇成本对比专栏,结论跟我算的一致:API 价格一直降,自建的回本拐点在往右移。对中小团队来说,2026 年是 API 性价比最高的一年。

两个真实的参照

企业。 据 Prem AI 博客的客户案例:一家金融科技公司,从全 API 切到混合自建,月支出从 4.7 万美元降到 8 千,降了 83%。

注意关键词——混合。简单高频的走本地,复杂推理走 API。

个人玩家。 Reddit 上有人算过:在家跑到接近 OpenAI 的速度,硬件约 1 万美元起。这点钱拿去订阅 API,十年都花不完。除非为了玩、为了离线、为了隐私,否则别折腾。

出路:一张清单帮你拍板

满足下面任意两条,再认真考虑自建:

  1. 日用量稳定越过拐点——拿你实际的量和最新公开价一算便知:用 DeepSeek 是每天 1 亿 token 往上,用海外贵价 API 约 200 万。注意是”稳定”,不是”有一天测出来能到”。
  2. 合规硬要求:数据不出域。金融核心、医疗病历、政务,没得选。
  3. 需要微调,且业务真吃微调。
  4. 有一个能 hold 住 GPU 运维的全职的人。
  5. 用量可预测,不会大起大落。

五条里只占一两条?我觉着乖乖用 API,把省下的钱和时间花在业务上。

什么都想要?走混合:简单高频任务自建小模型(7B 到 32B),复杂任务走 API。据 Prem AI 的数据,混合方案能省 40% 到 70%,还不用养大集群。

最后一句话

自建大模型不是省钱方案,是控制权方案。

你的问题如果只是”贵”,答案大概率是 API。你的问题如果是”数据必须在我手里”,那多少钱都得自建——但把预算翻一倍再报给老板。

评论区聊聊:你们团队现在用 API 一个月花多少?报个数,我帮你看看自建能不能回本。