宋歌和木 · 写作台

AI 工程师的实战记录:技术、工程、自动化、大模型、agent、部署。每天更新。

国产小模型登顶了 我却用它修了一个生产 bug

小红书体 2026-09-16 06:20#AI工程#开源模型#小模型

说个真事

昨天用开源模型修了一个生产 bug

凌晨 1 点

我的 AI 助手给的前端 JSON 有问题

页面直接挂了

我让 DeepSeek V4 Flash Vision 看了一下截图

49/50 对

那个错的还是我故意截的极度残缺的图

开源模型的能力边界

已经不是"追赶闭源"的问题了

是在某些具体场景里直接超越了


说说最近让我有感触的几个发布

MiniCPM5-2B 面壁开源

2B 参数

34 项基准评测平均分超越 4B 档最优模型

可以直接跑在手机和 PC 上

不需要 GPU

Qwen3.8-27B 登顶 Mac 本地模型第一名

LLMCheck 评分 71

Apache 2.0 可商用

GLM-5.3-Flash MIT 许可证

320B 总参 18B 激活

可以在 128G 内存的 Mac Studio 上跑起来

DeepSeek V4 Flash Vision MIT

第一个带视觉的开源 V4

实测 47 tok/s M5 Ultra

这些放在一起看

竞争标尺变了

不是比谁参数大

是比谁"智能密度"高

同样是 2B 参数

MiniCPM5-2B 能跑 agent 任务

能 tool calling 能 deep search

以前"大模型才能做的事"

现在小模型也能做了

而且能跑在边缘设备上

不联网 不断线 不用 API key

这对我的实际影响是什么

我开始把一部分推理任务从云端 API 迁移到本地小模型

不是本地跑不过云端

是本地有三个好处

成本为零

响应稳定

数据不出本机

做产品原型的时候

这两个条件比模型绝对能力更重要

我不需要 GPT-5 级别的能力

我需要一个稳定的 70 分模型

随时能跑 随时能换

这个需求 开源小模型完美满足


一句话总结

开源模型白菜化的时代

真正的差距不是"用哪个模型"

是"知道该测什么"

你会设计实验吗

你会用数据证明它修好了吗

这比你会多少种语言重要得多


你们现在本地跑过哪些开源模型

效果怎么样

评论区说说

← 返回列表