DeepSeek Harness、DeepSeek-V4.1-Flash、Codex
背景
DeepSeek-V4.1-Flash在正式发布后,我花了大价钱跑了超过50个小时的长任务,见全网都在测鹈鹕,我用 DeepSeek-V4.1-Flash 跑了50+小时、超5000MTokens消耗的真实开发任务
在这篇文章的结论中,我评价DeepSeek-V4.1-Flash的智商为:
脑子很好使,能上清北,绝对有
GPT-5.6 sol级别的智商
但是,昨天凌晨的时候发生的一些事让我一度十分怀疑我的结论是不是给得草率了。
本来打算十来二十分钟改完东西就上床睡觉,结果直接给我整精神了,和DeepSeek-V4.1-Flash怒喷两小时,具体过程我就不说了,贴几张截图。
我从来没想过有一天我会和大模型激情对线,上一次还是8年前在大学玩LOL的时候。
昨天晚上(实际是09-18凌晨)实在想不过,难不成DeepSeek-V4.1-Flash也走上了GPT的老路,发布即巅峰?所以在DeepSeek Harness里测试了一个之前群友测试的小玩意。
分别用High档位和Max档位跑了一次,测试结果非常非常不满意,我看着都脑溢血,直接给归档了(77kBtoken的被我中断了,不作数),效果就不说了(主要文件也删了)。
这么说吧,09-10号群友在群里发这个小测试的时候,我当时就测试了,而我归档的这两个结果比起09-10号的结果是地和天的差距(下图第一张是High档位、第二张是Max档位)。
当时也有其他群友测试了,比较抽象的有:
比最初发起测试群友的效果更好的一个如下
再测试
今天下班还是不得劲,由于我的ChatGpt Plus账号周限后天才恢复,鬼使神差的我把API接到了Codex里面,让它也跑了一下这个测试,结果是——核炸椅瘫坐(尽管一眼就看出来胡须多了)!!!
为了方便对比,这里把群友的测试原图再单独贴一下。
由于这次测试时我还在跑其他任务,不知道到底花了多少Token,所以我使用Codex再跑了一次,使用DeepSeek Harness @deepseek-ai/dsh@0.1.5-rc.2再跑了两次,模型和档位都是deepseek-flash + Max,使用的都是同一个工作区,会话和原图都从群里原来的对话复制,每次测试都先把上一次测试产出的结果移动到其他位置汇总,保持工作区为空,然后归档并删除会话再开始,分别统计用时、Tokens、费用消耗,结果如下(四舍五入取值)。
| 测试名称 | 用时(单位:分钟) | Token消耗(单位:M) | 花费(单位:RMB) |
|---|---|---|---|
| Codex第一次测试 | 46 | 未统计 | 未统计 |
| Codex第二次测试 | 20 | 15.7 | 1.21 |
| DSH第一次测试 | 13 | 13.4 | 0.87 |
| DSH第二次测试 | 16 | 32 | 1.31 |
从结果来看,DSH加DeepSeek-V4.1-Flash缓存命中要更高(算下来每百万Tokens单价Codex约为0.07,DSH约为0.04),从效果来看,Codex第一次超神,第二次较第一次结果天差地别,但即使是第二次也都好过DSH的任何一次,以下截图按顺序分别为Codex第二次测试、DSH第一次测试、DSH第二次测试、测试结果合并存放。
在开始Codex的第二次测试之前,我原本以为是DSH拖了DeepSeek-V4.1-Flash的大后腿,但当Codex的第二次结果出来后,这个结论就有点站不住脚了,测试样本太少,只有两次,不能得出完全可靠的结论,DSH的理念很好,现在插件很多,但主要集中在功能性质,真正深度修改玩转创造模式的很少,就算未来社区出现了玩转创造模式的牛人,打造出100分的模式,那么DSH官方自己怎么也得要做到90分吧,从目前来看,距离90分,DSH还有比较长的一截路要走。
注:使用DSH测试时仅开启了如下图所示的插件并在测试前重启了DSH
由于我在测试前把会话彻底删除了,所以现在也没法追踪Codex第一次测试的更多细节,不知道是第一次测试巧合撞到了DeepSeek-V4.1-Flash的上限能力,还是说即使官方不对大模型做降智,大模型发挥的智商范围也会比较大,训练大模型是炼丹,使用大模型是抽卡(那么DSH是非酋)?唯一不太确定的是Codex第一次测试好像思考的时候很多中文,但不确定思维链是不是中文,也有可能是记岔了。
能稳定发挥DeepSeek-V4.1-Flash智商的后训练版本以及真正能放大DeepSeek-V4.1-Flash能力做到1+1大于2的DSH究竟何时才能端上来?急急急!!!
最后贴一下后面三次测试会话结束时的截图。
以上。
这篇实测提醒:模型能力不等于工具链表现,DSH 成本占优但稳定性与创造模式尚欠火候,适合关注 AI 编程工具选型与评测的读者参考。