繁体
<!--go-->
孟繁岐并不是第一次听说DeepSeek的名字,虽然此前DS在大众之中不能说是完全无人知晓,但说它是籍籍无名也不为过。
比起天然拥有海量客户的互联网大厂们推出的AI模型,DS即便免费,但终究天然地在积累用户方面有着巨大的劣势。
孟繁岐此前注意到DS,主要便是因为他们的技术路线与孟繁岐的几个设想相似。
由于在降低技术成本上颇有建树,DS的API价格要低于市场平均水平许多,这使得它慢慢积累了一些技术型的用户。不过这个规模在孟繁岐眼中,还远远上不了桌。
前两个月,DeepSeek已经迭代到了第三代。
逐渐缩小的性能差异并没有引起孟繁岐足够的重视。
而今天,详细的技术报告以及R1版本的发布,才终于让他明白,自己实在是后知后觉。
震撼到孟繁岐的并不是单纯性能上的逼近,而是诸多技术细节透露出的海量信息。
比如,FP8的成功实现。
孟繁岐有些不相信这个事实。
半精度和FP8是他一直在大力推动的事情,而现在,DS反而成为了首个在超大规模模型上证明了FP8训练完全可行的公司。
孟繁岐沉着脸,翻阅着DS的技术报告,他们对框架内部的操作细节并不吝啬。
哪些核心操作做了FP8的量化,在什么步骤应该转回BF16,又在哪里应该使用全精度FP32计算,标注十分详细。
Loading...
未加载完,尝试【刷新】or【退出阅读模式】or【关闭广告屏蔽】。
尝试更换【Firefox浏览器】or【Edge浏览器】打开多多收藏!
移动流量偶尔打不开,可以切换电信、联通、Wifi。
收藏网址:www.yuesekanshu.com
(>人<;)