准确地说,deepseek并不是第一次布模型了。
在孟繁岐的视角来看,deepseek所公布的技术,一直以来都有不错的创意。
c10seai与ds也是有一些技术交流的,只不过两者合作并不紧密,孟繁岐也没有太将这个做量化的跨界公司放在眼中。
他认为,ds所做的稀疏没有高壁垒,仍旧受制于英伟达显卡。
换言之,孟繁岐虽然惊讶与deepseek-v3竟然弯道车,提前完成了他在两个技术方向上的设想,但这件事情总体来说还是在意料之中的。
孟繁岐早就想过可能会有其他公司抢先做到,也做好了心理准备
对比之下,deepseek-r1系列模型,则完全乎孟繁岐的意料。
尤其是r1-er0这一技术,可以说是完全在孟繁岐的理解之外。
在gpt展到第四代之后,让大模型对问题进行分析推理成为了提升模型性能的一个重要技术。
早期,有学者现了一个非常微妙的事情,在与大模型进行交流对话的时候,如果你对它说,“请一步一步好好思索分析这个问题”,仅仅只是添加了一句话,却起到了明显的作用。
经过学者们的测试,完全相同的模型,加上这句话作为提示词后,在各个数据集和指标上的验证结果都有了显著的提高。
在有些地方上,这么一句话带来的显著的效果甚至过将模型扩大几倍规模。
这个现让人们开始关注大模型的推理能力。
由于大模型生成每一个字的时候,都会将此前的所有文字考虑进去,这就导致了逐步分析问题的生成方式,其输出的稳定性和逻辑性,都要比直接生成一个结论要强不少。
在直接将gpt-4级别的模型训练得更高这件事情碰壁之后,让模型形成思维链便成了一大研究重心。
而今真正将0fth0ughts)思维链落实到大模型并公开使用的,只有gpt4-01。
推理系列的模型,会先针对提问进行一长串的分析和思考,逐一考虑各种可能性,最后才会开始尝试回答问题。
这种回答方式虽然慢了一些,但质量显然有了显著提升。
01系列的思考过程是不公开的,或者说,只会展现给用户一小部分摘要。
这么做的原因,是为了增加其他ai公司的模仿成本。
最先进的大模型是如何思考问题的,这个思索推理的过程是非常珍贵的信息。
因为此前,让大模型具有推理分析能力需要大量高质量的c0t思维链数据。
许多难题应该如何逐步推理,不仅要准备每一步的分析,还要交叉确认这些内容步骤正确。这比起大模型早期时代在互联网上到处摘抄文字,获取的难度和成本不可同日而语。