文心一言5发布了,但是发布会上对于文心5的宣传力度没那么大,老罗数字人反倒是印象深刻一些。百度在强调应用,淡化基模的宣传。 文心一言5是一个让人喜忧参半的模型。 喜的部分是,表现确实上来了,在多项benchmark里排在国产前列,罕见参与了lmarena的打榜,效果不错 忧的部分是,参数量实在是太大了,足足2400b,激活72b,是同样表现模型的十倍参数。 从好的方面解读,首先百度具有超大规模预训练的实力,这种参数能玩得起的公司很少,其次就是百度对于先进能力的探索依然激进,是少数对标谷歌,直接进行多模态预训练,之后拆分文本进行后训练的玩法 从不好的方面解读,参数量实在是太大,这就导致越用越亏,表现和参数量没那么匹配,这也许就是多模态预训练架构存在的问题。 总的而言,文心5.0一跃重回第一梯队值得庆祝,但还需要努力,提升空间依然很大~