据市场报道,有知情人士透露,在上个月的Seed团队全员大会上,字节跳动创始人张一鸣罕见表态称,字节跳动不会把蒸馏当作提升AI模型能力的捷径,即便这意味着公司眼下落后于国内竞争对手。
今年以来,国内AI大模型竞争已经极为激烈,几乎每隔几天就有新模型发布,而蒸馏可使得新模型直接学习现有先进模型的推理步骤,大大节省时间和成本。
但张一鸣表示,字节应该愿意为了更长远的目标,牺牲一些短期利益。
有字节员工表示,Seed团队内部关于是否应转向蒸馏的争论已久。每当国内发布新开源模型后,该争论就会进一步升温。目前大部分AI公司更专注于开源模型,而字节跳动是国内主要AI公司中唯一一家大语言模型几乎全为专有模型的企业。
据了解,字节跳动内部对开源模型严禁蒸馏,甚至通过API检测等方式在内部加强相关限制,张一鸣认为,蒸馏会干扰真正意义上的长期技术突破。
有分析认为,张一鸣的这种表态,是在字节Seed内部定调,给团队技术路线传递更为明确的方向。
此前今日资本创始人徐新曾在一次播客里表示,目前,张一鸣50%的时间放在Seed上面。