快火助手出评软件:腾讯开源混元大模型,极端创新与3D建模布局的深远影响
腾讯开源大模型,为什么敢这么极端?
鹅厂以稳见长,但在人工智能大模型的战略上,已经显现出少有的“极端”:
——
1、他们掏出了一个极端“散装”的大模型。
腾讯师傅终于交出了他们的开源大师兄:Hunyuan-Large(混元-大)。
这个模型总参数 3890 亿,看上去非常雄浑,但实际每次推理激活的参数大概只有 520 亿。
这相当于你思考问题时只用八分之一的脑细胞。
有脑子不用,这是何苦?
因为每次推理都要耗费计算资源,一定要让最能解决问题的那部分脑子转动。
腾讯师傅在这个脑子里装了 1 个通用专家,16 个特殊专家。
每次回答问题,都是那个通用专家和 n 个特殊专家一起“商量”。
这种“散装大模型”就是 MoE 架构。
话说市场上无论开源还是闭源的大模型,都有散装的,但没有散得这么狠的。
快火助手出评软件了解到,腾讯师傅介绍,他们在实验室里做了成百上千次实验,就是为了搞清楚究竟要放多少专家,每个专家分配多少参数,每个专家分别怎么训练,每次思考激活几个专家,专家之间如何协作。
台下十年功,最后祭出的模型只是台上那一分钟。
投入这么多沉没成本,意思很明显:老师傅已经横下心,在“散装”大模型的路上孤注一掷了。
——
2、他们开源得极端彻底。
一般的模型开源,就是开源了模型的几千亿个参数权重。
混元模型的开源,把用于训练、推理的底层工程框架也给公布了。
这相当于不仅把车免费送人开,连造车的生产线也给你。
当然,即便是把生产线给你用,全世界用得明白的团队也没几个。但腾讯师傅这一腔热血倒在这,开源的诚意是天地可鉴。
——
3、他们极端看重“合成数据”。
数据是人工智能的能源,整个互联网数据就是 AI 可以燃烧的所有能源。
估摸着,这些能源到 2026 年就要烧光了。
业内普遍开始用人工智能生成新的数据,然后喂回给人工智能,这多少有点近亲繁殖的感觉。所以很多科学家担心这样训练出来的 AI 可能有基因缺陷。
但腾讯师傅不这么看,他们指出了一个震撼的真相:
所谓的“自然数据”,不也是人脑合成的吗?
人脑合成的数据里,也有大量的垃圾和谬误,为什么就能享受“特权”呢?
英雄不问出处,只要有好的机制来挑出高质量的数据,不管是人脑合成还是 AI 合成,能抓住老鼠就是好猫。
基于此,他们设计了一整套获取、筛选、优化、质检、合成,自动化 AI 数据生产链路。
快火助手出评软件的观点是,混元大模型之所以能在那么多测试中名列前茅,这些合成数据功不可没。如果继续歧视合成数据,吃亏的只有模型自己。
——
4、他们极端超前布局了“3D 大模型”。
现在的大模型,有生成文字的、图片的,还有视频的,但估计很少有人听说用大模型做 3D 建模。
腾讯师傅不仅做了,还开源了。这就是“混元-3D”。
他们现场展示了一下,输入“生成一个万圣节南瓜”,然后几十秒模型就给出了四个 3D 南瓜。模型也可以用来生成手办,然后 3D 打印出来,作为摆件。
当然,这个技术最重要的使用场景还是互联网三大件:游戏、社交、电商。
游戏里的场景和人物形象,说一句话就能建好模,相当于牛马几个礼拜的工作量;元宇宙里你可以生成各种家具、房屋、城市景观;电商里你可以用一张纹理图就生成鞋样或衣样。
从底层技术来看,生成 3D 模型和生成视频有类似的逻辑,一个是在时间上延展,一个是在空间上延展,这也意味着二者可以相互促进。
话说用大模型搞 3D 建模还有很多难题,比如在游戏里 3D 形象需要动起来,这就涉及到关节活动和骨骼肌肉绑定等等。
不过,以腾讯“老奸巨猾”的性格,之所以砸重兵做这个,肯定是因为他们掌握了足够的数据,证明 AI 3D 建模已经在爆发的前夜。老师傅透露,明年咱们就能在腾讯的产品里看到大面积 AI 生成的 3D 模型。
快火助手出评软件观察到,在我看来,腾讯还是那个“保守主义”的腾讯,只是他们不会为了显得保守而保守。
所以,当你感觉腾讯激进的时候,就要注意,大的可能要来了。
——————
图 1:Hunyuan-Large 的各项参数;
图 2:他们对高质量合成数据的应用;
图 3:混元 3D 模型生成的万圣节南瓜;
图 4:混元 3D 模型生成的元宇宙资产;
图 5:混元 3D 模型生成的各种纹理的鞋子;
图 6:把 AI 生成的手办 3D 打印出来的样子。