腾讯混元放出旗舰 Hy4 权重,公开下载不等于家用可跑

字号
iHOLYSHITVISUAL / TECH模型发布iHOLYSHIT / ILLUSTRATION
iHolyShit 主题示意图

腾讯混元开放旗舰模型、低精度版本和基础模型的权重下载。此前已有接口和轻量版本,这次变化是团队拿到正式旗舰的文件,可以自行测试,但仍需承担硬件成本和遵守许可。

十一月二十日,腾讯混元把旗舰模型 Hy4 的权重放到了 Hugging Face。公开仓库有面向对话的正式版本、采用较低存储精度的版本,以及尚未做对话调优的基础模型。三套权重面向不同需求:有人想复查正式版表现,有人想缩小存储开销,也有人想研究对话调优之前的模型。能调用接口和能拿到权重,是两件不同的事。前者是在别人的机器上提交问题,后者让有条件的团队自己控制测试环境。

这不是旗舰第一次露面

这不是旗舰第一次露面。十一月四日,它已经通过接口提供服务;按腾讯混元十一月十八日的发布说明,当时开放的是较轻的 Flash 版权重。更早的预览版也曾开放权重,因此这次不能说腾讯从来没有开放过同规模的模型。真正新增的是正式旗舰的三套权重可取。Together AI 十一月十九日展示了用托管模型读取图表,再把图表重建为网页的例子。这是服务商展示的一次具体任务,不是正式权重的第三方全面评测。

模型卡写明,语言主干有七千七百亿总参数,每处理一个词元会动用约四百九十亿,支持最长一百万词元的上下文

模型卡写明,语言主干有七千七百亿总参数,每处理一个词元会动用约四百九十亿,支持最长一百万词元的上下文。词元是模型分割和处理文字的单位。可以把混合专家模型想成有许多工作台的车间:一项活只分给其中几张台,而不是每张台都开工。但要在下一项活到来时还能换台,就得能调取整套设备。同理,每次参与计算的参数较少,并不能把存放全部权重的负担按比例砍掉;支持长输入也不表示每次都能准确抓住其中的关键细节。

许可同样要看版本

许可同样要看版本。早期预览采用 Apache 2.0,正式权重改用 Tencent Hy License 1.0。它给面向第三方提供模型服务的大型运营商设了额外许可条件,并不是禁止所有商业使用。对小团队而言,首先会碰到的往往不是能不能找到下载按钮,而是是否值得维护一套运行环境。对想检验模型的团队而言,权重则增加了复验的选择:可以让同一份材料在不同环境里重跑,不只读服务商演示。能否跑得起和能否稳定做对任务,仍要分别看。

我X科技观点 我更想知道开放权重后,哪些团队能把它变成可重复的工作,而不是又一张排行榜截图。接下来半年到一年,我会看有没有公开且可对照的图表读取测试:同一批原图是否能稳定读对数值与单位,失败样本有没有留下,不同版本的耗时和成本能不能一起对照。这样的记录,比一例漂亮的复刻更能说明旗舰版值得在哪些场景使用。

分享这篇文章

你觉得这篇文章怎么样?

匿名评价,无需登录,每篇最多 5 次。

读者评价

无需登录也可评价;登录后显示会员昵称。

请围绕科技与文章讨论。禁止仇恨歧视、政治战争话题、威胁辱骂、人身指控、色情、广告、链接及个人信息。

0/500

还没有评价,来说第一句吧。

来源