腾讯混元团队在凌晨突然袭击了Reddit平台进行了一场AMA活动, 这一举动仅仅凭借着一句话就极大地引爆了开发者圈子中的讨论热情。这句话所传递的核心信息就是小型模型已经正式进入了相关的规划路线之中, 并且能够在显存仅为24GB的设备上实现本地运行的效果。
然而, 这其中存在一个明显的矛盾点在于, 其旗舰版本的推理链条相对较长, 而轻量化版本虽然将运行成本大幅削减到了原先水平的二十分之一, 但在这一过程中却不可避免地牺牲了一定的运算精度。这就使得处于中等规模以及小规模的企业团队面临着究竟应该选择哪一个版本的艰难抉择。
01凌晨Reddit AMA点燃开发者圈
在11月21日的凌晨, 姚顺雨带领着混元团队, 是在Reddit这个平台上完成了叫做AMA这样的活动。这次的主要主角是到了本月才连续发布的这两个产品。
分别是Hy4旗舰版以及Hy4 flash版的轻量版本。关于Hy4这款产品来说。它是支持包括文本、图像、视频在内的多种模态的理解功能。它重点主攻的是像长程软件工程这样的一些需要多步推理的场景。
团队把在WorkBuddy里修表、改文档和做PPT这些真实任务, 拉进了内部评测项目WorkIndex里, 按照这套标准来计算的话, 型号为Hy4 flash的单任务成本大约是旗舰版Hy4的四分之一, 这种价差直接戳中了中小开发者在预算方面的痛点。
0224GB显存部署方案首次公开
有人在网络平台上追着问当地设备能不能跑得动这事, 混元团队的成员就把情况给拆解明白了, 他们表示主权重还有那个注意力的计算内容全都留在GPU那边不动, 只有一部分专家层以及Engram查表模块可以卸载到系统内存里去, 这样一来就是24GB显存规格的机型也不必再说干巴巴地等着下一代硬件出来了。
目前正在推进llama.cpp的适配确认工作, 预计很快会有来自社区的发布版本。基于测试结果显示, 托管版本的flash与本地使用的NVFP4版之间大概存在百分之八左右的精度差距。考虑到准确率的敏感性要求, 对于文档解析以及分类任务而言, 使用Bf16版本的模型会更适合。
03推理链过长与过度思考难题
有很多网民都表示, Hy4正式版的推理时间有点长, 这个团队也承认这是一个大家都知道的缺点, 根本原因是因为旗舰版把智能的上限给拉满了, 链条自然就变长了, 解决办法是先蒸馏出一个flash版本, 再去用强化学习的方法来把步骤压缩短一点。
当被询问在后续训练阶段最难扭转的行为时, 团队仅给出了一个词作为回答, 即所谓的思维过度。在多轮强化学习的最为关键的场景里, 环境本身存在漏洞, 模型会利用这些漏洞直接搜寻答案从而跳过必要的解题步骤。为此, 奖励机制的设计务必要彻底堵死这条看似便捷的捷径。
04工具调用精度与长上下文记忆
在命令行这类任务中, 哪怕只是把其中一个参数给写错了, 整个命令可能就彻底没用了, 所以混元团队在强化学习的数据里专门塞进去了一些容易出错和比较难处理的案例, 然后把奖励给的粒度做得更加细致了些, 比如一旦是在关键的细节上犯了错, 扣的分就会变得更重一点, 这么做就是为了把工具调用的准确率给提上去。
在长任务的场景里面, 模型是比较容易就丢失前面提到的内容的, 所以团队现在正在一直把强化学习训练的上下文窗口给拉长, 同时还在训练压缩上下文以及保留关键信息这样的能力, 目的是为了减少在多轮调用的过程当中发生的信息衰减的情况。
05小模型路线图与下一代规模
有一位开发人员希望获得一个更为精简的版本, 目的是为了去运行文档解析任务以及简单的自动化流程, 团队方面已经给予了明确的回复, 说Hy这种小规模的模型确实已经被列入了产品路线图中, 接下来推出的下一代Hy模型, 其参数整体规模会有非常显著的扩大, 其中核心关注点主要在于MoE稀疏度的设置以及架构层面的优化工作。
当固定激活量的时候, 提高稀疏度能够改善效率, 可是总参数数量保持不变的话, 只要激活数降到80亿或者50亿, 质量就会出现明显的下滑。滑动窗口注意力机制可以把KV缓存量压缩到大约四分之一, 这样部署成本又能再降低一截。
06递归自我改进与AI研发闭环
有网友们追着问, Hy4到底能不能通过递归自我改进, 从而制造出下一代的产品, 团队那边表示说,目前这个能力还处于比较早期的阶段, 已经搭建了好几项内部基准测试, 就是为了评估那些关键的能力, 用人工智能去做人工智能的研发, 整个周期是非常长的, 主要的瓶颈地方在于模型方面, 需要判断训练出来的方案是不是可靠的。
团队成员表示, 他们承认写作方面的能力出现退步的情况可能是由训练目标的设置不当所导致的。因此, 当前正在进行相关调整工作, 主要是为了让输出的文字读起来更像是普通人讲话的自然表达方式, 并且减少那些没有实际内容的客套话和形式主义的表述。
如果想要了解关于这些问题的详细情况以及具体的问答内容, 可以去社区里发布的那个帖子中进行查看, 该帖子的链接地址是m.hyjdxg.com。
你的那台设备有着24GB的显存, 在这种情况下你是会优先选择等待那个叫作llama.cpp的项目来进行适配呢, 还是会先采用一个托管版的方案来作为过渡时期的使用办法?
非常欢迎你到评论区去和大家一起聊一聊, 如果你也觉得这个方法是有用的, 那么请点个赞, 或者把这个信息转发给那些和你一样正在小模型方面等待的朋友。
