2026年8月28日腾讯混元大模型团队正式发布Hy4 preview——770B总参数、49B激活参数、1M上下文窗口采用Apache 2.0开源协议。这是国产大模型在参数量级上首次突破700B也是MoE架构在国产模型中的一次重要实践。目录一、事件概述二、MoE架构深度解析三、四大场景评测四、技术亮点五、开源项目实战六、总结与展望一、事件概述2026年8月28日腾讯混元大模型团队正式发布Hy4 preview——一个770B参数的MoEMixture of Experts大模型采用Apache 2.0开源协议。这是国产大模型首次在参数量级上突破700B也是继DeepSeek-V3之后第二个采用MoE架构的国产千亿级开源模型。核心参数参数值总参数770B7700亿激活参数49B每次推理激活专家数量16个每次激活2个上下文窗口1M tokens开源协议Apache 2.0训练数据15T tokens我的看法这个消息在AI社区引发了两极反应——一边是国产之光的欢呼一边是又一个大模型的质疑。客观来说Hy4的发布确实有几个值得关注的点一是MoE架构在国产模型中的首次大参数实践二是1M上下文窗口带来的应用想象空间三是Apache 2.0协议下的开源生态可能性。但也要清醒看到参数量不等于智能水平最终要靠社区检验。二、MoE架构深度解析MoEMixture of Experts的核心思想是把一个大模型拆成多个专家子网络每次只激活其中一部分在保持模型容量的同时降低计算成本。Hy4采用16个专家每次门控路由选择2个最相关的专家激活。这意味着虽然总参数高达770B但每次推理只计算49B参数计算效率约为同规模稠密模型的6.3倍。MoE vs Dense 对比对比维度MoEHy4Dense同规模总参数770B770B推理激活49B770B推理计算量~1/61x训练效率高稀疏激活低全参数更新实现复杂度高负载均衡、通信低三、四大场景评测腾讯官方公布了Hy4在四大场景的评测结果场景评测基准Hy4 score对比GPT-4o对比DeepSeek-V3代码HumanEval82.3%2.1%1.8%办公DocVQA91.5%3.2%2.5%游戏GameBench78.6%5.4%3.1%科学GSM-8K94.2%1.5%0.9%值得注意游戏场景的领先幅度最大5.4% vs GPT-4o这可能与腾讯在游戏领域的深厚积累有关——训练数据中可能包含了大量游戏对话和场景数据。办公场景的DocVQA表现也很亮眼1M上下文窗口在大文档处理上有天然优势。四、技术亮点4.1 1M上下文窗口Hy4采用YaRNYet another RoPE extensioN方法扩展位置编码从训练时的4K扩展到推理时的1M。同时使用Flash Attention 3优化长序列推理速度。实际意义1M上下文意味着可以一次性处理整本《三体》三部曲约900K tokens大型代码仓库数万行代码完整的法律合同文档包多轮对话历史上千轮4.2 开源双版本策略Hy4的权重、推理代码、技术报告全部开源。同时提供API服务支持LoRA精调。这一策略类似Meta的Llama系列——开源获生态闭源获收入。4.3 训练基础设施腾讯使用自研的Angel机器学习平台在2万张H100 GPU集群上训练耗时约3个月。采用ZeRO-3 TP PP混合并行策略。五、开源项目实战环境准备pip install transformers torch accelerate推理示例from transformers import AutoModelForCausalLM, AutoTokenizer import torch model_name tencent/Hunyuan-Hy4-preview tokenizer AutoTokenizer.from_pretrained(model_name) model AutoModelForCausalLM.from_pretrained( model_name, torch_dtypetorch.bfloat16, device_mapauto, trust_remote_codeTrue ) prompt 用Python实现一个快速排序算法并分析时间复杂度 inputs tokenizer(prompt, return_tensorspt).to(model.device) outputs model.generate( **inputs, max_new_tokens1024, temperature0.7, do_sampleTrue ) print(tokenizer.decode(outputs[0], skip_special_tokensTrue))部署建议Hy4推荐使用4×A100-80G或2×H100进行推理。使用vLLM框架可进一步提升吞吐量# 使用vLLM部署 pip install vllm python -m vllm.entrypoints.openai.api_server \ --model tencent/Hunyuan-Hy4-preview \ --tensor-parallel-size 4 \ --dtype bfloat16六、总结与展望Hy4 preview的发布标志着国产大模型在参数量级上首次进入700B俱乐部。MoE架构让大参数、低计算成为可能1M上下文窗口则打开了长文档分析、代码库理解等全新应用场景。但需要清醒看到参数量不等于智能水平Hy4的评测数据来自官方有待社区独立复现。开源生态的建立也需要时间——模型再强没有社区贡献的工具链、插件和应用也只是一堆权重文件。从更宏观的视角看Hy4的意义不在于超越了谁而在于国产大模型开始在MoE架构上做深度探索。这比单纯堆参数重要得多。
腾讯混元Hy4 preview发布：770B参数MoE开源，国产大模型迈入“万亿俱乐部“
2026年8月28日腾讯混元大模型团队正式发布Hy4 preview——770B总参数、49B激活参数、1M上下文窗口采用Apache 2.0开源协议。这是国产大模型在参数量级上首次突破700B也是MoE架构在国产模型中的一次重要实践。目录一、事件概述二、MoE架构深度解析三、四大场景评测四、技术亮点五、开源项目实战六、总结与展望一、事件概述2026年8月28日腾讯混元大模型团队正式发布Hy4 preview——一个770B参数的MoEMixture of Experts大模型采用Apache 2.0开源协议。这是国产大模型首次在参数量级上突破700B也是继DeepSeek-V3之后第二个采用MoE架构的国产千亿级开源模型。核心参数参数值总参数770B7700亿激活参数49B每次推理激活专家数量16个每次激活2个上下文窗口1M tokens开源协议Apache 2.0训练数据15T tokens我的看法这个消息在AI社区引发了两极反应——一边是国产之光的欢呼一边是又一个大模型的质疑。客观来说Hy4的发布确实有几个值得关注的点一是MoE架构在国产模型中的首次大参数实践二是1M上下文窗口带来的应用想象空间三是Apache 2.0协议下的开源生态可能性。但也要清醒看到参数量不等于智能水平最终要靠社区检验。二、MoE架构深度解析MoEMixture of Experts的核心思想是把一个大模型拆成多个专家子网络每次只激活其中一部分在保持模型容量的同时降低计算成本。Hy4采用16个专家每次门控路由选择2个最相关的专家激活。这意味着虽然总参数高达770B但每次推理只计算49B参数计算效率约为同规模稠密模型的6.3倍。MoE vs Dense 对比对比维度MoEHy4Dense同规模总参数770B770B推理激活49B770B推理计算量~1/61x训练效率高稀疏激活低全参数更新实现复杂度高负载均衡、通信低三、四大场景评测腾讯官方公布了Hy4在四大场景的评测结果场景评测基准Hy4 score对比GPT-4o对比DeepSeek-V3代码HumanEval82.3%2.1%1.8%办公DocVQA91.5%3.2%2.5%游戏GameBench78.6%5.4%3.1%科学GSM-8K94.2%1.5%0.9%值得注意游戏场景的领先幅度最大5.4% vs GPT-4o这可能与腾讯在游戏领域的深厚积累有关——训练数据中可能包含了大量游戏对话和场景数据。办公场景的DocVQA表现也很亮眼1M上下文窗口在大文档处理上有天然优势。四、技术亮点4.1 1M上下文窗口Hy4采用YaRNYet another RoPE extensioN方法扩展位置编码从训练时的4K扩展到推理时的1M。同时使用Flash Attention 3优化长序列推理速度。实际意义1M上下文意味着可以一次性处理整本《三体》三部曲约900K tokens大型代码仓库数万行代码完整的法律合同文档包多轮对话历史上千轮4.2 开源双版本策略Hy4的权重、推理代码、技术报告全部开源。同时提供API服务支持LoRA精调。这一策略类似Meta的Llama系列——开源获生态闭源获收入。4.3 训练基础设施腾讯使用自研的Angel机器学习平台在2万张H100 GPU集群上训练耗时约3个月。采用ZeRO-3 TP PP混合并行策略。五、开源项目实战环境准备pip install transformers torch accelerate推理示例from transformers import AutoModelForCausalLM, AutoTokenizer import torch model_name tencent/Hunyuan-Hy4-preview tokenizer AutoTokenizer.from_pretrained(model_name) model AutoModelForCausalLM.from_pretrained( model_name, torch_dtypetorch.bfloat16, device_mapauto, trust_remote_codeTrue ) prompt 用Python实现一个快速排序算法并分析时间复杂度 inputs tokenizer(prompt, return_tensorspt).to(model.device) outputs model.generate( **inputs, max_new_tokens1024, temperature0.7, do_sampleTrue ) print(tokenizer.decode(outputs[0], skip_special_tokensTrue))部署建议Hy4推荐使用4×A100-80G或2×H100进行推理。使用vLLM框架可进一步提升吞吐量# 使用vLLM部署 pip install vllm python -m vllm.entrypoints.openai.api_server \ --model tencent/Hunyuan-Hy4-preview \ --tensor-parallel-size 4 \ --dtype bfloat16六、总结与展望Hy4 preview的发布标志着国产大模型在参数量级上首次进入700B俱乐部。MoE架构让大参数、低计算成为可能1M上下文窗口则打开了长文档分析、代码库理解等全新应用场景。但需要清醒看到参数量不等于智能水平Hy4的评测数据来自官方有待社区独立复现。开源生态的建立也需要时间——模型再强没有社区贡献的工具链、插件和应用也只是一堆权重文件。从更宏观的视角看Hy4的意义不在于超越了谁而在于国产大模型开始在MoE架构上做深度探索。这比单纯堆参数重要得多。