襄阳隔热条PA66厂家 大模子Infra新冲破！腾讯混元开源LLM理算子库，理蒙胧擢升30

大模子竞赛中襄阳隔热条PA66厂家，算力不再仅仅堆显卡，是率。

面临 H20 等理卡在主流算子库下难以跑满能的痛点，腾讯混元 AI Infra 团队矜重开源分娩能 LLM 理核默算子库 HPC-Ops。

该算子库罗致 CUDA 和 CuTe 从构建，通过综化工程架构、微架构度适配及辅导致化等，裁减底层算子建筑门槛，将核默算子能靠近硬件峰值，已矣了显耀能冲破。

在真正场景下，基于 HPC-Ops，混元模子理 QPM 擢升30，DeepSeek 模子 QPM 擢升17。

同期，在单算子能面，HPC-Ops 已矣 Attention 比拟 FlashInfer/FlashAttention 擢升 2.22 倍；

GroupGEMM 比拟 DeepGEMM 擢升 1.88 倍；FusedMoE 比拟 TensorRT-LLM 擢升 1.49 倍。

主流算子库亟需适配的底层支执

在大模子期间，预备率已成为 AI 应用及发展的关节瓶颈。

现在主流算子库（如 FlashInfer、DeepGEMM）多以NVIDIA H800等配磨练卡为要化连系，但限于客不雅原因，不少大模子的大限制线上理行状只可罗致 H20 等理型预备卡。

现存 SOTA 算子库在这些显卡上常常难以阐扬硬件峰值才智。

同期业务侧对致蒙胧、低延伸以及 Blockwise FP8 等复杂量化计谋的需求日益紧迫，亟需适配的底层支执。

追忆来看，现存主流算子库主要存在以下痛点。

使用资本

主流算子库遐想复杂，中枢 Kernel 封装，在其上修改适配资本相等，除了对代码相等闇练的建筑者，鄙俚的 AI 计划者很难在其上适配修改。

而大模子的许多加快计划改换，比如量化算法和投契采样等法都严重依赖于与之匹配的算子已矣。

比如初始 4bit 和 8bit 的量化算法出来后，固然表面上加载数据量减少，但由于莫得与之匹配的低精度算子已矣，低精度量化在很长的段时辰内都是负化。

连系硬件不匹配

现存的主流算子库都所以 H800 等显卡为连系化、NVIDIA 提供的 CUTLASS 等算子所以 Blackwell 架构为连系，而现在国内主流的理显卡则有所不同。

不同硬件间算力带宽的差距致 Kernel 的化法也会不同，因此现存的算子库在国内主流理卡上的推崇并未阐扬出硬件的一齐能。

基于以上问题，腾讯混元使用 CUDA 和 CuTe 建筑了套轻量、的 LLM 核默算子库。

用 CUDA 和 CuTe 从构建

该算子库主要包括 FusedMoE、Attention、机内 / 机间通讯、Norm、Sampler、以及种种小算子的融算子模块，举座算子库架构如下图所示。

通过分析任务特和硬件微架构，将任务的永别逻辑与硬件辅导作念了好的对皆，以此取得好的能，何况对工程代码进行了收尾的综，让建筑者能聚焦于算法自己，裁减爱戴门槛。

该算子库不仅是能分娩器具，也可动作建筑者入聚积 CUTLASS 与 CuTe 工业建筑的履行范本，具体的时刻细节如下。

任务特与硬件才智对皆襄阳隔热条PA66厂家

针对访存瓶颈的算子，其能主要受限于数据加载速率。

针对国内的主流理显卡，通过赈济辅导放射法规进行数据预取化，确保数据传输单位直处于哄骗率。

针对不同的问题规格作念了细致的辅导对皆和化，去除冗余低辅导以减少算力的亏损，如针对 Decode Attention 和小 batch 下的 GroupGEMM 都作念了 AB 矩阵交换的化；

以此对皆到硬件架构上的 wgmma 辅导，访存带宽可达到硬件峰值才智的 80 以上。

Attention SwapAB 默示图精细的任务转念和数据重排

针对每个算子问题，都再行念念考了任务数据的永别转念计谋，尽可能保证每个 SM 都任务平衡的同期兼顾 cache 的连气儿。

何况罗致了 persistent kernel 的式遮掩 kernel prologue 和 epilogue 的支出。

另外也通过数据重排减少了特的操作和显存占用。

比如在 FP8 Attention Kernel 中改换罗致了 Interleave 重排时刻，科罚了辅导不匹配的问题，减少线程间数据 shuffle，塑料挤出设备取得了于业界 SOTA 的算子能。

聚焦于预备逻辑自己

GPU 编程的复杂度很猛进程上起于操作的复杂，为了能使用辅导，般需要对数据进行屡次的重解说和变换等编程手段，这大大加剧了建筑者的心智使命。

因此基于 CuTe 扩张建筑 vec 综层统负责数据搬运，哄骗 Layout 代数综进犯复杂的 Tiling 与预备逻辑，让建筑者能聚焦于算法自己，裁减爱戴门槛。

关节实验成果

通过以上算子已矣，在混元模子上将 QPM 端到端擢升 30，DeepSeek 上 QPM 擢升 17。

同期针对 LLM 中核算子模块进行了测试，以常用的模子规格（混元、DeepSeek）进行了测试，并对比了现在主流的算子库已矣。

实验标明，在 LLM 的中枢模块 Attention 和 FusedMoE 上的能都越当下 SOTA 已矣。

GroupGEMM

与 DeepGEMM ( v2.2.0 ) 的两种版块进行对比，在 Batch

且通过活水线掩盖时刻 Blockwise 与 PerTensor 能险些执平；

在大 Batch 场景下，亦能保执约 1.1x 的先势。该算子同期兼容紧密排布与 Token 不连气儿输入，显耀减少临时显存用量。

GroupGEMM 能对比图 FusedMoE

完好封装了包括前序数据重排、GroupGEMM 及后续 Reduce 加权平均在内的全经过模块 .

并在序列长度取 16 倍数的平衡分拨规格下，对比了 vLLM （v0.11.0）与 TensorRT-LLM （v1.1.0）的已矣。

测试成果认知，该 FusedMoE 模块在 TP 场景下比拟 TensorRT-LLM 擢升显耀，大能擢升达 1.49x；在 EP 模拟平衡场景下大擢升 1.09x。

针对不同输入长度选用的互异化重排计谋，跨越确保了举座模块在种种规格下的推崇。

FusedMoE 能对比图 Attention

针对 Prefill 场景，测试 128～64K 的输入长度。

在 batch 较小时，BF16 精度下比拟 SOTA 已矣擢升 1.3x；在大 batch 时基本与刻下 SOTA 对皆。

针对 Decode 场景，阐述线上 SLO 不断，搭配组 batch 和输入长度的测试用例，BF16 精度下提 1.35x～2.22x；

FP8 精度下，当 Sequence Length 较小时与 SOTA 顶，当 Sequence Length 较大时比拟 SOTA 擢升 1.09x~2.0x。

Attention 能对比图算子库刻下才智和异日发展向

动作面向大模子理场景的能算子库，HPC-Ops 凭借 Attention、FusedMoE、GroupGEMM 等核默算子的致化，达成 2.22 倍的能擢升，且已在腾讯大限制分娩环境中完成考据。

其放肆易用的 API 可缝对接 vLLM、SGLang 等主流理框架，原生支执 BF16、FP8 等多精度量化案。

同期还以 CuTe、CUTLASS 为基础，提供了数百行代码即可构建 SOTA 算子的履行范例，为建筑者裁减了能 CUDA 内核的建筑门槛。

在异日的发展运筹帷幄中，HPC-Ops 将执续耕大模子理能的冲破向。

面，将研发稀罕 Attention 算子，针对科罚长险阻文大模子的内存与算力瓶颈；

另面，会拓展丰富的量化计谋，覆盖 4bit/8bit 混精度等大宗化案，跨越平衡理速率与模子精度。

此外，算子库还将布局预备 - 通讯协同化的内核，通过融多 GPU 间的预备逻辑与通讯经过，大幅裁减踱步式理场景下的通讯支出，为大限制大模子的部署提供底层复古。

现在，HPC-Ops 已在 GitHub 洞开源码供建筑者下载使用。

同期腾讯混元 Infra 团队也涌现，宽宥行业内的时刻履行者提交价值 PR，参与算子角落场景化、教程案例磨等化孝敬，共同动大模子理时刻的鸿沟拓展。

GitHub 名堂地址：https://github.com/Tencent/hpc-ops

键三连「点赞」「转发」「提神心」

宽宥在评述区留住你的方针！

—  完  —

咱们正在招聘名眼疾手快、和顺 AI 的学术裁剪实习生  � �

感钦慕的小伙伴宽宥和顺 � �  了解深信

� � 点亮星标 � �

科技前沿进展逐日见襄阳隔热条PA66厂家