2025-05-29 02:31:02 5,738次浏览

新智元报道

编辑：英智

【新智元导读】Meta推出KernelLLM，这个基于Llama 3.1微调的8B模子，竟能将PyTorch代码自动转换为高效Triton GPU内核 。实测数据显示，它的单次推理性能逾越GPT-4o和DeepSeek V3，多次天生时得分飙升 。

在AI领域，参数规模曾被视为「性能天花板」 。

Meta最新宣布的KernelLLM，却用8B参数的「小身板」，在GPU内核天生使命中把200B的GPT-4o按在地上摩擦 。

这是一个基于Llama 3.1 Instruct举行微调的8B参数模子，旨在将PyTorch？樽远晃咝У腡riton GPU内核 。

KernelLLM简直是GPU内核开发神器，用更少的参数实现了更强的性能，且简朴易用 。

它只有8B参数，可是在KernelBench-Triton Level 1，单次推理性能凌驾了GPT-4o和DeepSeek V3 。

通过多次推理，KernelLLM性能优于DeepSeek R1 。

这一切都来自一个参数规模比竞争敌手小两个数目级的模子 。

@Denis Kanonik吐槽「这又是用测试集训练的吗？」

KernelLLM让内核开发更易上手

KernelLLM是一款基于Llama 3.1 Instruct的8B模子，专门针对用Triton编写GPU内核的使命举行了训练 。

它能让GPU编程变得更简朴，实现高性能GPU内核天生的自动化 。

KernelLLM通过自动化天生高效的Triton实现，知足对高性能GPU内核日益增添的需求 。

随着事情负载的增大和加速器架构的多样化，对定制化内核解决计划的需求显著增添 。

现在市面上许多相关工具，要么只能在测试的时间优化，要么就只盯着KernelBench的问题调优，很难应对更普遍的场景 。

KernelLLM是首个在外部（PyTorch，Triton）代码对数据上举行微调的LLM 。

Triton内核天生事情流程

把PyTorch代码输进去，KernelLLM就会天生Triton内核候选代码 。

然后用单位测试来验证这些代码，用随机输入跑一跑，看看输出对差池 。要是天生好几个候选代码，还能比比哪个最好，挑出最优的 。

KernelLLM的Triton内核天生流程：用KernelLLM把PyTorch代码翻译成Triton内核的候选代码 。天生的代码会通过单位测试验证，测试用已知形状的随机输入数据运行内核 。这个流程支持天生多个候选代码（通过 pass@k评估），增添候选数目来提高质量，最后选出最好的Triton内核实现作为输出（绿色部分）

为了训练这个模子，团队可是下了大功夫，用了25000多对（PyTorch，Triton）代码示例，尚有合成的样本 。

这些数据一部分来自TheStack的过滤代码，一部分是通过torch.compile () 和提醒手艺天生的 。

数据集KernelBook，参考链接：https://huggingface.co/datasets/GPUMODE/KernelBook 。

训练时用的是Llama3.1-8B-Instruct模子，在自界说数据集上做了监视微调（SFT），测试它在KernelBench-Triton上天生准确Triton内核及挪用代码的能力 。

KernelBench-Triton是基于KernelBench[Ouyang et al. 2025]开发的变体，专注Triton内核天生 。

训练和评估时，PyTorch代码会设置一个包括名堂示例的提醒模板作为指令 。

模子训练了10个epoch，批巨细为32，接纳标准SFT要领，超参数凭证验证集的疑心度（perplexity）来选择 。

训练用了16个GPU，共耗时12小时（192 GPU小时），报告了最佳检查点的验证效果 。

性能评估

只管模子规模较小，但其性能可与最先进的LLM相媲美 。

KernelBench-Triton测试中，8B参数的KernelLLM，单次推理得分20.2，比671B参数的DeepSeek V3（16分）和200B参数的GPT-4o（15分）都高 。

要是多天生几个候选代码，得分还能蹭蹭往上涨，天生10个的时间能到51.8分，20个的时间能到57.1分 。

KernelLLM推理用temperature=1.0和top_p=0.97运行 。

在KernelBench上测试了模子，这是一个开源基准测试，用于评估LLM编写的高效GPU内核的能力 。

它包括250个全心挑选的PyTorch？，按负载调解，从简朴的单操作（如Conv2D或Swish，Level 1）到完整的模子架构（Level 3） 。

它在差别难度的使命里体现都很稳，不管是简朴的单个操作符，照旧重大的模子架构，都能应对 。

测试会同时降低代码的准确性（通过与参考PyTorch输出比照）和性能（通过与基准实现的加速比） 。

团队开发了一个新的KernelBench-Triton变体，专门评估LLM天生Triton内核的能力，很是适合测试KernelLLM 。

所有测试都在NVIDIA H100 GPU上完成 。

KernelLLM在pass@k中体现出近似对数线性的扩展行为

KernelLLM怎么用？

先装几个依赖包：

用的时间，先导入库，挪用generate_triton函数，就能天生优化后的Triton代码啦 。

KernelLLM提供了一个简朴的接口，用于从PyTorch代码天生Triton核 。

要是不想写剧本，还能直接运行python kernelllm.py，使用内置的REPL接口，翻开交互式界面，实时看效果 。

kernelllm.py提供了多种与模子交互的要领 。

KernelLLM提供了几种自界说天生历程的要领：

有时它会犯点小过失，好比API引用差池、语法蜕化，有时间还不太能按指令天心理想的内核 。

天生的代码结构有点像编译器自动吐出来的，有时在变量命名、张量形状、类型处置惩罚和数值精度这些细节上也容易出问题 。

参考资料：

https://x.com/reach_vb/status/1924478755898085552

https://huggingface.co/facebook/KernelLLM

尊龙游戏人生就是博

Meta「轻量级」KernelLLM倾覆GPU内核天生，8B参数碾压GPT-4o
Meta「轻量级」KernelLLM倾覆GPU内核天生，8B参数碾压GPT-4o

Meta「轻量级」KernelLLM倾覆GPU内核天生，8B参数碾压GPT-4o

「统计」w3u7903ejky2ywls

2.94MB
版本V2.9.65
下载路易斯拔萝卜视频大全装置你想要的应用 更利便 更快捷 发明更多
喜欢 54%好评(87022人)
谈论 38
Meta「轻量级」KernelLLM倾覆GPU内核天生，8B参数碾压GPT-4o截图0 Meta「轻量级」KernelLLM倾覆GPU内核天生，8B参数碾压GPT-4o截图1 Meta「轻量级」KernelLLM倾覆GPU内核天生，8B参数碾压GPT-4o截图2 Meta「轻量级」KernelLLM倾覆GPU内核天生，8B参数碾压GPT-4o截图3 Meta「轻量级」KernelLLM倾覆GPU内核天生，8B参数碾压GPT-4o截图4
详细信息
  • 软件巨细: 11354.30959MB
  • 最后更新: 2025-05-29 02:31:02
  • 最新版本: V5.51384.9
  • 文件名堂: apk
  • 应用分类:ios-Android 小🐔🐔伸进🈲🔞91n
  • 使用语言: 中文
  • : 需要联网
  • 系统要求: 1.86578以上
应用先容
一，超级媚黑女王莫雪特小说，萌萝社APP污污在线观看
二，www.71色😍萝网站，火影忍者❌18禁同人动漫
三，爽⋯好大⋯快⋯深一触手动漫，妲己被❌到爽妲己羞羞av小说
四，▓成人蘑菇视频▓无码免费，同性Gay❌❌❌免费
五，继夫把腿张开臊烂开荤粗，女被黄漫扒衣服自慰
六，ceкес日本видео⚡️,麻花豆精品㊙️国产AV视频，跪着母狗晨尿主人
七，拖👙❌❌❌摸🐻视频
【联系尊龙游戏人生就是博】
客服热线：134-2881-646
加载更多
版本更新
V6.2.27
男能GAY无套✅猛男视频网站X推
  • XXNX👙老帅免费视频

    脱美女内衣㊙️免费跳舞视频

    ❌❌❌3D原神同人

    82541.31MB
    103好评

    主人罚我戴小玩具一整天

  • 美女扒开腿裸私密无遮让人摸

    绿帽社在线观看入口

    求进后被学生🌿狠了

    97170.12MB
    680371好评

    挺进朋友老婆的骚B

  • 第五人格18禁❌漫画3d

    禁漫天堂❌黄动漫网站看

    BestOnline-Hentai18.com

    13.48MB
    314好评

    寡妇自慰大声叫床

  • 男男一起裸睡互玩jiji

    白色丝袜美女被❌视频网站

    鸣潮 长离18禁涩涩本子

    53.72MB
    273好评

    男人露jiji视频网站

  • 188427路mooc.

    班长露出🐻强行被男生

    wwww初学生在线观看

    71.85MB
    703好评

    美女扒开㊙️让男人桶爽照片

  • 芳泽霞脱了内裤打开腿让人躁

    美女扒开腿秘男人爽桶

    无尽❌裸体❌白丝❌黑人

    83.50MB
    337好评

    甘露寺蜜璃h爆乳本子

  • 黄漫❌大乳18禁

    免费看小舞和唐三❌

    涩涩污秽被爆日本

    23.43MB
    108好评

    欧美性猛交XXXXX无码婷

  • 顶到里面了～疼

    女同做爰HD免费看

    动漫做打扑克视频网站

    50.55MB
    927好评

    OTK实践拍击视频一个小时

  • 被脱到只剩内裤的挠痒痒

    18hlw.com黑料网

    国产做受❌❌❌777cos小说

    83.38MB
    562好评

    守约被铠❌到爽🔞高潮痉挛

  • 男男被啪❌羞羞全免费

    宁红夜被强行打开腿灌满白浊

    霉霉在超级碗上遭遇尴尬

    83.34MB
    753好评

    女性洗澡自拍ⅩXXXX

  • 申鹤疯狂❌️自慰爽18禁

    奶头和荫蒂添的好舒

    高清🈚️码18🈲成人爱奇艺

    73.16MB
    8824好评

    免费A漫✩禁漫天堂

  • 樊玲露大尺度无删减视频

    人妻ChinaHDWXXX

    雏田被❌吸乳脱内内网站

    80.59MB
    969好评

    ♥禁漫Bl无删减漫画大全

  • 体育生男生手冲视频素材

    鸣人❌玖辛奈同人歪歪漫画

    男男GayGay✅免费动漫游戏

    65.91MB
    749好评

    纳西妲被爆❌羞羞漫画

  • 男人猛躁女人㊙️喝牛奶

    白丝梦莉裸乳被爆白浆的视频

    我在色情截取了一小段

    54.80MB
    757好评

    美女裸体㊙️洗澡全过程免费挤奶

  • ONE18成人版

    甘雨cos游戏连体袜

    红太狼把胸罩解开让灰太狼摸

    57.48MB
    686好评

    艳谭2之性战奶水

  • 工口R18登录入口官网

    操屄屄

    被扒开腿狂揉花蒂高潮H漫画

    24.31MB
    358好评

    女人又爽❌又黄❌的软件

  • 欧美肥大BBBBBBBBB

    沦为母畜的富豪千金小说

    男女吃奶揉捏胸激烈无遮挡A片

    13.11MB
    318好评

    男主挤女主奶喝的动漫

  • 舒淇与黑人性猛交

    国产91♥️长靴在线播放大战

    91➕日韩➕国产➕

    84.86MB
    216好评

    美女又爽❌又黄❌蘑菇视频

  • 女王调教1000部在线观看

    白嫩裸体美女被❌❌

    又深又粗精XXXXX凹凸视频

    45.84MB
    734好评

    和平精英吉莉被❌吸乳视频

  • 男人为什么离不开女人的身体

    亚洲精品国产一区二区色欲影院

    成人色情美女视频超大胸小说

    10.27MB
    189好评

    动漫美女裸体无遮挡胸视频

  • 白丝JK❌❌爆乳

    玩两个奶水丰满人妻

    舔握深揉插教练NPH

    44.59MB
    365好评

    jk动漫❌18禁漫画网站

  • 皮皮狗官网最新登录地址

    拔出来～啊你tm别了国产

    18🈲视频❌❌❌在线观看娇喘

    91.90MB
    205好评

    део+38是多大

  • 芙宁娜被爆❌自慰流水漫画

    佳龄美女便秘原因

    🔞成人❌❌❌深

    30.86MB
    903好评

    亚洲国产无阿朱🈚在线观看

  • 色玖玖无码AV视频在线

    麻豆精品一区二区三区av沈娜娜

    海角❤️偷腥大神

    30.35MB
    546好评

    欧洲paypal网站www

  • 被学长抱进小树林c个爽动漫

    羞羞漫画入口sss

    🌿我～慢点～好爽女男视频

    29.68MB
    127好评

    宝可梦小智狂桶沙奈朵

  • 女女🔞高潮片免费视频

    furry肌肉壮熊的吊熊汁免费

    美国少妇在线观看免费

    70.34MB
    451好评

    我的世界被❌超污裸体网站

  • 莫妮卡一级婬片A片AAA亂伦wwwhd老女人 title="海阁社区" class="0v5366j9r7414 app-list-img" src="https://t11.m.mksxm.com/it/u=1040017057,165456434&fm=30&app=106&f=JPEG?w=312&h=208&s=15B07D95426079116A1494FD03009032"">

    国产婬妇❌❌❌❌❌女机械人

    性少妇XXXⅩXXXA片

  • 2048人人为我我为人人基业长青在于回归韩国一级婬片A片AAA小说软件 title="吴艳妮脱了内裤求被c视频" class="0v5366j9r7414 app-list-img" src="https://t10.m.mksxm.com/it/u=3070224572,165461829&fm=30&app=106&f=JPEG?w=312&h=208&s=C6000AAC4838BAC8463F54AC0300A00B"">

    雏田爆乳被秘视频3D

    神奇宝贝莉莉艾被解内衣

  • 表妹洗澡让我进去摸她奶初高中洗澡福利视频♥偷拍软件 title="naruto🍆❌hd" class="0v5366j9r7414 app-list-img" src="https://t12.m.mksxm.com/it/u=1041590673,165100299&fm=30&app=106&f=JPEG?w=312&h=208&s=D7383EC642E1D8EA0A87937F0300C078"">

    动漫同人18❌动漫免费APP

    动漫裸体❌到爽视频免费

少妇二级婬片免费放天气 类似软件

猜你喜欢

相关攻略
包括 饿了么 的应用集
包括 饿了么 的应用集
谈论
  • 成年裸J照无遮挡🔞视频 5天前
    同人裸体被❌漫画
  • 100元3小时上门服务电话号码 6天前
    揉⋯啊⋯嗯～出水了震动电视剧
  • 国产性猛交XX乱放冰块的 6天前
    成人把🐤戳进去的视频
  • FreePorno💋👙59 3天前
    唐三的坤坤放在宁荣荣哪里
  • 陆雪琪3D无码动漫免费看 1天前
    自慰时看的小黄说
  • 小舞劈开腿被❌高潮游戏 8天前
    jiZZ成熟丰满女人少妇直播
  • 流萤被❌出白浆 1天前
    千仞雪裸体被❌羞羞网站
  • 3D Animal Hentai Cartoon 5天前
    小处雏一区二区三区精品视频
  • 黄鳝钻进了币币 5天前
    男男伦流澡∽tm别舔了
  • 国产乱人妻精品秘入口 5天前
    美女被❌❌❌❌❌