尊龙游戏人生就是博

搜索 猫眼影戏 融媒体矩阵
  • 山东手机报

  • 猫眼影戏

  • 公共网官方微信

  • 公共网官方微博

  • 抖音

  • 人民号

  • 天下党媒平台

  • 央视频

  • 百家号

  • 快手

  • 头条号

  • 哔哩哔哩

首页 >新闻 >社会新闻

「0污染」LLM明确基准来了!20000道题14个学科全笼罩 ,来自微软

2025-07-23 15:32:40
泉源:

猫眼影戏

作者:

吴满哥

手机审查

  猫眼影戏记者 比森特洛佩斯 报道w3u7903ejky2ywls

新智元报道

编辑:LRST

【新智元导读】MMLU-CF是一个无污染的多使命语言明确基准测试 ,旨在更公正、准确地评估大语言模子的能力 。通已往污染规则和闭源测试集避免数据泄露 ,确保评估效果可靠 。该基准包括20,000道问题 ,涵盖14个学科 ,验证集果真透明 ,测试集闭源防泄露 。

近年来 ,随着大语言模子(LLM)的一直前进 ,怎样准确评估其能力已经成为研究的热门问题 。

诸如大规模多使命语言明确基准MMLU(Massive Multitask Language Understanding) ,在评估大语言模子中起到主要作用 。

然而 ,由于开放源代码和训练数据的多样性 ,现有基准测试难免保存数据污染问题 ,影响评估效果的可靠性 。

为了提供更为准确、公正的评估 ,微软亚洲研究院推出了MMLU-CF ,它是基于果真数据源 ,经已往污染设计的大语言模子明确基准 ,并已在Huggingface上开放 。

MMLU-CF是一个「无污染」的、更具挑战性的多项选择题基准数据集 。

论文链接:https://arxiv.org/pdf/2412.15194

代码链接:https://github.com/microsoft/MMLU-CF

数据毗连:https://huggingface.co/datasets/microsoft/MMLU-CF

数据集包括20,000道问题 ,分为10,000道验证集问题和10,000道测试集问题 ,其中验证集开源 ,测试集闭源 ,涵盖康健、数学、物理、商业、化学、哲学、执法、工程等14个学科领域 。

MMLU-CF为大语言模子的评估提供了一个越发公正和可靠的基准 ,不但资助研究者准确明确模子的能力 ,也为未来模子优化提供了名贵的数据支持 。

MMLU-CF的孝顺

消除数据污染

古板基准测试可能保存数据污染 ,影响评估的公正性 。MMLU-CF通过引入三条去污染规则并扩展数据源 ,确保测试效果更可靠 。

避免恶意数据泄露

研究职员将数据集分为验证集和测试集 ,确保测试集坚持闭源 ,阻止数据走漏引发的不公正效果 。同时 ,验证集开源以增进透明度 ,便于自力验证 。

比照效果

评估效果显示 ,OpenAI o1在MMLU-CF测试集上的5-shot得分为80.3% ,显著低于其在MMLU上取得的92.3%得分 ,批注晰MMLU-CF基准的严酷性 。

图1 主流大模子在MMLU-CF的测试集的5-shot得分体现

基准比照

MMLU与MMLU-Pro基准测试主要关注使命的广度、推理能力和难度 ,但未思量数据污染问题 。

关于MMLU-CF ,研究职员在数据网络时应用了去污染规则 ,确保阻止数据泄露 ,同时将测试集坚持闭源 ,避免恶意泄露 。

以下是几款主流模子在MMLU与MMLU-CF数据集上的体现与排名转变:

图2 主流大模子在MMLU-CF和MMLU上的体现与排名

新的基准MMLU-CF扰乱了已评估的语言模子(LM)在MMLU上的性能排名 。

排名前三的语言模子:OpenAI o1、Deepseek-R1和Deepseek-V3  ,坚持了领先职位 ,排名没有任何转变 。

有趣的是 ,在显著的排名转变(>=3位)中 ,排名下降的往往比上升的更为显著 。

平均而言 ,排名下降的语言模子下降了5.14位次 ,而排名上升的语言模子上升了3.78位次 。

这种差池称性批注 ,性能大幅下降比上升更容易 ,这可能是由于预训练语料库中的数据污染造成的 。

与规模较大的语言模子相比 ,规模较小的语言模子在新的MMLU-CF基准测试中似乎更具破损性 。

测试集与验证集的划分

在MMLU-CF中 ,研究职员将数据集划分为测试集和验证集 ,并通过盘算「绝对分数差别」评估模子的泛化能力 。统计效果显示 ,约60%的差别值小于0.5 ,96%的差别值低于1.0 ,批注测试集和验证集的评估效果高度一致 。

图3 数据构建流程图

MMLU-CF的数据构建包括以下几个办法:

1.问题网络:从普遍的开放互联网域网络问题 ,包管问题的多样性 。

2.问题洗濯:确保网络到的问题质量高 ,适适用于评估 。

3.难度采样:确保问题的难度漫衍合理 。

4.大模子检查:使用GPT-4o、Gemini、Claude模子对数据的准确性和清静性举行检查 。

5.去污染处置惩罚:通已往污染处置惩罚 ,确保数据集的无污染性 。

最终 ,MMLU-CF数据集划分包括了10,000道测试集域验证集问题 ,同时测试集坚持闭源 ,验证集则果真以包管透明性 。

去污染处置惩罚规则

为了阻止无意中的污染并评估模子的推理和明确能力 ,研究职员接纳了三条去污染规则:

?规则1:改写问题 ,镌汰模子对已见数据的依赖 。

?规则2:打乱选项 ,阻止模子通过影象选项顺序做出准确谜底 。

?规则3:随机替换选项 ,增添模子的推理难度 。

图4 去污染示例

这些规则有用镌汰了恶意和无意的走漏危害 ,确保了数据集的「无污染」性 。

参考资料:

https://arxiv.org/pdf/2412.15194

??时势1:Free♥XXX♥hinata

??07月23日,突发!俄罗斯圣彼得堡一仓库起火 过火面积达7万平方米,

  (三)加速重点开发项目建设进度 。要加速滨河新区中央商务区建想程序 。政府要制订强有力的监视步伐 ,协调解决工程建设中的突出问题 ,催促开发商加速建设进度 ,确保绝大部分修建年底前主体封顶 ,力争滨河新区焦点区基本建成 。加速建设高铁客运广场和公交客运枢纽 ,为高铁五月份联试联调、年底全线通车做好准备 。相关县区、部分要高度重视 ,切实加速进度 ,确保各项工程按妄想准期建成投入使用 。各县新区建设和旧城刷新要加速事情节奏 ,形陋习模效应 。要抢抓国家大规模实验棚户区刷新的机缘 ,切实加大项目争引力度 ,周全完成今年的棚户区刷新和包管性住房建设使命 。

,美女又色❌又黄❌丝袜裸交 。

??07月23日,美媒:红海危机表明中国的“一带一路”倡议对所有国家都至关重要,

  其他宗老蹲下身 ,检查石毅的身体状态 ,只要未死 ,他们无论花何等大的价钱都要治疗好他的伤 。

,69免费看片视频,02的羞羞裸体,中国老头老太做爰大全 。

??时势2:西施婬荡高潮叫床小说

??07月23日,特朗普轻松赢得2024年艾奥瓦州共和党初选,

  去年以来 ,面临高铁新区建设的历史机缘和重大多变的经济形势 ,高铁新区和东沙河镇全体干部在党委政府的顽强向导下 , 凝心聚力 ,团结协作 ,充分验展整体智慧 ,解放头脑 ,艰辛斗争 ,全力推动各项事情有力开展、着花效果 。

,纲手被爆❌乳喷自慰爽动漫,52gao最新域址,furry同性狼狼榨精网站 。

??07月23日,数字转型成广西县域关注焦点 大数据模型将赋能大健康产业,

  四是提升职工致体素质 。指导所内职工使用业余时间起劲加入培训和营业学习 ,自动提升岗位事情能力  ?埂案谖涣繁⑹忠战环妗痹硕 ,把天天的生产事情作为一个比试手艺水平的平台 ,在职工中形成比、学、赶、帮、超的优异气氛 。同时提高职工的一岗双责意识和优质效劳理念 ,周全实验“员工素质提升工程” 。

,㊙️裸男,羞羞视频喷水YY在线观看,日向花火裸体调教 。

??时势3:吴敏小白龙mv无删减

??07月23日,夜行日游 人游车停 山西开行首趟竞价旅游专列,

  这令人震撼 ,显着只是一块骨罢了 ,刚一显露 ,就这般的惊人 。

,海洋之心隐私自慰漫画,国产ChineseHD精品露脸,彩虹Gay.com 。

??07月23日,加拿大劳资关系委员会仲裁要求铁路恢复运营 工会称将上诉,

  先生们!同砚们:

,程潇也太敢穿了,freeHD18麻豆,麻豆国产AV精品一区 。

??时势4:桃树园77

??07月23日,受雨雪冰冻天气影响 2月1日郑州局管内部分列车停运,

  小不点苦着一张脸 ,小声问道:“还能改不 ?”

,在上课~~轻点〜嗯〜啊微博,动漫无码番肉18魅魔链接,老师把我添高潮了A片潘金莲 。

??07月23日,海外中国青年:以青春之力践行报国之志,

  “我的妈呀 ,差点让本娃大口吐血啊 。”鼻涕娃后怕 ,夸张的拍了怕胸脯 。

,仆人×芙宁娜cp车文h,掀开奶罩边躁狠狠躁学生的小文字,jk漫画禁漫♥成人入口下载 。

责编:卢钟灿

审核:陶世欣

责编:罗治国

相关推荐 换一换

Copyright (C) 2001-2025   dzwww.com. All Rights Reserved

新闻信息效劳允许证 - 音像制品出书允许证 - 广播电视节目制作谋划允许证 - 网络视听允许证 - 网络文化谋划允许证

山东省互联网传媒集团主理  联系电话:0531-85193202  违法不良信息举报电话:0531-85196540

鲁ICP备09023866号-1   鲁公网安备 37010202000111号  

Copyright (C) 2001-2025 Dzwww   鲁ICP备09023866号-1

【网站地图】【sitemap】