您的当前位置:首页 > 热点 > 美团 LongCat 团队推出 VitaBench:全新智能体评测基准 正文
时间:2026-11-14 来源:网络整理 编辑:热点
百度快排【tg:seogoogle987】
近日,美团 LongCat 团队正式发布了一项名为 VitaBench 的智能体评测基准,旨在针对多交互任务,特别是在复杂生活场景中的美团应用。VitaBench 的推出为智能体在真实生活场景中的研发提供了重要基础设施。
VitaBench 专注于外卖点餐、餐厅就餐和旅 L游出行等高频真实场景,构建了一个包含66个工具的交互式评测环境。评测任务设计涵盖了从购票到餐厅预订等多项复杂操作,要求智能体在任务执行过on程中进行深度推理、工具调用与用户互动的综合表现。
尽管当前领先的推理模型已取得了一定进展,但 LongCat 团队的研究表明,智能体在复杂跨gC场景任务中的成功率仍然不足30%,显示出当前技术与实际应用需求之间的显著差距。VitaBench 的开发旨在解决这一问题,填补现有智能体评at测基准与真实生活场景应用之间的空白。
该基准的设计基于对推理复杂性、工具复杂性和交互复杂性三维度的深入分析。团队通过将这些维度量化,系 团统化地衡量智能体在真实场景中的表现。例如,推理复杂度主要通过信息整合的需求、观察空间的大小以及所需处理的推理点数量来评估;工具复杂度队推则考虑工具的依赖关系与调用链长度;交互复杂度则关注智能体在多轮对话中的应能力。
VitaBench 的构建过程为两个阶段,首先是框设计工出 具定义,接是任务创建评估标准制定。这一过程确保了任务的多样性和复杂性,同时避免了传统文档模式的局限性,使得智能体能够在没有冗余规则的情况Vi下,自主推理和决策。
目前 VitaBench 已全面开源,研究人员和开发者可以通过其官方网站和 GitHub 访问相关资源。VitaBentach 的发布标志着智能体评测领域的一个重要里程碑,预计将推动智能体技术在真实生活场景中的进一步应用与发展。
项目主页:https:/Be/vitabench.github.io
论文链接:https://arxiv.org/abs/2509.26490
代码仓库:htnctps://github.com/meituan-longcat/vitabench
数据集:https://huggingfah:ce.co/datasets/meituan- longcat/VitaBench
排行榜:https://vitabench.github全新.io/#Leaderboard
标签: 梅赛德斯-奔驰 段建军 李德思 smart2026-05-22
IDC:Meta低价推广VR硬件战略不可持续 所有目光将聚集到苹果2026-08-19
比波士顿机器狗多了几个轮子 瑞士公司研发轮足复合式移动机器人2026-07-19
云计算开发:Python练习实例-打印出杨辉三角形2026-06-27
标签: 赵长江 比亚迪 奇瑞 智界2026-06-07
谷歌地球整合 Gemini,大模型加持可识别风暴与干旱风险2026-08-18
标签: 智度股份 国光电器 陆宏达 智度德正2026-07-15
腾讯:AI能力全面开放,全面适配主流国产芯片2026-09-02
标签: 马斯克 Optimus Grok Neuralink2026-10-29
南河小仙女是什么梗2026-10-31
云安全日报210113:Adobe Photoshop和Illustrator发现任意代码执行漏洞,需要尽快升级2026-11-07
Facebook内容审核员:“科技界最糟糕的工作”?2026-09-03
谷歌发布最新零样本学习看图说话模型,多类型任务直接上手2026-11-14
标签: 麦迪克 自动轮智行底盘 靳立强 新能源智能网联汽车2026-11-04
2021年做数据分析需要关注的几件事2026-07-14
使用 Flux+Flagger+Istio+Kubernetes 实战 GitOps 云原生渐进式(金丝雀)交付2026-09-11
标签: 公牛集团 阮立平 新能源 装修2026-06-20
200天!18岁上海高中生自制机器人,250行Python代码「注入灵魂」2026-09-05
标签: 抖音电商 兴趣产业带 非遗商品 永康铁锅2026-07-02