谁是在线购物鸿沟最稠密模子？也有评测基准了。

基于着实在线购物数据，电商巨头亚马逊终于"亮剑"——

聚会香港科技大学、圣母大学构建了一个大限制、多任务评测基准Shopping MMLU，用以评估妄言语模子在在线购物鸿沟的时期与后劲。

一直以来，念念要竣工建模在线购物卓越复杂，主要痛点是：

多任务性：在线购物中存在各样的实体（举例商品、属性、挑剔、查询要害词等）、关系（举例要害字和商品的匹配度，商品和商品之间的兼容性、互补性）和用户活动（浏览、查询、和购买）。

对这些实体、关系和活动和聚会建模与说明组成一个复杂的多任务（multi-task）学习问题。

少样人道：在线购物平台会不休面对新用户、新商品、新商品品类等带来的冷驱动（cold-start）场景。在冷驱动场景下，在线购物平台需要管制少样本（few-shot）学习问题。

不外，诸如 GPT，T5，LLaMA 等的妄言语模子（LLM）仍是展现出了稠密的多任务和少样本学习时期，因而有后劲在在线购物鸿沟中得到世俗专揽。

而为了进一步找出最强、最具后劲的 LLM，测试基准 Shopping MMLU 应时而生——

与现存数据集比拟，Shopping MMLU 笼罩了更多的时期（四项）和任务（57 个）。

同期，基于 Shopping MMLU，亚马逊举办了 KDD Cup 2024 数据挖掘竞赛，眩惑了民众跳跃 500 支队伍参赛。

世俗的时期和任务笼罩

为了全面、充分评估妄言语模子在在线购物鸿沟中的时期，推敲起先分析了在线购物鸿沟的私有性：

特定鸿沟的随笔本：在线购物中存在广阔的特定鸿沟名词，举例品牌、产物名、产物线等。此外，这些特定鸿沟名词时时出现于随笔本中，举例查询要害词、属性名 - 值平等。因此，在枯竭落魄文的随笔本中说明特定鸿沟名词，是在线购物鸿沟的一个私有挑战。

商品的隐含学问：大部分商品皆隐含特定的学问，举例 AirPods 使用蓝牙团结，不需要转接线；碳纤维成品一般分量很轻等。如何准确说明不同商品隐含的学问而况进行推理，是在线购物鸿沟的另一个私有挑战。

异质且隐式的用户活动：在线购物平台上存在多种各样的用户活动，举例浏览、查询、加购物车、购买等。这些活动大部分皆不以话语抒发，因此如何全面说明这些异质的用户活动，是在线购物所必须管制的问题。

多话语任务：在线购物平台时时在不啻一个地区运营，因此需要模子能同期说明多种话语描绘下的商品和用户问题。

基于以上分析，推敲构造了 Shopping MMLU，笼罩四项在线购物时期，所有这个词 57 个任务：

在线购物倡导说明

在线购物学问推理

用户活动说明

多话语时期

下表可见，Shopping MMLU 比拟现存数据集笼罩了更多的时期和任务。

时期和任务组成如下图所示。

Shopping MMLU 大部分由着实的亚马逊在线购物数据构造，而况经由东谈主工熟识，尽可能排斥低质料数据，举例标注罪恶，枯竭必要信息等。

部分问题示举例下。

主流妄言语模子收获单

推敲选取了共27 个主流妄言语模子进行本质分析，其中包括：

闭源模子（Claude-3, Claude-2, GPT）

开源通用鸿沟模子（LLaMA2、LLaMA3、QWen、Mistral）

开源特定鸿沟模子（eCeLLM，经由在线购物鸿沟数据进行微调）

本质成果如下表所示。

推敲发现，固然闭源模子仍然处于起先（举例 Claude-3 Sonnet 举座排名第一），但开源模子仍是大致赶上闭源模子的性能（举例 QWen 和 LLaMA3）。

此外，特定鸿沟模子 eCeLLM 并未在同参数目级下得回最佳收获，诠释 Shopping MMLU 是一个有卓越难度的评测基准，无法通过毛糙的微调得回好收获。

如何打造在线购物鸿沟大模子

基于 Shopping MMLU，推敲分析常用的大模子增强技能，进一步磋议如何打造稠密的在线购物鸿沟大模子。

起先，如下图所示，模子在不同时期和任务上的得分高度正相关。这诠释了在线购物鸿沟的不同任务之间存在共同的学问，不错使用妄言语模子进行举座性的建模和时期普及。

其次，如下图所示，模子的 Shopping MMLU 得分和模子在通用大模子基准测试的得分（Open LLM Leaderboard）相通高度相关。

另外，跟着合并个模子眷属内模子增大，其 Shopping MMLU 得分相通增多。

这标明妄言语模子的通用时期不错很好地迁徙到在线购物鸿沟中，构造特定鸿沟大模子的基础是稠密的通用时期。

随后，推敲分析了微调对模子在 Shopping MMLU 得分的影响。

通用鸿沟的微调一般对模子在 Shopping MMLU 上有普及。不外，这一论断也与基础模子的时期，微调的数据质料等成分存在关系。

举例，在 LLaMA2-70B 上，推敲不雅察到经由微调的 LLaMA2-70B-chat 得分低于 LLaMA2-70B，而在 LLaMA3-70B 上莫得不雅察到这一征象。

可能的原因是，相对较小的微调数据使得 LLaMA2-70B 过拟合，导致通用时期的部分丢失，进而导致 Shopping MMLU 上得分下跌。

反之，LLaMA3 使用了更高质料的微调数据，是以大致保留通用时期，同期增强模子回答问题的时期，得到更高的分数。

特定鸿沟微调（如 eCeLLM）并未能在 Shopping MMLU 上得回最高得分。

为了磋议其华夏因，推敲测试了 eCeLLM 与其基础模子在通用时期上的对比。成果标明，经由特定鸿沟微调的 eCeLLM 比拟其基础模子的通用时期一般有所下跌。

这可能是导致 eCeLLM 未能得回最高得分的原因，也同期强调了通用时期关于对特定鸿沟的进攻性。

回归

Shopping MMLU 是一个针对妄言语模子和在线购物鸿沟臆测打算的评测目的。其包含世俗的任务和时期笼罩（4 项进攻时期，所有这个词 57 个任务），不错全面评估妄言语模子在在线购物鸿沟的时期和后劲。

Shopping MMLU 基于亚马逊的着实购物数据打造，经由东谈主工筛选，保证数据质料。基于 Shopping MMLU，推敲张开了广阔本质分析，为这一鸿沟后续的推敲和骨子专揽提供了有价值的论断。

当今，Shopping MMLU 以过火对应的资源一起开源并将捏续保养，通俗推敲东谈主员和拓荒者进行潜入探索和专揽。

Shopping MMLU 的数据以及对应评测代码仍是于 GitHub 公开。

同期，为了构造灵通、开源的评测体系，推敲基于 Shopping MMLU 建造了一个排名榜。

官方暗示，Shopping MMLU 接待新模子加入排名榜，若是有趣味趣味的话不错于 GitHub 上与 Shopping MMLU 保养者进行筹商。

论文：

https://arxiv.org/pdf/2410.20745

数据及评测代码：

https://github.com/KL4805/ShoppingMMLU

KDD Cup 2024 Workshop 及获奖队伍解法：

https://amazon-kddcup24.github.io/

评估榜单：

https://huggingface.co/spaces/KL4805/shopping_mmlu_leaderboard

—  完  —

投稿请发邮件到：

ai@qbitai.com

标题注明【投稿】，告诉咱们：

你是谁，从哪来，投稿内容‍

附上论文 / 形势主页贯穿，以及筹商形态哦

咱们会（尽量）实时复兴你

点这里� � 怜惜我，牢记标星哦～

一键三连「共享」、「点赞」和「在看」

科技前沿走漏日日再会 ~