您的位置首页 >企业 >

亚马逊的XTransformer解决了工业规模的文本分类问题

导读 给大家分享一篇关于 和手机的文章。相信很多朋友对 和手机还是不太了解,所以边肖也在网上搜集了一些关于手机和 的相关知识

给大家分享一篇关于 和手机的文章。相信很多朋友对 和手机还是不太了解,所以边肖也在网上搜集了一些关于手机和 的相关知识与大家分享。希望大家看完之后会喜欢。

在Arxiv.org发表的预印本中,来自亚马逊、卡耐基梅隆大学和德克萨斯大学奥斯汀分校的研究人员描述了X-Transformer,这是一种调整语言算法以解决从大数据集返回标签问题的方法。他们说,它已经在几个基准和亚马逊的产品查询数据集上取得了最新的结果。

X-Transformer的目标是研究人员所说的“极端”多标签文本分类(XMC):给定一个输入文本实例,它将尝试从集合中返回最相关的标签,其中标签的数量可能在数百万(或更多)。XMC本质上是一个工业规模的文本分类挑战。除了缺乏训练数据,这个挑战还需要克服硬件限制。

这位合著者写道:“亚马逊面临的很多问题,相当于从潜在候选人的巨大输出空间中找到相关结果:比如,向在亚马逊上开始新广告系列的广告商建议关键词,并根据客户之前键入的查询预测他们接下来将键入的查询。“关键词推荐系统为广告商提供用于创建广告系列的关键词建议.……XMC模型在接受来自产品查询数据集(如产品查询客户购买记录)的培训后,可以使用产品信息来建议与任何给定产品相关的查询,如标题、描述或[或]品牌。”

X-Transformer基于Google现有的Transformer架构,由语义标签索引组件、深度神经匹配组件和整体排名组件组成。语义标签索引通过一个称为标签聚类的过程将原始的XMC问题分解成一组子问题。接下来,深度神经匹配组件为由SLI引起的每个XMC子问题微调Transformer模型。然后,利用综合排名组件对每个子问题的得分进行组合,进一步提高理论上的性能。

在实验中,研究人员声称,提出的X-Transformer在四个XMC基准上实现了最新的技术成果,并导致了真假XMC应用的改进。

例如,在拥有50万个标签的维基百科数据集上,X-Transformer的“prec @ 1”(一个指示排名最高的文档的相关性的索引)为77.28%,与完美的分层标签树方法Parabel(高达68.70%)和竞争机器学习方法AttentionXML(76.95%)相比。当内部数据集Prod2Query-1M应用于Prod2Query-1M时,数据集由Amazon.com的1400万个产品和100万个标签(查询)组成,与Parabel相比提高了10.7%。

X-Transformer数据集、代码和模型可以从GitHub上的开源代码中获得。

本文就为大家讲解到这里了。

标签:

免责声明:本文由用户上传,如有侵权请联系删除!
Baidu
map