在Arxiv.org出版的印前，来自亚马逊、卡耐基梅隆大学和德克萨斯大学奥斯汀分校的研究人员描述了X-Transformer，这是一种调整语言算法的方法，以解决从大数据集返回标签的问题。他们说，它在几个基准和亚马逊的产品查询数据集上取得了最新的结果。
X-Transformer的目标是研究人员所说的“极端”多标签文本分类(XMC):给定一个输入文本实例，它将尝试从集合中返回最相关的标签，其中标签的数量可能以百万计(或更多)。XMC本质上是一个工业规模的文本分类挑战。除了缺乏训练数据，这个挑战还需要克服硬件限制。
“亚马逊面临的很多问题相当于从潜在候选人的巨大输出空间中寻找相关结果：比如，向在亚马逊上开始新广告系列的广告商建议关键词，根据客户之前键入的查询，预测客户接下来将键入的查询，”合著者写道关键词推荐系统为广告主提供创建广告系列的关键词建议……XMC模型在经过产品查询数据集(如产品查询客户购买记录)的训练后，可以使用产品信息来建议与任何给定产品相关的查询，如标题、描述或[或]品牌。"
X-Transformer建立在谷歌现有的Transformer架构上，由语义标签索引组件、深度神经匹配组件和整体排名组件组成。语义索引通过一个称为标签聚类的过程将原始的XMC问题分解成一组子问题。接下来，深度神经匹配组件为由SLI引起的每个XMC子问题微调Transformer模型。然后，使用集成排序组件来组合每个子问题的得分，以进一步从理论上提高性能。
在实验中，研究人员声称，提出的X-Transformer在四个XMC基准上获得了最新的技术成果，这导致了真假XMC应用的改进。
例如，在拥有50万个标签的维基百科数据集上，X-Transformer的“prec @ 1”(表示排名最高的文档的相关性的索引)为77.28%，与完美的分层标签树方法Parabel和竞争机器学习方法AttentionXML(76.95%)相比，该值为68.70%。当内部数据集Prod2Query-1M应用于Prod2Query-1M时，数据集由Amazon.com的1400万个产品和100万个标签(查询)组成，与Parabel相比提高了10.7%。
X-Transformer数据集、代码和模型可以从GitHub上的开源代码中获得。
标签：