在本周于Arxiv.org发表的一篇预印论文中,来自微软、艾伦人工智能研究所和华盛顿大学的科学家描述了绘图机,这是一种通过跟踪画线学会将轮廓转化为故事的人工智能系统。PlotMachines(其代码可以在GitHub上找到)可以促进系统的开发,这些系统可以编写案例研究、新闻文章和脚本,而无需描述人物和事件的短语,从而节省了公司的时间和金钱。
虽然有可以生成故事、文章甚至歌词的AI系统,但大多数都是针对特定领域量身定制的,不能很好地适应新任务。而且,他们不擅长写长文章。即使是最复杂的模型也会忘记剧情元素,重复自己。
正如研究人员所解释的,写故事需要遵循情节,故事是通过人物和事件以连贯的叙事方式编织而成的。这对机器来说并不容易。由于输入只提供剧情的粗略元素,因此模型的责任是丰富元素如何在故事的不同部分之间交织。
在开发PlotMachines的过程中,团队基于目标叙事的现有故事数据集创建了多个数据集,并将其与自动构建的输入轮廓进行匹配:
维基百科,一个由从维基百科获取的电影、电视和书籍情节组成的语料库。
WritingPrompts是从Reddit子Reddit/r/writing prompts收集的故事生成数据集。
纽约时报,一个包含新闻文章的数据集。
轮廓提取,通过算法从维基百科、文字记录和纽约时报中提取的绘图点列表。
研究人员随后设计了绘图机,他们将其描述为基于开放人工智能GPT模型的变压器。像所有神经网络一样,变压器包含分层排列的功能(神经元),可以传输数据信号和调整连接强度(权重)。但是,还应该注意到变压器,这意味着每个输出元件都连接到每个输入元件,并且它们之间的权重是动态计算的。
给定一个大纲作为输入,绘图机将编写五个段落(引言、三个主要段落和结论),并更新一个存储矩阵来跟踪大纲中的绘图元素。每个段落的话语信息有助于保持故事开头、中间和结尾的文体差异(记忆也可以观察到目前为止已经写了什么),而语境表征可以确保在创建新段落时使用前面的元素。
研究人员说,从本质上讲,PlotMachines以训练后的场景设定开始故事(如“20世纪50年代初,核武器试验还在继续……”)并以一定的收尾动作结束(如……电影骑着humperdinck,毛骑到日落”)。事实上,他们发现了一个在《纽约时报》语料库上训练的新闻生成PlotMachines模型,该模型非常强大,他们计划有选择地与研究社区共享,只是为了防止恶意参与者创建和传播误导性故事。
在实验中,绘图机模型的变体建立在OpenAI的GPT-2架构上,该架构总共包含4.6亿个参数(变量)。与众多基准相比,召回率基础研究(ROUGE)和BLEU评分更高,说明其具有优秀的摘要和机器翻译功能。在由负责阅读和审查PlotMachine生成的故事的人类团队参与的两项独立评估中,其在“叙事过程”和“概述使用”类别中的基准排名超过了基线。
“我们提出了基于大纲条件的故事生成任务:给出一个大纲,作为描述故事中关键人物和事件的一组短语,任务是生成与提供的大纲一致的连贯叙事.这就要求模型的作者根据潜图的动态跟踪潜图的动态,同时生成整个故事。”"分析表明,绘图机可以根据大纲有效地写出更紧凑的叙述."
标签: