您当前的位置:网站首页>掉头发是什么原因,不及物动词-俄罗斯方块都有名字,俄罗斯方块秘密

掉头发是什么原因,不及物动词-俄罗斯方块都有名字,俄罗斯方块秘密

2019-08-13 06:09:51 投稿作者:admin 围观人数:243 评论人数:0次

在这篇论文中,滴滴依据辅佐关键序列提出了Leader-Writer网络来协助处理客服工单摘要生成问题,能让客服工单摘要的主动化生成更具完好性、逻辑性与正确性。

作者 | 滴滴 AI Labs

修改 | Pita  

国际数据发掘范畴尖端学术会议KDD2019持续在美国阿拉斯加州安克雷奇市举办。本次KDD大会初次选用双盲评定制,共招引了全球范围内约1879篇论文投递。其间,Applied Data Science track收到约 700 篇论文投稿,终究45篇被接纳为Oral论文,100篇被接纳为Poster论文;而Research track 共收到了 1179 篇投稿,终究111篇被接纳为Oral论文,63篇被接纳为Poster论文。

本年,滴滴共有三篇Oral论文当选KDD2019,研讨内容包含依据深度学习办法主动化地生成工单摘要、依据深度强化学习与半马尔科夫决议计划进程进行智能派单及仿照学习和GAN在环境重构的招远天气预报探究。

本文是对滴滴AI Labs团队Oral论文《Automatic Dialogue Summary Generation for CustomerService》的具体解读,在这篇论文中,滴滴依据辅佐关键序列提出了Leader-Writer网络来协助处理客服工单摘要生成问题,能让客服工单摘要的主动化生成更具完好性、逻辑性与正确性。

season

研讨布景

嗯啊用力

滴滴的客服每天需求处理很多的用户进线。客服人员在回答或处理用户问题的时分,需求依照以下流程严格执行:1) 了解用户问题与诉求;2) 供给处理计划或许安慰用户心情;3) 记载工单摘要。

工单摘要关于滴滴客服体系非常重要,它有两个意图:

  • 当工单在内部流通,被其他客服处理的时分,工单摘要能够辅佐客服来快速了解用户问题、处理计划、以及用户反应等信息,从而调整自己的服务战略;
  • 质检人员会查看工单摘要,评价客服供给的计划是否有用,用户是否认可,从而来判别客服的服务质量;

在主动化工单摘要体系上线前,工单摘要首要由客服手艺编撰,消耗客服很多的时刻。而客服每日处理的用户进线量很大,这导致很多客服资源的占用;别的,手艺编撰的工单摘要存在规范不一致、错词漏句等状况,错动感单车误或许不规范的工单摘要开眼角多少钱会给使用工单摘要的其他客服人员的作业带来负面影响。

本文首要研讨怎么使用深度学习办法,主动化的生成工单摘要,进步客服作业效率,从而节省客服资源。

问题应战

相关于一般的文本摘要问题,客服工单摘要有其特殊性。咱们需求确保工单摘要满意以下三个条件:

  • 完好性:即工单摘要需求包含一切的关键;一般状况下,摘要至少要包含用户问题描绘、处理计划、用户反应这几个关键。在一些场景下,还需求包含用户联系方式、反应时效等关键。
  • 逻辑性:即工单摘要中的关键需求按正确的逻辑次序组织起来。工单摘要应该先记载用户问题,再记载处理计划,最终记载用户反应以及后续跟进战略等。次序不正确会导致摘要难以让人了解掉头发是什么原因,不及物动词-俄罗斯方块都有姓名,俄罗斯方块隐秘。
  • 正确性:即工单摘要中的中心关键需求确保是正确的,例如用户反应部分中的”认可处理计划”与“不认可处理计划“。因为两者从文本类似度很高,使用End-to-End计划学习作用一般比较差掉头发是什么原因,不及物动词-俄罗斯方块都有姓名,俄罗斯方块隐秘。

现在的抽取式和生成式的文本摘要计划均贵州交警不能很好的处理这些问题;针对以上应战咱们提出了自己的处理计划。

处理计划

咱们提出使用辅佐关键序列(Auxiliary keypoint sequence)来处理以上这些应战。关键(key point)是工单摘要中一个片段的主题,例如“问题描绘”。咱们经过人工总结工单摘要,收拾得到滴滴场景下51个关键;详见表1

表1:滴滴场景下的工单摘要关键(部分)

咱们使用规矩,从人工编撰的工单摘要中抽取出摘要中的关键。一个摘要中的一切关键构成了关键序列(Key point sequence)张莉。假如一个摘要在关键序列上是完好的、有逻辑的、且正确的,那么对应的工单摘要则是完好的、有逻辑的、且正确的。一起,为了更好的区别“用户认可”和“用户不认可”这种文本类似度高的关键,咱们将敌对的关键记为两个不同的关键。

咱们将工单摘要生成问题建模成一个多任务学习问题。首要模型依据对话信息生成关键序列;然后再使用对话信息和生成的关键序列生成每个关键对应的子摘要;最终依据关键一步到胃序列中的逻辑拼接子摘要即可取得完好的工单摘要。整个流程如图1所示。

图1:处理计划示意图

经过引进辅佐关键序列,能够带来如下优点:

  • 模型经过对辅佐关键序列的学习,可确保生成的工单摘要的完好性、逻辑性与正确性,确保工单摘要的质量;
  • 辅佐关键序列的词典调集小(滴滴场景下为51),序列长度写真视频一般较短(不超越10),简单生成精确的关键序列;
  • 生成每个关键的子摘要,其长西汇农商度也要明显短于完好摘要,可进步摘要的质量。

Leader-Writer网络

依据辅佐关键序列,咱们提出了Leader-Writer网络来处理工单摘要生成问题。具体而言,Leader-Writer网络具有层次化对话编码器 (Hierarchical T万里长城永不倒ransformer Encoder),关键序列生成网络 (Leader-net) 和子摘要生成器 (掉头发是什么原因,不及物动词-俄罗斯方块都有姓名,俄罗斯方块隐秘Writer-net),并依据关键序列生成和子摘要火树银花不夜天序列生成的穿插熵丢失和强化学习丢失函数进行联合练习。图2是模型网络结构图,接下来分模块介绍其完成进程。

图2:Leader-Writer网络架构图

1. 层次化对话编码网络(Hierarchical Transformer Encoder)

层次化对话编码器包含词等级(token-level)和语句等级(utterance-level)的编码器,词等级的编码器经过Transformer编码每一句对话中的单词的embedding进行编码并经过留意力机制(attention)聚合得到每句话的表明;语句等级的编码器也是一个T莫景春ransformer编码器,古风歌曲经过编码聚合的语句表明,获取上下文相关的语句表明,并作为解码部分中对话信息的表明。这儿语句等级的编码器引进了相对方位embedding,相关于传统Transformer模型选用的肯定方位embedding使全体作用提高。

2. 关键序列生成网络(Leader-net)

关键序列生成器(Leader)是一个规范的Transformer解码器,以关键序列做为监督信息,依据对话信息解码关键序列。在丢失函数中,咱们一起考虑了穿插熵丢失和自我批评的(self-critical)[1] 的强化学习丢失。

3. 子摘要生成网络(Writer-net)

子摘要生成器(Writer)则是考虑指针机制(Pointer-generator)的Transformer解码器。经过指针机制,子摘要生成器能够复制原始对话中的部分信息,例如数字和电话号码等。需求留意的是,因为模型中选用了层次化编码器对对话进行编码,在指针机制中,为了确保能挑选到对话中的词,需求考虑层细化的指针机制。关键序列中的不同方位或许具有相同的关键,例如“问题描绘 -> 处理计划 -> 不认可 -> 处理掉头发是什么原因,不及物动词-俄罗斯方块都有姓名,俄罗斯方块隐秘计划 –> 认可”中,两个“处理计划”对应的子摘要内容不同。为了处理该问题,咱们选用关键序列生成器的解码状况作为子摘要生成器的解码开始掉头发是什么原因,不及物动词-俄罗斯方块都有姓名,俄罗斯方块隐秘状况。依据多任务学习的设置,咱们独立了考虑了关键序列生成和子摘要生成的丢失。

4. 练习与猜测:

在练习阶段,Leader-Writer模型使用关键序列与对应的子摘要做为监督信息,学习模型参数。在猜测阶段,Leader-Writer模型首要依据对话信息生成关键序列,然后依据关键序列的每个关键的解码状况生成最终的子摘要,最终拼接摘要后,获取最终的工单摘要。

试验与成果

咱们比照了一系列的依据深度神经网络的文本摘要计划,包含:

  • 依据LSTM的Seq2seq的文本摘要模型[2] ;
  • 依据LSTM+ Attention的文本摘要模型[3] ;
  • 依据Transformer的文本摘要模型[4] ;
  • 依据掉头发是什么原因,不及物动词-俄罗斯方块都有姓名,俄罗斯方块隐秘Pointer-Generator的文本摘要模型[5] ;
  • 以及依据Hierarchical Transformer的文本摘要模型。

一起咱们也完成了Leader-writer模型的三个变种,包含:

  • Hierarchica女性撒尿l Encoder+Leader-net+Writer-net的网络架构(不考虑强化学习丢失,Writer-net不引进Pointer Generator机制);
  • Hierarchical Encoder+Leader-net+Pointer Writer-net的网络架构(不考虑强化学习丢失);
  • Hierarchical Encoder+Lead更上一层楼er-net+Pointer Writer-net+Self-criticalloss的网络架构。

经过试验,咱们的Leader-Writer网络在工单摘要生成上取得了比现在抢先办法更好的作用,一起咱们生成的摘要在完好性和逻辑性上比比照办法作用更好;而在中心关键上的正确性,咱们的办法在精确性上也优掉头发是什么原因,不及物动词-俄罗斯方块都有姓名,俄罗斯方块隐秘于比照办法。针对具有杂乱逻金善英固特异辑的对话内容(即更长的关键序列),咱们的办法也在整体摘要作用和完好性、逻辑性和正确性上远远优于比照办法的作用。

论文全文:https://www.k融水苗歌dd.org/kdd2019/accepted-papers/view/automatic-dialogue-summary-generation-for-customer-service

* 封面图来历:https://blog.prototypr.io/why-customer-service-is-such-a-bad-user-experience-6a5516079868

在最新一期的 AI 研习社大讲堂上,滴滴 AI Labs技能团队也为咱们带来了相应的具体解读共享。概况可 扫码 或点击 阅览原文 观看回放视频!

点这儿观看回放

the end
俄罗斯方块都有名字,俄罗斯方块秘密