首页 > 修改教程 > gg修改器修改文字游戏_gg修改器的游戏
gg修改器修改文字游戏_gg修改器的游戏
  • gg修改器最新版
  • 大小:4.42MB版本:v5.05
  • 语言:简体中文系统:Android
绿色无毒,安全可靠!部分设备误报拦截请通过!

gg修改器修改文字游戏_gg修改器的游戏

作者:佚名 来源:网友分享 日期:2024-07-15 20:42:47

大家好,今天小编为大家分享关于gg修改器修改文字游戏_gg修改器的游戏的内容,赶快来一起来看看吧。

最终训练得到四个encoder-decoder模型:

1、PEER-Edit的输入为文本x和一组文档,模型输出为计划和编辑后的文本,其中p为计划文本。

2、PEER-Undo的输入为编辑后的文本和一组文档,模型输出结果为是否撤销该次编辑。

3、PEER-Explain用来生成该次编辑的解释,输入为源文本、编辑后的文本和一组相关文档。

4、 PEER-Document输入源文本、编辑后的文本和计划,模型输出为该次编辑中最有用的背景信息。

PEER的所有变体模型都用来生成合成数据,既生成缺失的部分来补充的训练数据,也用来替换现有数据中的「低质量」部分。

为了能够对任意文本数据进行训练,即使该段文本没有编辑历史,也使用PEER-Undo来生成合成的「后向」编辑,即对源文本反复应用PEER-Undo直到文本为空,再调用PEER-Edit在相反的方向进行训练。

在生成计划时,使用PEER-Explain来修正语料库中许多低质量的评论,或者处理没有评论的文本。从PEER-Explain的输出中随机采样多个结果作为「潜在的计划」,通过计算实际编辑的似然概率,并选择概率最高的作为新计划。

如果对于特定编辑操作无法找到相关文档,则使用PEER-Document生成一组合成的文档,包含执行该次编辑操作的信息。最关键的是,仅在训练PEER-Edit这么做,在推理阶段并不提供任何合成文档。

为了提高生成的计划、编辑和文档的质量和多样性,研究人员还实现了一个控制机制,即在模型被训练生成的输出序列中预置特定的控制标记,然后在推理过程中使用这些控制标记来指导模型的生成,标记包括:

1、type用来控制PEER-Explain生成的文本类型,可选值为instructon(输出必须以不定式开头to ….)和other;

2、length, 控制PEER-Explain的输出长度,可选值包括s(少于2个词), m(2-3个词),l(4-5个词)和xl(多于或等于6个词);

3、overlap, 是否PEER-Explain生成的词可以与编辑文本重复,可选值为true和false;

4、words,用来控制PEER-Undo在源文本和编辑后文本之间不同词的个数,可选值为所有整数;

5、contains,用来确保PEER-Document输出的文本包含某个substring

PEER没有对PEER-edit引入控制符,即没有假定用户可能会用模型解决编辑任务的类型,使得模型更加通用。

在实验对比阶段,PEER使用LM-Adapted T5的3B参数版本预训练初始化。

为了评估了PEER在不同领域中遵循一系列计划、利用所提供的文档和进行编辑的能力,特别是在没有编辑历史的领域中的表现,文中引入了一个新的数据集Natural Edits,一个针对不同文本类型和领域的自然发生的编辑的集合。

数据从三个英文网络资源中收集获得:从维基百科中收集百科全书式的页面,从Wikinews收集新闻文章,从StackExchange的烹饪、园艺、法律、电影、政治、旅游和工作场所子论坛收集问题,所有这些网站都提供了带有评论的编辑历史,这些评论详细说明了编辑的意图,并将其作为计划提供给模型。

在Wikinews和StackExchange子集的训练中,只提供纯文本数据,而非实际的编辑,从而测试在没有编辑历史的领域的编辑能力。

实验结果可以看出PEER的表现在一定程度上超过了所有的基线,并且计划和文档提供了模型能够使用的互补信息

在Natural Edits的所有子集上评估PEER后可以发现,计划对各领域都有很大的帮助,这表明理解维基百科编辑中的计划的能力可以直接转移到其他领域。重要的是,在Natural Edits的所有子集上,PEER的领域适应性变体明显优于常规的PEER,尤其是在园艺、政治和电影子集上有很大的改进(分别为84%、71%和48%的EM-Diff),也显示了在不同领域中应用PEER时,生成合成编辑的有效性。

参考资料:

https://arxiv.org/abs/2208.11663

以上就是关于gg修改器修改文字游戏_gg修改器的游戏的全部内容,希望对大家有帮助。

相关文章

热门下载

大家还在搜