发布时间:2020-06-13 10:15:12
来源:股票啦
股票啦网 www.gupiaola.com 2020年06月13日报道:谷歌揭秘自家翻译系统:如何利用AI技术提高翻译质量
针对机器翻译来说,假如一门语言可用的文字资料越多,经过人工智能(161631)模型训练出来的翻译效果就越好。但并非全部语言都具备丰富可用训练的文字资料,这样一来,如何在数据不多的情况下,美股投资哪个指数训练出更好的翻译器,成为机器翻译领域里需要解决的问题之一。
近日,谷歌在自己的博客上介绍了公司最新的翻译创新技术,这些技术提升了谷歌翻译的用户体验。目前谷歌翻译可支持108种语言,平均每天翻译1500亿个单词。
谷歌翻译最早亮相于2006年,在过去的13年间,翻译水平有了重大飞跃。谷歌表达,其翻译突破并非由单一技术促进的,而是针对低资源语言、高资源语言、总体质量、推理速度等一系列技术组合的突破。在2019年5月到2020年5月之间,根据人工评估和BLEU(基于翻译系统翻译和人工参考翻译之间相似性的衡量标准),美股投资哪个指数谷歌翻译在全部语言中平均提高了5分以上,在50种语料资源最少的语言中平均提高了7分以上。
混合模型和数据发掘器
在这系列技术突破中,美股投资哪个指数谷歌首先提到了混合模型和数据发掘器。
混合模型指的是由Transformer编码器和递归神经网络(RNN)解码器构成的模型。在机器翻译中,编码器通常将单词和短语编码为内部表征,解码器将其生成为所需要的语言文本。谷歌的钻研人员在2017年称首次提出,翻译质量的提高关键依靠编码器。谷歌团队称这可能是因为RNN和Transformer都设计为处理有序数据序列,但Transformers并不需要按顺序处理序列。换句话说,假如所商量的数据是自然语言,则Transformer无需在处理结尾之前先处理句子的开头。
虽然如此,RNN解码器在推理时间上依然比Transformer中的解码器要“快得多”。谷歌翻译团队认识到这一点,于是在将RNN解码器与Transformer编码器耦合之前,美股投资哪个指数对RNN解码器进行了优化,以创建低延迟、质量及稳定性均比此前所使用的RNN神经机器翻译模型更胜一筹的混合模型。
除了新颖的混合模型体系结构之外,谷歌还升级了爬虫工具,爬虫工具可以从数以百万计的示例翻译中收集编译训练数据。升级后,谷歌嵌入了14 种大语言对,而非单纯基于字典数据。也就是说它是使用实数向量来表达单词和短语,更多地聚焦于精确性(检索数据中的相关数据部分),而非检索(实际检索的相关数据总量)。产出效果方面,谷歌说这使得该数据发掘器提取到的句子数量平均增加了29%。
“嘈杂”的数据和迁移学习
谷歌翻译性能提升的另一个技术突破来自更好地处理训练数据中的“噪声”。“噪声”即嘈杂的数据,因含有大量无法准确明白或解说的信息数据,从而会损害语料资源丰富的语言翻译。因此谷歌翻译团队部署了一个系统,该系统使用经过训练的模型为翻译示例分配分数,进而挑选出“纯净”的数据。实际上,这些模型一开端基于全部的数据进行训练,美股投资哪个指数然后渐渐基于更小、更纯净的数据子集进行训练,这种方法在人工智能(161631)钻研领域被称为课程学习。
针对机器翻译来说,传统上依靠于源语言和目的语言中成对句子的语料统计。针对资源较少的语言,谷歌在谷歌翻译中运用了一个回译机制,来强化并行训练数据,即语言中的每个句子都与其译文相配对。在该机制中,训练数据与合成的并行数据自动对齐,目的文本为自然语言,而源文本则由神经翻译模型生成。结局是,谷歌翻译充分利用更丰富的单语文本数据来训练模型,谷歌称这对提高翻译通畅性特殊有帮忙。
此外,谷歌翻译团队还建了一个M4模型。M4模型由团队在2019年提出,该模型对100多种语言的250亿对句子进行训练后,提高了30多种低资源语言的翻译质量。这一模型也证明了在机器翻译过程中可以使用迁移学习技术。这也意味着收集包含法语、德语和西班牙语,这些有数十亿个并行示例的高资源语言,并进行训练后,可以应用于翻译诸如约鲁巴语,美股投资哪个指数信德语和夏威夷语,这些仅有数万个示例的低资源语言。
机器翻译的将来
谷歌称,自2010年以来,翻译质量每年都在提高,可是机器翻译绝非翻译问题的“终结者”。 谷歌承认,即便是增强后的模型也简单出错,包含将一种语言的不同方言混合在一起,产生过多的直译,美股投资哪个指数以及在特定主题,非正式或口语上的表现不佳。
谷歌尝试用不同的方法来解决上述的问题。公司曾公布一项计划旨在招募志愿者,通过检查翻译单词和短语是否准确来帮忙提高低资源语言的翻译性能。 今年2月份,谷歌翻译与新兴的机器学习技术相结合后就完成了进步,他们提供了仅有7500万人使用的五种语言翻译,例如Kinyarwanda(卢旺达语),Odia(奥里亚语),Tatar(鞑靼语),Turkmen(土库曼语)和Uyghur(维吾尔语)。
追求真正通用翻译的并不只有谷歌一家。在2018年8月,Facebook公布了一种AI模型,该模型结合了逐词翻译,语言模型和反向翻译,在语言配对方面表现优异。最近,麻省理工学院计算机(512720)科学与人工智能(161631)实验室的钻研人员提出了一种无监督模型,即可以从未经明确标记或分类的测试数据中学习的模型,美股投资哪个指数该模型可以在两种语言的文本之间进行翻译,而无需在两种语言之间直接进行翻译。
股友veLN9X甘肃玉门[大笑]
股友DBDHPj内蒙古乌海没事做,逼。又开始走下陂,高位被套套套……哈哈哈
青山绿水依然在吉林通化星期一看疗效
鹏万只为月下相伴江苏姜堰噢, 知道了[想一下]
美棠投资福建漳州一个中节带货卖不出去了,再找多一个共赢基金一起卖[大笑]行啊
形式上趋势湖北宜昌3500点,周一大涨,大利好,顶起!
筷子小姐山东潍坊[微笑]
股票啦网 www.gupiaola.com 2023年11月05日报道:正常的卖空包含融券和卖出两个步骤泥沙俱下之际,外资的表现也令韩国股民颇为“扎心”——10月净卖出2.9万亿韩元的股票,不仅是连续第5个月净卖...
股票啦 www.gupiaola.com 2023年11月04日报道:三季度公司总资产下降至10199.33亿美元美东时间周六早上,股神巴菲特旗下伯克希尔哈撒韦公司公布三季报,公司三季度经营利润同比增长超四成。财...
股票啦 www.gupiaola.com 2023年11月04日报道:销售市场预测891.82亿美元伯克希尔哈撒韦A2023年Q3营收932.1亿美元,销售市场预测891.82亿美元,去年同期为769.34亿美元;Q3EPS为亏损8824美元,...
今日股市行情 | 美股行情 | 明日股市预测 | 最新股市消息 | 今日股票推荐 | 今日股市新闻 | 股票入门基础知识