实景AR翻译

2018-04-28 15:39

提起AR，你只能想起《口袋妖怪GO》？那么你就out了！近日，网易有道集合四大顶尖人工智能科技，推出国内首个实景AR翻译。经测评，翻译结果秒杀Google拍照翻译哦！

什么是实景AR翻译？

有道最近推出了实景 AR 翻译功能，在有道翻译官 App 中就能免费使用，并支持中英日韩四种语言的离线翻译，这是国内首家真正的 AR 翻译，此前其他厂商所推的 AR 翻译其实就是拍照翻译。

实景AR 翻译与拍照翻译最大的不同在于，无需拍照再识别图片内容，而是对摄像头中的文字内容实时翻译。有道实景AR翻译的整个过程完全是动态的，和出国旅行、购物等场景十分契合，并且接入了有道的离线神经网络翻译技术（YNMT），翻译质量堪比专业八级，速度极快。这比起以往的拍照翻译，体验上有了跨越式升级。

针对一些常见的翻译语料，比如论文、化妆品包装、个人证件、产品说明书，有道实景AR翻译都做了专门的技术优化。而在翻译结果的视觉呈现上，翻译结果的边缘、背景色与字色均可与原背景无缝贴合。

实景AR翻译的四大人工智能科技：

1.动态跟踪 (Tracking)

不同于静态的拍照翻译，实景AR翻译，是在动态移动的情况下完成。有道自主研发的动态跟踪，就是用运动预测模型去实现动态跟踪，速度能达到90帧/秒。“电影画面的跟踪速度是24帧/秒，所以有道的Tracking速度看起来是非常流畅的。”

2.OCR组段分析（Layout Analysis）

让机器理解人类语言的段落层次，是影响翻译结果很重要的因素。为此，有道用了OCR组段技术训练了上百万份不同类型的语料。段亦涛表示，“组段技术在实景AR翻译中非常重要，这也是为什么用户会感觉到有道的实景AR翻译会比谷歌更通顺。”

3.离线神经网络翻译（YNMT）

离线YNMT极大的提升了实景AR翻译的速度。安装不到100M大小的离线包，就可以在无网络的环境下轻松翻译。有道的YNMT是翻译领域的最尖端的技术之一，中英翻译质量媲美专业八级。

4.AR渲染技术

后台翻译完成后，有道自主研发的AR引擎会在20毫秒内完成像素级渲染。翻译结果的背景边缘、颜色以及字体颜色均保持与被摄原图高度融合。

实景AR翻译应用场景多

1.外媒新闻翻译

新闻翻译是对翻译 App 最好的试金石之一，因为经常会出现结构复杂的长句，要翻译好需兼顾词意、句法、语境等多个方面。从翻译结果来看，有道实景 AR 翻译令人满意。

2.线上海淘商品：

网上海淘，很有必要了解清楚商品的相关信息，比如成分说明、注意事项和退换货说明等。

有道翻译官的实景AR 翻译基本能准确流畅地翻译比较长的产品说明，翻译结果也容易理解。这也是有道的一个秘密武器，就是 OCR的组段分析技术，通过上百万份语料训练，让机器能看懂人的说话方式、分段方式，直接结合上下文翻译，不用一个字一个字的翻译后粗暴地集合在一起。

3.识别异国的车站路牌：

行走在异国的城市，对陌生地名、路牌的翻译也是十分高频的需求。 AR 翻译比起过去手动输入来说方便了不少。

从几个场景的测试来看，使用有道实景 AR 翻译，摄像头从对准文字到翻译成目标语言的响应速度较快，做到实时翻译。而且在把原文替换到目标语言的同时完整地保留了文字背景，比用 PS 还快。

4.外文菜名翻译：

虽然一些国家的餐厅已经开始针对中国游客推出了中文菜单，但在国外就餐时还是会经常碰到一头雾水的情况，有道实景 AR 翻译对菜名的翻译也比较到位。

综上所述，有道实景AR翻译应用人工智能科技，能很好地理解上下文的意思，并了解中文的表达习惯，能将翻译结果自然地表达出来。并且AR翻译的视觉交互体验好，平面文字与背景的融合效果好。相信这种翻译技术会在未来出国旅行、海淘等场景下应用，提高效率，使生活更便利。