无论是浏览新闻、论坛还是贴吧,甚至在淘宝和京东的商品评论和苹果App Store的应用评价下面,我们经常能看到一些广告和无价值的垃圾留言,不胜其烦。传统的做法是以人工的方式筛选和后台删除,不但费时费力而且容易出错,不过,未来这一现状或将发生改观。
近日,有外媒报道称,雅虎将启用人工智能技术来删除新闻报道下面的垃圾留言。在测试中,这一算法有90%的概率能识别出不当用语,而这一准确率胜过了人工排查方式,以及其他强大的深度学习技术。
雅虎的这一算法不同于传统的关键词识别,而是会关注一系列的额外因素,例如内容的长度和标点的使用等。随后,受过培训的员工也会对这些智能算法筛选出的结果进行评估,然后再反馈给算法,从而训练人工智能感受语言中的细微差别。除此之外,雅虎还利用了亚马逊Mechanical Turk中众包的额外评价结果,提供这些评价的并非专业的评论管理人员,以此来综合训练这一人工智能算法的准确度。
目前,这一技术并未公开商用。不过雅虎相信,这将会成为计算机自然语言处理的重要一步。这项技术在雅虎内部的应用情况良好,但未来还需要接受其他数据库的考验。