首页 > 行业见闻 > 正文

人工智能与数据治理:深度融合、相互促进

2020-01-08 发布于:行业见闻

在大数据、云计算等底层技术的驱动下,人工智能的浪潮从几年前一直延续至今,并且广泛应用于多个行业和领域,成为下一次科技革命的一个领军技术。同样,随着数据量与数据来源的猛增,数据治理也成为企业在挖掘利用数据价值过程中必不可少的环节,并且逐渐发展为企业的核心业务之一。


1


由于数据治理的输出是人工智能的输入,即经过数据治理后的大数据,因此数据治理与人工智能的发展存在相辅相成的关系。一方面,数据治理为人工智能奠定基础。通过数据治理,数据质量可以得到有效提升,从而为人工智能的应用提供高质量的合规数据,为其更有效、有用、精准性高的智能化服务奠定基础。另一方面,人工智能对也数据治理存在着诸多优化作用。


以机器学习为代表的人工智能主要分为训练和推断两个环节,机器学习训练算法的效果依赖于所输入的数据质量的优劣,如果输入的数据存在偏差,那么输出的算法也将产生偏差,这可能直接导致所得结果的不可用。而数据治理中一项重要的核心过程便是数据质量管理。数据管理部门通过分析、评估整体数据质量情况,定义数据质量测量指标、监控数据问题等工作,为企业提供合规有效的数据,进而为人工智能技术提供可信的数据输入。


1


数据质量对人工智能的发展至关重要,而人工智能技术也有助于数据质量的提升。一方面,机器学习还能帮助找出数据中存在的错误,并对数据进行清洗,同时在往后的环节中保持数据的清洁度。一般情况下,寻找并清洗数据的流程是非常艰巨的,而通过机器学习,整个流程将能够得到简化,因为只要具备正确的数据匹配算法,机器就能够学会数据匹配,并随着流程对数据进行清洗。此外,有了机器学习技术以后,算法能够通过学习变得更加地智能。算法可以根据以往的经验来判断所投入的数据,并不断地监控数据格式化的流程和数据质量,在不需要人工参与的情况下自动优化数据。


综上所述,数据治理和人工智能之间存在相辅相成的良性循环。没有干净的高质量数据,机器算法实际上是无用的。但是一旦向算法模型中投入干净的数据,它们就可以大大提高洞察的质量,远远超过以往通过非机器学习来强化分析手段可以获得的成效,从而实现一种双赢局面。