ETL仍然是一个挑战 机器学习可以识别和管理元数据
在20世纪90年代,当数据仓库成为众所周知的商业智能(BI)概念时,提取,转换和加载(ETL)成为一个熟悉的概念。网络的出现以及大量数据使许多组织将注意力从ETL转移到数据湖泊。太多人贬低ETL作为过去的工具。然而,正如IT人员一直意识到的那样,数据湖并不能解决所有问题,而且对ELT进行品牌重塑并没有改变这样一个事实:现在有了比以往更多的资源和目标。数据移动仍然是一个复杂的问题和元数据管理(MDM),并且由于必须更好地跟踪和控制隐私平均数据的监管要求,因此问题变得更具挑战性。
简单地说,元数据是描述数据的数据。元数据告诉系统,然后告诉人们,字段是字符,数字,货币金额等等。在更高级别,元数据给出数据的名称。但是,对于这么多数据,所有系统都有不同的名称。例如,谁知道“工资税”,“州工资税”,“税收11”和“prt2”是否在不同的系统中是指相同的数字?
数据仓库中最大的挑战之一是将来自多个系统的元数据进行网格化以识别逻辑对象,例如“工资税”。随着云时代系统的扩展,这变得更具挑战性。在分析元数据和同步向分析系统前进的信息时,会丢失大量时间。
同时,必须支持逆流。在跨国公司中展示销售的可视化是一回事。销售副总裁想要在注意到有趣的东西时钻回源数据,这是另一回事。如果BI系统唯一理解的是汇总的元数据标签,那么如何从原始系统深入查看详细信息?这些信息的来源是什么?
问题不仅变得更具挑战性,而且变得越来越重要。诸如的GDPR和加利福尼亚即将推出的CCPA等法规要求对消费者数据进行更多的隐私控制。识别私人信息是迈向合规的第一步。
让我们在这个过程中抛出另一个复杂因素。让我们回到跨国公司。它不仅仅是不同系统中的不同名称,而是不同的语言。一个系统具有英文原始元数据,另一个用法语,另一个用德语。翻译不一定有帮助。
人们无法快速处理大型,复杂的元数据集成集。我们需要的是一种算法方法。统计过程既可以用于元数据,也可以用于数据,以便解决问题并快速推荐不同元数据标签之间的关系。
这就是机器学习(ML)的用武之地。通过自动化分析复杂的企业环境可以更快。这个问题的有趣之处在于解决方案可以位于ML方程的更多商业智能方面。几年前,我写过关于我接受改变ML定义的文章。计算能力允许先进的统计建模提供更好的洞察力,因此ML现在位于AI和BI之间。
Octopai是最新攻击整个企业信息架构中的元数据管理挑战的公司之一。当我与首席执行官兼联合创始人Amnon Drori进行交谈时,我们讨论了如何在没有强大的元数据链接的情况下,数据和信息无法准确地从源系统转移到BI系统。“数据已经在任何大公司的多个ETL流程中进行,”Drori先生说。“不仅要查看数据,还要分析流程以找到有助于澄清元数据重用的相似性,这一点至关重要。首先是合规意味着理解您的所有数据,这意味着识别元数据并创建可访问的元数据目录。“
通过在数据和现有流程上使用现代ML流程,公司可以更好地识别并管理这些数据。结果不仅仅是分析的改进。
具有政府法规和合同的现代合规性意味着具有强大元数据管理的公司可以提供信息链的来源并确定私人信息是私密的。无论有多少现代系统试图隐藏它,ETL仍然很重要; 机器学习是一个关键工具,可以帮助管理保持信息准确,受控和流动所需的元数据。
免责声明:本文由用户上传,与本网站立场无关。财经信息仅供读者参考,并不构成投资建议。投资者据此操作,风险自担。 如有侵权请联系删除!
-
最近收到一位患者的留言,说自己这几天总感觉肛门有下坠胀感,特别难受,上网一查,好多信息都指向癌症,这可...浏览全文>>
-
腹痛、腹泻总反复!可能是小肠、大肠在抗议。基于症状特征区分小肠疾病与大肠疾病的具体差异分析:一、核心症状...浏览全文>>
-
近日,中国中医药信息学会肛肠分会·肿瘤分会·治未病分会·河北名医学会肛肠分会·盆底与便秘分会·河北省中...浏览全文>>
-
安徽蚌埠的长安启源E07作为一款备受关注的新能源车型,其价格和配置一直是消费者热议的话题。如果你正考虑入手...浏览全文>>
-
近年来,随着新能源汽车市场的快速发展,插电式混合动力车型逐渐成为消费者关注的焦点。生活家PHEV作为一款备...浏览全文>>
-
在2025款生活家PHEV车型正式上市之前,提前了解相关费用明细对于购车者来说至关重要。这款插电式混合动力车型...浏览全文>>
-
大众途昂作为一款中大型SUV,凭借其宽敞的空间和强劲的动力配置,在市场上一直拥有不错的口碑。对于计划购买20...浏览全文>>
-
阜阳地区的长安启源Q05 2025款车型凭借其时尚的外观设计和丰富的配置,吸引了众多消费者的关注。这款车型作为...浏览全文>>
-
阜阳揽巡作为一款备受关注的中型SUV,凭借其豪华的配置和超值的价格吸引了众多消费者的目光。这款车不仅在外观...浏览全文>>
-
淮南长安启源A07自上市以来便凭借其卓越的性能和亲民的价格赢得了众多消费者的青睐。作为2025款的新车型,它在...浏览全文>>