GoldenDB数据库简介_DNB资产管理公司

(96) 2024-06-30 12:01:01

DNB是挪威最大的金融服务集团,在整个地区被誉为最值得信赖的金融机构。在本来文中,DNB数据工程实践中心团队–客户洞察部门运营负责人Saleem Pothiwala,软件工程师Jones Mabea Agwata和数据工程师Bikram Rout分享了他们利用数据的力量进行数字转换的最佳实践。

1、背景

在DNB,一般都会致力于实施数据工程最佳实践,以可靠的方式提供干净,可用和准时的数据。我们将其视为客户洞察力和数据分析计划成功的主要标准。我们使用数据来生成报告,见解,大屏,其他下游系统的提要,并提供数据以获取机器学习分析。

可以将数据工程领域视为BI和数据仓库的保护伞。
GoldenDB数据库简介_DNB资产管理公司 (https://mushiming.com/)  第1张
DNB客户关系运营Saleem Pothiwala

2、方案

在DNB,我们使用 StreamSets 作为“数据处理器”工具。数据处理器将根据工作负载而增长和收缩,并使用数据收集器和转换器为我们提供最佳的EtL和ELT功能。当然在集群中也少不了使用Control Hub编排一切。

在设计和构建数据管道时,数据工程师有责任考虑广泛的依赖关系和要求。

这是我们的高级架构图:

THE END

发表回复