- 云数据湖:构建健壮的云数据架构
- (美)鲁克米尼·戈帕兰
- 494字
- 2024-11-28 16:28:42
1.4.2 什么是云数据湖架构
正如1.1节提到的,大数据场景远远超出了传统企业数据仓库的范围。云数据湖架构旨在解决这些确切的问题,因为它们旨在满足数据及其来源爆炸式增长的需求,而无须对数据的来源、格式、大小或质量做出任何假设。与传统数据仓库采用的问题优先方法相比,云数据湖采用数据优先的方法。在云数据湖架构中,所有数据都被认为是有用的——无论是立即满足当前需求还是满足未来需求。云数据架构的第一步是以原始自然状态摄取数据,而不受数据源、大小或格式的任何限制。这些数据存储在云数据湖中,云数据湖是一个高度可扩展的存储系统,可以存储任何类型的数据。这些原始数据的质量和价值各不相同,需要更多的转换才能生成高价值的见解。
如图1-5所示,云数据湖上的处理系统处理存储在数据湖中的数据,并允许数据开发人员按需定义架构,即在处理时描述数据。然后,这些处理系统对低价值的非结构化数据进行操作,以生成高价值数据,这些数据通常是结构化的,并且包含有意义的见解。之后,这些高价值的结构化数据要么被加载到企业数据仓库中以供使用,要么直接在数据湖中使用。如果所有这些概念看起来都很复杂,不用担心,第2章和第3章将详细介绍这一过程。