在數(shù)據倉庫、數(shù)據平臺、數(shù)據中臺、數(shù)據湖的相關概念中，都與數(shù)據有關系，但它們之間又有什么區(qū)別呢？本文圍繞它們的概念、架構、使用場景進行了介紹，一起來看一下吧。

我們經常聽到別人談論數(shù)據倉庫、數(shù)據平臺、數(shù)據中臺、數(shù)據湖的相關概念，它們都與數(shù)據有關系，但它們之間又有什么區(qū)別，下面我們將圍繞數(shù)據倉庫、數(shù)據平臺、數(shù)據湖和數(shù)據中臺的概念、架構、使用場景進行介紹。

一、數(shù)據倉庫

1. 數(shù)據倉庫概念

數(shù)據倉庫由比爾·恩門（Bill Inmon，數(shù)據倉庫之父）于1990年提出，主要功能是將企業(yè)系統(tǒng)聯(lián)機事務處理（OLTP）長期壁壘的大量數(shù)據，通過數(shù)據倉庫理論支持所持有的數(shù)據存儲結構，做有系統(tǒng)的分析整理。

隨著企業(yè)的發(fā)展，業(yè)務系統(tǒng)的數(shù)據不斷激增，這些存儲在企業(yè)業(yè)務數(shù)據庫中（也就是關系型數(shù)據庫Oracle，Microsoft SQL Sever，MySQL等）數(shù)據會隨著時間的積累越來越多，會使業(yè)務數(shù)據庫會有一定的負載，導致業(yè)務系統(tǒng)的運行效率低，且這些數(shù)據中有很大一部分是冷數(shù)據，而我們業(yè)務系統(tǒng)一般對我們近期的數(shù)據，也就是熱數(shù)據調用的比較頻繁，對冷數(shù)據使用頻率較低。

同時隨著企業(yè)數(shù)據驅動業(yè)務概念的興起，企業(yè)需要將各業(yè)務部門的業(yè)務數(shù)據提取出來進行數(shù)據分析與挖掘，輔助高層進行分析與決策，但各部門需求的數(shù)據種類千差萬別，接口錯綜復雜，過多的數(shù)據查詢腳本以及接口的接入導致業(yè)務數(shù)據庫的穩(wěn)定性降低。

為了避免冷數(shù)據與歷史數(shù)據的積壓對我們業(yè)務數(shù)據庫效能產生影響，企業(yè)需要定期將冷數(shù)據從業(yè)務數(shù)據庫中轉移出來存儲到一個專門存放歷史數(shù)據的倉庫里面，各部門可以根據自身業(yè)務特性對外提供統(tǒng)一的數(shù)據服務，這個倉庫就是數(shù)據倉庫。

2. 數(shù)據倉庫特點

數(shù)據倉庫（Data Warehoese）的特點：面向主題的、集成的、穩(wěn)定的、反映歷史數(shù)據變化的。

• 面向主題的：數(shù)據倉庫是用來分析特點主題域的，所以說數(shù)據倉庫是面向主題的。例如，電商行業(yè)的主題域通常分為交易域、會員域、商品域等。
• 集成的：數(shù)據倉庫集成了多個數(shù)據源，同一主題或產品相關數(shù)據可能來自不同的系統(tǒng)不同類型的數(shù)據庫，日志文件等。
• 穩(wěn)定的：數(shù)據一旦進入數(shù)據倉庫，則不可改變。數(shù)據倉庫的歷史數(shù)據是不應該被更新的，同時存儲穩(wěn)定性較強
• 反映歷史數(shù)據變化的：數(shù)據倉庫保存了長期的歷史數(shù)據，這點相對OLTP的數(shù)據庫而言。因為性能考慮后者統(tǒng)籌保存近期的熱數(shù)據。

3. OLTP與OLAP

1）OLTP與OLAP概念

數(shù)據處理大致可以分成兩大類：聯(lián)機事務處理OLTP（on-line transaction processing）、聯(lián)機分析處理OLAP（On-Line Analytical Processing）。

OLTP是傳統(tǒng)的關系型數(shù)據庫的主要應用，主要是基本的、日常的事務處理，例如銀行交易。OLAP是數(shù)據倉庫系統(tǒng)的主要應用，支持復雜的分析操作，側重決策支持，并且提供直觀易懂的查詢結果。

2）OLTP與OLAP區(qū)別

OLTP 系統(tǒng)強調數(shù)據庫內存效率，強調內存各種指標的命令率，綁定變量，并發(fā)操作等。OLAP 系統(tǒng)則強調數(shù)據分析，強調SQL執(zhí)行市場，磁盤I/O，分區(qū)等。

3）OLAP與數(shù)據倉庫的聯(lián)系

OLAP和數(shù)倉的關系是依賴互補的，一般以數(shù)據倉庫作為基礎，既從數(shù)據倉庫中抽取出詳細數(shù)據的一個子集并經過必要的聚集存儲到OLAP存儲中供數(shù)據分析工具讀取。

4. 數(shù)據倉庫的作用

數(shù)據倉庫將來自不同來源的結構化數(shù)據聚合起來，用于業(yè)務智能領域的比較和分析，數(shù)據倉庫是包含多種數(shù)據的存儲庫，并且是高度建模的。

如下圖所示：各個系統(tǒng)的元數(shù)據通過ETL同步到操作性數(shù)據倉庫ODS中，對ODS數(shù)據進行面向主題域建模形成DW（數(shù)據倉庫），DM是針對某一個業(yè)務領域建立模型，具體用戶（決策層）查看DM生成的報表。

什么是ETL?（extraction-transformation-load 抽取-轉換-加載）

傳統(tǒng)的數(shù)據倉庫集成處理架構是ETL，利用ETL平臺的能力，E=從源數(shù)據庫抽取數(shù)據，L=將數(shù)據清洗（不符合規(guī)則的數(shù)據）、轉化（對表按照業(yè)務需求進行不同維度、不同顆粒度、不同業(yè)務規(guī)則計算進行統(tǒng)計），T=將加工好的表以增量、全量、不同時間加載到數(shù)據倉庫。

什么是ELT?（extraction-load-transformation抽取-加載-轉換）

大數(shù)據背景下的架構體系是ELT結構，其根據上層的應用需求，隨時從數(shù)據中臺中抽取想要的原始數(shù)據進行建模分析。

ELT是利用數(shù)據庫的處理能力，E=從源數(shù)據庫抽取數(shù)據，L=把數(shù)據加載到目標庫的臨時表中，T=對臨時表中的數(shù)據進行轉換，然后加載到目標庫目標表中。

ELT對比ETL的優(yōu)勢：

• 資源利用率的提升：ELT主要通過數(shù)據庫引擎來實現(xiàn)系統(tǒng)的可擴展性（尤其是當數(shù)據加工過程在晚上時，可以充分利用數(shù)據庫引擎的資源）。
• 任務運行效率的提升：ELT可以保持所有的數(shù)據始終在數(shù)據庫當中，避免數(shù)據的加載和導出，從而保證效率，提高系統(tǒng)的可監(jiān)控性。
• 并行處理優(yōu)化：ELT可以根據數(shù)據的分布情況進行并行處理優(yōu)化，并可以利用數(shù)據庫的固有功能優(yōu)化磁盤I/O。
• 可擴展性增強：ELT的可擴展性取決于數(shù)據庫引擎和其硬件服務器的可擴展性。
• 性能優(yōu)化：通過對相關數(shù)據庫進行性能調優(yōu)，ETL過程獲得3到4倍的效率提升一般不是特別困難。

數(shù)據倉庫系統(tǒng)的作用能實現(xiàn)跨業(yè)務條線、跨系統(tǒng)的數(shù)據整合，為管理分析和業(yè)務決策提供統(tǒng)一的數(shù)據支持。數(shù)據倉庫能夠從根本上幫助你把公司的運營數(shù)據轉化成為高價值的可以獲取的信息（或知識），并且在恰當?shù)臅r候通過恰當?shù)姆绞桨亚‘數(shù)男畔鬟f給恰當?shù)娜恕Ｒ韵聢D為例：

數(shù)據倉庫的作用主要體現(xiàn)在企業(yè)決策、分析、計劃和響應以下幾個方面：

數(shù)據倉庫針對實時數(shù)據處理和非結構化數(shù)據處理能力較弱，以及在業(yè)務在預警預測等方面應用有一定的限制。

二、數(shù)據平臺

1. 數(shù)據平臺概念

大數(shù)據時代，數(shù)據平臺一般被稱之為大數(shù)據平臺。

狹義上的數(shù)據平臺：是為了解決數(shù)據倉庫不能處理非結構化數(shù)據和報表開發(fā)周期長的問題，所以先撇開業(yè)務需求、把企業(yè)所有的數(shù)據都抽取出來放到一起，成為一個大的數(shù)據集，其中有結構化數(shù)據、非結構化數(shù)據等。當業(yè)務方有需求的時候，再把他們需要的若干個小數(shù)據集單獨提取出來，以數(shù)據集的形式提供給數(shù)據應用。

廣義的大數(shù)據平臺：廣義的大數(shù)據平臺通常被賦予更多的使命，以處理海量數(shù)據存儲、計算及不間斷流數(shù)據實時計算、離線計算、智能推薦、交互式查詢、數(shù)據湖構建等場景為主的一套基礎設施。典型的包括基于Hadoop 生態(tài)構建的大數(shù)據平臺。提供易于部署及管理的 Hive、Spark、HBase、Flink、StarRocks、Iceberg、Alluxio 等開源大數(shù)據計算和存儲引擎。

狹義的數(shù)據平臺和傳統(tǒng)的數(shù)據平臺（數(shù)據倉庫）功能一致，區(qū)別只是技術架構和數(shù)據容量方面的不同。

廣義上的大數(shù)據平臺是數(shù)據湖的基座，提供易于部署和管理的泛Hadoop生態(tài)及其他存儲計算引擎的PaaS平臺，助力企業(yè)構建企業(yè)級數(shù)據湖技術架構。

Tip：本文以狹義的數(shù)據平臺進行對比，這里不對狹義的數(shù)據平臺做過多概述。

三、數(shù)據中臺

1. 數(shù)據中臺概念

數(shù)據中臺的起源：2015 年年中，馬云帶領阿里巴巴集團高管拜訪了一家芬蘭的小型游戲公司 Supercell。這家僅有不到 200 名員工的小型游戲公司竟創(chuàng)造了高達 15 億美元的年稅前利潤！而 Supercell 之所以能夠支持多個團隊快速、敏捷地推出高質量的游戲作品，其強大的中臺能力功不可沒。

因此，在拜訪 Supercell 的旅程結束之后，馬云決定對阿里巴巴的組織和系統(tǒng)架構進行整體調整，建立阿里產品技術和數(shù)據能力的強大中臺，構建“大中臺，小前臺”的組織和業(yè)務體制。

數(shù)據中臺的主要目的：解決企業(yè)在發(fā)展過程中，由于數(shù)據激增與業(yè)務的擴大而出現(xiàn)的統(tǒng)計口徑不一致、重復開發(fā)、指標開發(fā)需求響應慢、數(shù)據質量低、數(shù)據成本高等問題。通過一系列數(shù)據工具（元數(shù)據中心、數(shù)據指標中心、數(shù)倉模型中心、數(shù)據資產中心-資產質量/治理/安全、數(shù)據服務中心等），規(guī)范數(shù)據供應鏈的各個環(huán)節(jié)。

2. 數(shù)據中臺特點

數(shù)據中臺特點：以一種標準的、安全的、可靠的、統(tǒng)一的、共享的、解耦的、服務化的方式支持前端數(shù)據的應用。

3. 數(shù)據中臺作用

（阿里數(shù)據中臺邏輯架構圖）

（數(shù)據中臺產品能力圖）

數(shù)據中臺通過對企業(yè)內外部多源異構的數(shù)據采集、建設、管理、分析和應用，使數(shù)據對內優(yōu)化管理提高業(yè)務價值，對外進行數(shù)據合作讓業(yè)務價值得到釋放，使之成為企業(yè)數(shù)據資產管理中樞。數(shù)據中臺建立后，會形成數(shù)據API服務，為企業(yè)和客戶提供高效各種數(shù)據服務。

數(shù)據中臺對一個企業(yè)的數(shù)字化轉型和可持續(xù)發(fā)展起著至關重要的作用。數(shù)據中臺為解耦而生，企業(yè)建設數(shù)據中臺的最大意義就是應用與數(shù)據之間的解耦，這樣企業(yè)就可以不受限制地按需構建滿足業(yè)務需求的數(shù)據應用。

構建了開放、靈活、可擴展的企業(yè)級統(tǒng)一數(shù)據管理和分析平臺， 將企業(yè)內、外部數(shù)據隨需關聯(lián)，打破了數(shù)據的系統(tǒng)界限。

利用大數(shù)據智能分析、數(shù)據可視化等技術，實現(xiàn)了數(shù)據共享、日常報表自動生成、快速和智能分析，滿足企業(yè)各級部門之間的數(shù)據分析應用需求。

深度挖掘數(shù)據價值，助力企業(yè)數(shù)字化轉型落地。實現(xiàn)了數(shù)據的目錄、模型、標準、認責、安全、可視化、共享等管理，實現(xiàn)數(shù)據集中存儲、處理、分類與管理，建立大數(shù)據分析工具庫、算法服務庫，實現(xiàn)報表生成自動化、數(shù)據分析敏捷化、數(shù)據挖掘可視化，實現(xiàn)數(shù)據質量評估、落地管理流程。

四、數(shù)據湖

1. 數(shù)據湖概念

數(shù)據湖起源：數(shù)據湖的起源，應該追溯到2010年10月，由 Pentaho 的創(chuàng)始人兼 CTO， James Dixon 所提出，他提出的目的就當時歷史背景來看，其實是為了推廣自家產品 Pentaho。當時核心要解決的問題是傳統(tǒng)數(shù)據倉庫報表分析面臨的兩個問題：

• 只使用部分屬性，這些數(shù)據只能回答預先定義好(pre-determined)的問題。
• 數(shù)據被聚合了，最低層級的細節(jié)丟失了，能回答的問題被限制了。

而我們當前所討論的數(shù)據湖，已經遠遠超過了當初 James Dixon 所定義的數(shù)據湖，各廠商之間也對數(shù)據湖有了更多的不同定義。

1）AWS

A data lake is a centralized repository that allows you to store all your structured and unstructured data at any scale. You can store your data as-is, without having to first structure the data, and run different types of analytics—from dashboards and visualizations to big data processing, real-time analytics, and machine learning to guide better decisions.

“數(shù)據湖是一個集中式存儲庫，允許您以任意規(guī)模存儲所有結構化和非結構化數(shù)據。您可以按原樣存儲數(shù)據（無需先對數(shù)據進行結構化處理），并運行不同類型的分析– 從控制面板和可視化到大數(shù)據處理、實時分析和機器學習，以指導做出更好的決策。”

2）微軟

Azure Data Lake includes all the capabilities required to make it easy for developers, data scientists, and analysts to store data of any size, shape, and speed, and do all types of processing and analytics across platforms and languages. It removes the complexities of ingesting and storing all of your data while making it faster to get up and running with batch, streaming, and interactive analytics.

“Azure 的數(shù)據湖包括一切使得開發(fā)者、數(shù)據科學家、分析師能更簡單的存儲、處理數(shù)據的能力，這些能力使得用戶可以存儲任意規(guī)模、任意類型、任意產生速度的數(shù)據，并且可以跨平臺、跨語言的做所有類型的分析和處理。數(shù)據湖在能幫助用戶加速應用數(shù)據的同時，消除了數(shù)據采集和存儲的復雜性，同時也能支持批處理、流式計算、交互式分析等。”

3）阿里云

“數(shù)據湖是統(tǒng)一存儲池，可對接多種數(shù)據輸入方式，您可以存儲任意規(guī)模的結構化、半結構化、非結構化數(shù)據。數(shù)據湖可無縫對接多種計算分析平臺，根據業(yè)務場景不同，可以選擇相應的計算引擎對數(shù)據湖中存儲的數(shù)據進行數(shù)據處理與分析，從而打破孤島，挖掘業(yè)務價值。”

2. 數(shù)據湖內容

數(shù)據湖中包括來自于關系型數(shù)據庫中的結構化數(shù)據（行和列）、半結構化數(shù)據（如CSV、日志、XML、JSON）、非結構化數(shù)據（如 email、文檔、PDF 等）和 二進制數(shù)據（如圖像、音頻、視頻）。

3. 數(shù)據湖的特點

• 統(tǒng)一的數(shù)據存儲，存放原始的數(shù)據。
• 支持任意結構的數(shù)據存儲，包括結構化、半結構化、非結構化。
• 支持多種計算分析，適用多種應用場景。
• 支持任意規(guī)模的數(shù)據存儲與計算能力。
• 目標都是為了更好，更快的發(fā)現(xiàn)數(shù)據價值。

4. 數(shù)據湖能夠解決的問題

1）數(shù)據湖整體架構

最底下是分布式文件系統(tǒng)；

第二層是數(shù)據加速層。數(shù)據湖架構是一個存儲計算徹底分離的架構，如果所有的數(shù)據訪問都遠程讀取文件系統(tǒng)上的數(shù)據，那么性能和成本開銷都很大。如果能把經常訪問到的一些熱點數(shù)據緩存在計算節(jié)點本地，這就非常自然的實現(xiàn)了冷熱分離，一方面能收獲到不錯的本地讀取性能，另一方面還節(jié)省了遠程訪問的帶寬。

第三層就是 Table format 層，主要是把一批數(shù)據文件封裝成一個有業(yè)務意義的 table，提供 ACID、snapshot、Schema、partition 等表級別的語義。

最上層就是不同計算場景的計算引擎了。開源的一般有 Spark、Flink、Hive、Presto、Hive MR 等，這一批計算引擎是可以同時訪問同一張數(shù)據湖的表的。

2）數(shù)據湖能解決哪類問題

數(shù)據分散，存儲散亂，形成數(shù)據孤島，無法聯(lián)合數(shù)據發(fā)現(xiàn)更多價值。

這方面來講，其實數(shù)據湖要解決的與數(shù)據倉庫是類似的問題，但又有所不同，因為它的定義里支持對半結構化、非結構化數(shù)據的管理。而傳統(tǒng)數(shù)據倉庫僅能解決結構化數(shù)據的統(tǒng)一管理。

在這個萬物互聯(lián)的時代，數(shù)據的來源多種多樣，隨著不同應用場景，產出的數(shù)據格式也是越來越豐富，不能再僅僅局限于結構化數(shù)據。如何統(tǒng)一存儲這些數(shù)據，就是迫切需要解決的問題。

3）存儲成本

數(shù)據庫或數(shù)據倉庫的存儲受限于實現(xiàn)原理及硬件條件，導致存儲海量數(shù)據時成本過高，而為了解決這類問題就有了HDFS/對象存儲這類技術方案。數(shù)據湖場景下如果使用這類存儲成本較低的技術架構，將會為企業(yè)大大節(jié)省成本。結合生命周期管理的能力，可以更好的為湖內數(shù)據分層（冷溫熱存放在不同的存儲介質：HDD、SSD、MEM），不用糾結在是保留數(shù)據還是刪除數(shù)據節(jié)省成本的問題。

4）SQL已經無法滿足的分析需求

越來越多種類的數(shù)據，意味著越來越多的分析方式，傳統(tǒng)的 SQL 方式已經無法滿足分析的需求，如何通過各種語言自定義貼近自己業(yè)務的代碼，如何通過機器學習挖掘更多的數(shù)據價值。

5）存儲/計算擴展性不足

傳統(tǒng)數(shù)據庫等在海量數(shù)據下，如規(guī)模到 PB 級別，因為技術架構的原因，已經無法滿足擴展的要求或者擴展成本極高，而這種情況下通過數(shù)據湖架構下的擴展技術能力，實現(xiàn)成本為0，硬件成本也可控。業(yè)務模型不定，無法預先建模。

傳統(tǒng)數(shù)據庫和數(shù)據倉庫，都是 Schema-on-Write 的模式，需要提前定義 Schema 信息。而在數(shù)據湖場景下，可以先保存數(shù)據，后續(xù)待分析時，再發(fā)現(xiàn) Schema，也就是 Schema-on-Read。

五、對比

1. 數(shù)據倉庫 VS 數(shù)據中臺 VS 數(shù)據湖

2. 數(shù)據倉庫 VS 數(shù)據平臺

因狹義的數(shù)據平臺是由于數(shù)據倉庫具有歷史性的特性，其中存儲的數(shù)據大多是結構化數(shù)據，而數(shù)據平臺的出現(xiàn)解決了數(shù)據倉庫不能處理非結構化數(shù)據和報表開發(fā)周期長的問題，故將數(shù)據倉庫與數(shù)據平臺（狹義）單獨做對比。

本質區(qū)別：技術架構和數(shù)據容量方面的不同。

通過以上的論述，我們發(fā)現(xiàn)數(shù)據平臺和數(shù)據湖好像存在諸多相似性，這二者之間的區(qū)別，從個人角度理解上分析應該是數(shù)據加工的角度不同，數(shù)據湖更著重于對原始數(shù)據的存儲，而數(shù)據平臺則同數(shù)據倉庫一樣，需對原始數(shù)據進行清洗、轉換等數(shù)據處理后按照統(tǒng)一的標準規(guī)范進行存儲。

六、總結

根據以上數(shù)據平臺、數(shù)據倉庫、數(shù)據湖和數(shù)據中臺的概念論述和對比，我們進行如下總結：

1. 數(shù)據中臺、數(shù)據倉庫和數(shù)據湖沒有直接的關系；
2. 數(shù)據中臺、數(shù)據平臺、數(shù)據倉庫和數(shù)據湖在某個維度上為業(yè)務產生價值的形式有不同的側重；
3. 數(shù)據倉庫是數(shù)據驅動業(yè)務的邏輯概念，用于支持管理決策分析，為業(yè)務提供服務的主要方式是報表；
4. 數(shù)據中臺是企業(yè)級的邏輯概念，體現(xiàn)企業(yè)數(shù)據向業(yè)務價值轉化的能力，為業(yè)務提供服務的主要方式是數(shù)據 API；
5. 數(shù)據湖是企業(yè)級的技術邏輯概念，體現(xiàn)企業(yè)級數(shù)據湖架構加速數(shù)據向業(yè)務價值轉化的能力，為業(yè)務提供服務的主要方式是原始數(shù)據；
6. 數(shù)據中臺、數(shù)據湖距離業(yè)務更近，能夠更快速的響應業(yè)務和應用開發(fā)需求，從而為業(yè)務提供速度更快的服務；
7. 數(shù)據中臺可以建立在數(shù)據倉庫和數(shù)據平臺之上，是加速企業(yè)從數(shù)據到業(yè)務價值的過程的中間層；

本文由 @Z先生聊產品 原創(chuàng)發(fā)布于人人都是產品經理。未經許可，禁止轉載

題圖來自Unsplash，基于CC0協(xié)議。

該文觀點僅代表作者本人，人人都是產品經理平臺僅提供信息存儲空間服務。