Kafka 和 Spark 有何區別？
Apache Kafka 是一個串流處理引擎，而 Apache Spark 則是一個分散式資料處理引擎。在分析方面，組織以兩種主要方式處理資料：批次處理和串流處理。在批次處理方面，您能夠在單一工作負載中處理非常大量的資料。在串流處理方面，您能夠在即時流程中持續處理小型單位。最初，Spark 被設計用於批次處理，Kafka 則被設計用於串流處理。後來，Spark 將 Spark 串流模組做為附加元件，新增至其基礎分散式架構。然而，對於大多數串流資料使用案例而言，Kafka 可提供更低的延遲和更高的輸送量。
Kafka 和 Spark 有什麼相似之處？
Apache Kafka 和 Apache Spark 均由 Apache Software Foundation 設計用於以更快的速度處理資料。組織需要採用現代化資料架構來擷取、儲存和分析來自各種資料來源的即時資訊。
在管理高速資料處理方面，Kafka 和 Spark 具有重疊的特性。
大數據處理
Kafka 提供跨多個伺服器的分散式資料管道，以便即時擷取和處理大量資料。Kafka 支援大數據使用案例，這些使用案例需要在不同來源之間有效地持續傳遞資料。
同樣，可以使用 Spark 透過各種即時處理和分析工具大規模處理資料。例如，透過 Spark 的機器學習程式庫 MLlib，開發人員可以使用儲存的大型資料集來建置商業智慧應用程式。
資料多元化
Kafka 和 Spark 都會擷取非結構化、半結構化和結構化資料。可以使用 Kafka 或 Spark 從企業應用程式、資料庫或其他串流來源建立資料管道。這兩種資料處理引擎都支援純文字、JSON、XML、SQL 和分析中常用的其他資料格式。
它們也會在將資料移至整合式儲存裝置 (如資料倉儲) 之前進行轉換，但這可能需要額外的服務或 API。
可擴展性
Kafka 是高度可擴展的資料串流引擎，它可以垂直和水平擴展。可以向託管特定 Kafka 代理程式的伺服器新增更多運算資源，以應對不斷增長的流量。或者，可以在不同的伺服器上建立多個 Kafka 代理程式，以實現更理想的負載均衡。
同樣，也可以透過向叢集新增更多節點來擴展 Spark 的處理能力。例如，它使用彈性分散式資料集 (RDD) 將不可變資料的邏輯分割區儲存在多個節點上，以進行平行處理。因此，使用 Spark 處理大量資料時，Spark 也會保持最佳效能。
工作流程：Kafka 與Spark
Apache Kafka 和 Apache Spark 以不同的架構建置而成。Kafka 透過主題、代理程式、叢集的分散式排列以及軟體 ZooKeeper 支援即時資料串流。與此同時，Spark 會將資料處理工作負載劃分到多個工作節點，並由主節點進行協調。
Kafka 如何運作？
Kafka 使用即時分散式處理引擎連線資料生產者和取用者。以下是核心的 Kafka 元件：
- 促進取用者和生產者之間事務的代理程式
- 由駐留在不同伺服器中的多個代理程式組成的叢集
生產者將資訊發佈到 Kafka 叢集，而取用者擷取這些資訊進行處理。每個 Kafka 代理程式依據主題組織訊息，然後將這些主體劃分為多個分割區。對特定主題有共同興趣的多個取用者可以訂閱關聯的分割區以開始串流資料。
Kafka 保留資料的副本，即使取用者已經讀取此資料。這可讓 Kafka 為生產者和取用者提供彈性和容錯的資料流與簡訊功能。此外，ZooKeeper 不斷監控所有 Kafka 代理程式的運作狀態。ZooKeeper 確保有一個主要代理程式可以隨時管理其他代理程式。
Spark 如何運作？
Spark Core 是包含基本 Spark 功能的主要元件。此功能包括分散式資料處理、記憶體管理、任務排程與調度，以及與儲存系統的互動。
Spark 使用具有數個連續層的分散式主要-次要架構，這些層支援資料轉換和批次處理工作流程。主節點是中央協調器，可排程資料處理任務並將其指派給工作節點。
當資料科學家提交資料處理請求時，會執行下列步驟：
- 主節點建立資料的幾個不可變副本
- 主節點使用圖形排程器將請求分成一系列處理任務
- 它將任務傳遞給 Spark Core，後者排程任務並將其指派給特定的工作節點
工作節點完成任務後，它們會透過叢集管理員將結果傳回主節點。
主要區別：監督式學習與非監督式學習
在監督式學習中，可以使用已標記的香蕉影像來訓練演算法，以準確識別和計數香蕉。另一方面，非監督式學習將依據相似性對影像進行分組。該模型可能會識別不同品種的香蕉或將它們與其他水果分組，而無需明確知道它們是香蕉。接下來我們討論一些更多的差異。
目標
監督式學習的主要目標是依據已知的輸入預測輸出。
但是，非監督式學習的主要目標是識別輸入資料點之間有價值的關係資訊，將此資訊套用於新的輸入，並得出類似的洞察。
方法
監督式學習旨在最大程度地減少預測輸出和真實標籤之間的誤差。此學習概括了掌握的關係，以對不可見的資料進行準確的預測。
相較之下，非監督式機器學習模型專注於在沒有指導的情況下理解資料的固有結構。它們會優先尋找資料中的模式、相似性或異常。
複雜性
監督式和非監督式學習技術存在各種不同，從相對基本的統計建模函數到高度複雜的演算法，具體取決於問題集。
監督式學習應用程式非常廣泛，並且非技術使用者也可以依據既有的模型開發自訂解決方案。
相較之下，由於資料中很可能存在各種模式和關係，因此非監督式學習應用程式可能更難以開發。
主要差異：Kafka 與 Spark
Apache Kafka 和 Apache Spark 均為組織提供快速的資料處理能力。但是，它們在架構設定方面有所不同，這會影響其在大數據處理使用案例中的操作方式。
ETL
擷取、轉換和載入 (ETL) 是將來自多個來源的資料合併至大型中央儲存庫的程序。ETL 需要資料轉換功能，以將不同的資料轉換成標準格式。
Spark 帶有許多內建的轉換和載入功能。使用者可以從叢集中擷取資料並進行轉換，然後將資料儲存在適當的資料庫中。
另一方面，Kafka 預設不支援 ETL。相反，使用者必須使用 API 在資料串流上執行 ETL 函數。例如：
- 藉助 Kafka Connect API，開發人員可以在兩個系統之間啟用擷取 (E) 和載入 (L) 操作
- Kafka Streams API 提供資料轉換 (T) 功能，開發人員可以使用這些功能以不同的格式操縱事件訊息
延遲
Spark 的開發是為了取代 Apache Hadoop，後者無法支援即時處理和資料分析。Spark 提供了近乎即時的讀取/寫入操作，因為它將資料儲存在 RAM 而非硬碟上。
但是，Kafka 憑藉其超低延遲事件串流功能優於 Spark。開發人員可以使用 Kafka 建置事件驅動的應用程式，以回應即時資料變更。例如，數位音樂供應商 The Orchard 使用 Kafka，以近乎即時的方式與員工和客戶分享孤立的應用程式資料。
程式設計語言
開發人員可以使用 Spark 在資料處理平台上建置和部署多種語言的應用程式。這些語言包括 Java、Python、Scala 和 R。Spark 還提供使用者友好的 API 和資料處理框架，開發人員可以用來實作圖形處理和機器學習模型。
相反，Kafka 不提供資料轉換使用案例的語言支援。因此，如果沒有其他程式庫，開發人員就無法在平台上建置機器學習系統。
可用性
Kafka 和 Spark 都是具有高可用性和容錯能力的資料處理平台。
Spark 會在多個節點上維護工作負載的持久副本。如果其中一個節點發生故障，系統可以依據剩餘的作用中節點重新計算結果。
與此同時，Kafka 不斷地將資料分割區複寫到不同的伺服器。如果某個 Kafka 分割區離線，它會自動將取用者請求導向至備份分割區。
多個資料來源
Kafka 同時從多個資料來源串流訊息。例如，可以將資料從不同的 Web 伺服器、應用程式、微型服務和其他企業系統即時傳送至特定的 Kafka 主題。
另一方面，Spark 在任何時間均連線至單個資料來源。但是，使用 Spark 結構化串流程式庫允許 Spark 處理來自多個來源的微批次資料串流。
主要差異：Kafka 與Spark 結構化串流
Spark Streaming 允許 Apache Spark 對傳入的串流採用微批處理方法。此後，Spark 結構化串流對 Spark Streaming 進行增強，其使用 DataFrame 和 Dataset API 來提高其串流處理效能。此方法允許 Spark 像 Apache Kafka 一樣處理連續的資料流，但兩個平台之間存在幾點顯著的差異。
處理模型
Kafka 是分佈式串流平台，可連線不同的應用程式或微型服務以實現連續處理。其目標是確保用戶端應用程式即時一致地從來源接收資訊。
與 Kafka 不同，Spark 結構化串流是為 Spark 架構提供額外事件串流支援的擴展功能。可以使用此工具來擷取即時資料流，將資料轉換成小批次，以及使用 Spark 的資料分析程式庫和平行處理引擎來處理批次。儘管如此，Spark 串流無法媲美 Kafka 的即時資料擷取速度。
資料儲存
Kafka 將生產者傳送的訊息儲存到稱為主題的日誌檔案中。日誌檔案需要持久性存儲，以確保儲存的資料在斷電情況下不受影響。通常，日誌檔案覆寫到不同的實體伺服器上進行備份。
與此同時，Spark 結構化串流會在 RAM 中儲存和處理資料串流，但如果資料量超出 RAM 容量，則可能會使用磁碟作為次要儲存空間。Spark 結構化串流與 Apache Hadoop 分散式檔案系統 (HDFS) 無縫整合，但它也適用於其他雲端儲存，包括 Amazon Simple Storage Service (Amazon S3)。
API
Kafka 允許開發人員發佈、訂閱和設定 Kafka 資料串流，然後使用不同的 API 處理這些資料串流。這些 API 支援廣泛的程式設計語言，包括 Java、Python，Go、Swift 和 .NET。
與此同時，Spark 結構化串流的 API 專注於對從各種來源擷取的即時輸入資料進行資料轉換。與 Kafka 不同，Spark 結構化串流 API 提供有限的語言版本。開發人員可以結合使用 Spark 結構化串流與 Java、Python 和 Scala 建置應用程式。
使用時機：Kafka 與Spark
Kafka 和 Spark 是服務於不同目的的兩個資料處理平台。
Kafka 允許多個用戶端應用程式透過可擴展的分佈式訊息代理程式架構發佈和訂閱即時資訊。另一方面，Spark 允許應用程式批量處理大量資料。
因此，Kafka 是確保雲端中的不同應用程式或服務之間進行可靠、低延遲、高輸送量簡訊的更理想選擇。與此同時，Spark 允許組織執行繁重的資料分析和機器學習工作負載。
儘管其使用案例不同，但 Kafka 和 Spark 並非相互排斥。可以結合兩種資料處理架構，形成容錯的即時批次處理系統。在此設定中，Kafka 從多個來源擷取連續資料，然後將它們傳遞給 Spark 的中央協調器。然後，Spark 會將需要批次處理的資料指派給各自的工作節點。
差異摘要：Kafka 與Spark
| Kafka |
Spark |
|
| ETL |
需要 Kafka Connect API 和 Kafka Streams API 以使用 ETL 函數。 |
原生支援 ETL。 |
| 延遲 |
超低延遲。為每個傳入事件提供真正的即時處理。 |
低延遲。在 RAM 上執行讀取/寫入操作。 |
| 程式設計語言 |
需要額外的程式庫來實作資料轉換功能。 |
支援 Java、Python、Scala 和 R 以執行資料轉換和機器學習任務。 |
| 可用性 |
在不同的伺服器上備份資料分割區。當作用中分割區故障時直接請求備份。 |
在多個節點維護持久性資料。當節點故障時重新計算結果。 |
| 資料來源 |
可同時支援多個資料來源。 |
連線至單一資料來源。需要 Spark 結構化串流以使用多個資料來源串流。 |
AWS 如何協助滿足您的 Kafka 和 Spark 要求？
無論您使用的是 Apache Kafka 還是 Apache Spark，Amazon Web Services (AWS) 都能提供受管資料基礎設施支援。
使用 Amazon Managed Streaming for Apache Kafka (Amazon MSK) 輕鬆部署、執行和管理您的 Kafka 叢集。該工具可以自動執行以下操作：
- 為整個 Kafka 叢集提供所有必要的資源
- 跨多個可用區域複寫和分發 Kafka 叢集
- 在 Amazon Virtual Private Cloud (Amazon VPC) 中執行您的 Kafka 叢集，以在節點之間提供私有連線
使用 Amazon EMR 支援您的 Spark 大數據、互動式分析和機器學習應用程式。使用 Amazon EMR，您可以執行以下操作：
- 節省超過一半的內部部署資料處理解決方案成本。
- 自動佈建大數據應用程式的運算資源，以滿足不斷變化的需求。
- 將 Spark 與各種可擴展的雲端儲存裝置整合，包括 Amazon S3、Amazon DynamoDB 和 Amazon Redshift
立即建立帳戶，開始使用 AWS 上的 Spark 和 Kafka。
