編輯“Apache Hive”

Apache Hive是一個基于[[Apache Hadoop]]的分布式、容錯的數(shù)據(jù)倉庫系統(tǒng)，可實現(xiàn)大規(guī)模分析和有助于使用 [[SQL]] 讀取、寫入和管理駐留在分布式存儲中的PB級數(shù)據(jù)。Apache Hive數(shù)據(jù)倉庫工具能將結構化的數(shù)據(jù)文件映射為一張[[數(shù)據(jù)庫]]表，并提供SQL查詢功能，能將SQL語句轉變成MapReduce任務來執(zhí)行。
== 概述 ==
Apache Hive是一個分布式、容錯的數(shù)據(jù)倉庫系統(tǒng)，專注于[[大數(shù)據(jù)]]分析。它的核心組件之一是Apache Hive Metastore（HMS），提供了一個中央元數(shù)據(jù)存儲庫，方便用戶進行[[數(shù)據(jù)分析]]和基于數(shù)據(jù)的決策。作為許多數(shù)據(jù)湖架構的關鍵組成部分，Apache Hive通過數(shù)據(jù)驅動的方式支持企業(yè)級的決策制定。構建在Apache Hadoop之上，Apache Hive支持在各種存儲系統(tǒng)如HDFS、S3、ADLS、GS等上存儲數(shù)據(jù)。通過使用SQL語言，用戶可以輕松地讀取、寫入和管理PB級別的數(shù)據(jù)。
== 功能特點 ==
1、Apache Hive-Server 2 (HS2): HS2支持多客戶端并發(fā)和身份驗證，旨在為開放[[API]]客戶端（如JDBC和ODBC）提供更好的支持。

2、Apache Hive元存儲[[服務器]]（HMS）: HMS是Apache Hive表和分區(qū)元數(shù)據(jù)的中央存儲庫，通過元存儲服務API為客戶端（包括Apache Hive、Impala和Spark）提供對這些信息的訪問。它是構建數(shù)據(jù)湖的關鍵組成部分，并已成為利用各種開源軟件的基礎。

3、Apache Hive ACID: Apache Hive提供對ORC表的完整ACID支持，對其他格式提供僅插入支持。

4、Apache Hive數(shù)據(jù)壓縮: 支持基于查詢和MapReduce的數(shù)據(jù)壓縮。

5、Apache Hive Iceberg: Apache Hive為Apache Iceberg Tables提供開箱即用的支持，后者是一種云原生的高性能開放表格式，通過Apache Hive StorageHandler實現(xiàn)。

6、安全性和可觀測性: Apache Apache Hive支持Kerberos身份驗證，并與Apache Ranger和Apache Atlas集成，以確保安全性和可觀測性。

7、Apache Hive LLAP: Apache Apache Hive通過低延遲分析處理（LLAP）實現(xiàn)交互式和亞秒級SQL。它在Apache Hive 2.0中引入，通過使用持久性查詢基礎結構和優(yōu)化的數(shù)據(jù)緩存使Apache Hive更快。

8、查詢計劃器和基于成本的優(yōu)化器: Apache Hive使用Apache Calcite的基于成本的查詢優(yōu)化器（CBO）和查詢執(zhí)行框架來優(yōu)化SQL查詢。

9、Apache Hive復制: Apache Hive支持用于備份和恢復的引導和增量復制。
== 適用場景 ==
Apache Hive是一個建立在Hadoop之上的數(shù)據(jù)倉庫工具，它通過將SQL語句轉換成MapReduce任務來執(zhí)行，從而對存儲在Hadoop中的大規(guī)模數(shù)據(jù)進行查詢和分析。

1、數(shù)據(jù)分析：Apache Hive可以處理大規(guī)模的結構化數(shù)據(jù)集，如[[Web]]日志、交易記錄和社交媒體數(shù)據(jù)等，幫助企業(yè)和組織快速分析大量數(shù)據(jù)以獲取有價值的洞察。

2、數(shù)據(jù)倉庫：Apache Hive可以將Hadoop集群中的數(shù)據(jù)轉換為SQL形式，使用戶能夠通過SQL進行查詢，適合進行數(shù)據(jù)倉庫的統(tǒng)計分析。

3、日志分析：許多互聯(lián)網公司使用Apache Hive進行日志分析，例如統(tǒng)計網站一段時間內的訪問量（[[PV]]）、獨立訪客數(shù)（[[UV]]）以及進行多維度數(shù)據(jù)分析。
== 設計特征 ==
* 類SQL查詢語言（HiveQL）：Hive提供了一個類SQL的查詢語言，稱為HiveQL，用戶可以使用這種語言編寫查詢語句，這些語句最終會被轉換成MapReduce作業(yè)在Hadoop集群上執(zhí)行。

* 支持索引：Hive允許用戶創(chuàng)建索引以優(yōu)化查詢性能。通過索引，可以加快表中數(shù)據(jù)的檢索速度。

* 多種存儲格式：Hive支持多種不同的文件存儲格式，包括純文本文件、序列化的文件、Avro、Parquet等，這使得它可以靈活地處理各種類型的數(shù)據(jù)。

* 元數(shù)據(jù)管理：Hive將表的元數(shù)據(jù)信息存儲在一個關系數(shù)據(jù)庫中，這有助于加快元數(shù)據(jù)的訪問速度，并減少查詢過程中的語義檢查時間。

* 直接訪問Hadoop文件系統(tǒng)：Hive可以直接利用存儲在Hadoop文件系統(tǒng)中的數(shù)據(jù)，無需進行數(shù)據(jù)遷移或轉換。

* 用戶定義函數(shù)（UDF）：Hive內置了許多用戶定義函數(shù)（UDF），用于處理字符串、日期時間等常見數(shù)據(jù)類型。此外，用戶還可以擴展UDF來執(zhí)行內置函數(shù)無法完成的操作。

* MapReduce執(zhí)行模型：Hive查詢操作遵循Hadoop的MapReduce執(zhí)行模型，這意味著Hive查詢會編譯成一系列MapReduce作業(yè)，然后在Hadoop集群上執(zhí)行。

* 批處理而非實時處理：由于Hive依賴于MapReduce執(zhí)行模型，因此它更適合執(zhí)行批量處理任務，而不是實時數(shù)據(jù)處理。
== 相關條目 ==
* [[大數(shù)據(jù)]]
* [[Apache Hadoop]]
* [[Apache Spark]]
* [[Apache Storm]]
* [[Tableau]]
* [[Apache Cassandra]]
* [[Qubole]]