hive編譯安裝

1. apache atlas獨立部署（hadoop、hive、kafka、hbase、solr、zookeeper）

在CentOS 7虛擬機（IP: 192.168.198.131）上部署Apache Atlas，獨立運行時需要以下步驟：

Apache Atlas 獨立部署（集成Hadoop、Hive、Kafka、HBase、Solr、Zookeeper）

**前提環境**：Java 1.8、Hadoop-2.7.4、JDBC驅動、Zookeeper（用於Atlas的HBase和Solr）

• 設置主機名為 master


• 關閉防火牆


• 設置免密碼登錄


• 解壓Hadoop-2.7.4


• 安裝JDK


• 查看Hadoop版本


• 配置Hadoop環境


• 格式化HDFS（確保路徑存在）


• 設置環境變數


• 生成SSH密鑰並配置免密碼登錄


• 啟動Hadoop服務


• 訪問Hadoop集群

• 解壓Hive


• 配置環境變數


• 驗證Hive版本


• 復制MySQL驅動至hive/lib


• 創建MySQL資料庫並執行命令


• 執行Hive命令


• 檢查已創建的資料庫

• 安裝並啟動Kafka


• 測試Kafka（使用kafka-console-procer.sh與kafka-console-consumer.sh）


• 配置多個Kafka server屬性文件

• 解壓HBase


• 配置環境變數


• 修改配置文件


• 啟動HBase


• 訪問HBase界面


• 解決配置問題（如JDK版本兼容、ZooKeeper集成）

• 解壓Solr


• 啟動並測試Solr


• 配置ZooKeeper與SOLR_PORT


• 創建Solr collection

• 編譯Apache Atlas源碼，選擇獨立部署版本


• 不使用內置的HBase和Solr


• 編譯完成後，使用集成的Solr到Apache Atlas


• 修改配置文件以指向正確的存儲位置

• 確保HBase配置文件位置正確


• 解決啟動時的JanusGraph和HBase異常


• 確保Solr集群配置正確

部署完成後，Apache Atlas將獨立運行，與Hadoop、Hive、Kafka、HBase、Solr和Zookeeper集成，提供數據湖和元數據管理功能。