hive编译安装

1. apache atlas独立部署（hadoop、hive、kafka、hbase、solr、zookeeper）

在CentOS 7虚拟机（IP: 192.168.198.131）上部署Apache Atlas，独立运行时需要以下步骤：

Apache Atlas 独立部署（集成Hadoop、Hive、Kafka、HBase、Solr、Zookeeper）

**前提环境**：Java 1.8、Hadoop-2.7.4、JDBC驱动、Zookeeper（用于Atlas的HBase和Solr）

• 设置主机名为 master


• 关闭防火墙


• 设置免密码登录


• 解压Hadoop-2.7.4


• 安装JDK


• 查看Hadoop版本


• 配置Hadoop环境


• 格式化HDFS（确保路径存在）


• 设置环境变量


• 生成SSH密钥并配置免密码登录


• 启动Hadoop服务


• 访问Hadoop集群

• 解压Hive


• 配置环境变量


• 验证Hive版本


• 复制MySQL驱动至hive/lib


• 创建MySQL数据库并执行命令


• 执行Hive命令


• 检查已创建的数据库

• 安装并启动Kafka


• 测试Kafka（使用kafka-console-procer.sh与kafka-console-consumer.sh）


• 配置多个Kafka server属性文件

• 解压HBase


• 配置环境变量


• 修改配置文件


• 启动HBase


• 访问HBase界面


• 解决配置问题（如JDK版本兼容、ZooKeeper集成）

• 解压Solr


• 启动并测试Solr


• 配置ZooKeeper与SOLR_PORT


• 创建Solr collection

• 编译Apache Atlas源码，选择独立部署版本


• 不使用内置的HBase和Solr


• 编译完成后，使用集成的Solr到Apache Atlas


• 修改配置文件以指向正确的存储位置

• 确保HBase配置文件位置正确


• 解决启动时的JanusGraph和HBase异常


• 确保Solr集群配置正确

部署完成后，Apache Atlas将独立运行，与Hadoop、Hive、Kafka、HBase、Solr和Zookeeper集成，提供数据湖和元数据管理功能。