hive表压缩

㈠ hive 外部表和内部表 数据压缩上有区别吗

Hive中内部表与外部表的区别：

Hive 创建内部表时，会将数据移动到数据仓库指向的路径；若创建外部表，仅记录数据所在的路径，不对数据的位置做任何改变。在删除表的时候，内部表的元数据和数据会被一起删除，而外部表只删除元数据，不删除数据。这样外部表相对来说更加安全些，数据组织也更加灵活，方便共享源数据。
需要注意的是传统数据库对表数据验证是 schema on write（写时模式），而 Hive 在load时是不检查数据是否符合schema的，hive 遵循的是 schema on read（读时模式），只有在读的时候hive才检查、解析具体的数据字段、schema。
读时模式的优势是load data 非常迅速，因为它不需要读取数据进行解析，仅仅进行文件的复制或者移动。

写时模式的优势是提升了查询性能，因为预先解析之后可以对列建立索引，并压缩，但这样也会花费要多的加载时间。

㈡ 大数据中常见数据存储格式与压缩格式

大数据时代，存储和压缩数据的方式至关重要。为节省空间并确保数据完整性，我们采用了多种策略，包括不同的存储格式和压缩算法。存储格式主要有单行/列式存储、混合行列式存储，其中行式存储适用于实时处理（OLTP），列式存储擅长数据分析（OLAP），混合存储则结合两者特性。常见的存储格式有Parquet（适合数据分析）、ORC（Hive特有）、TextFile（简单但效率低）、SequenceFile（Hadoop API兼容）和AVRO（灵活且支持多种功能）。

压缩格式的选择同样关键，常见的有Deflate、Snappy、ZLib、Gzip、Bzip2、LZ4和LZO等。压缩比和速度是关键考虑因素：Bzip2提供最高压缩比但速度慢，Snappy速度最快但压缩率低；Gzip和ZLib适中，支持Hadoop native库；LZO速度快且支持split，但需要额外安装；LZ4和Deflater注重速度。

在数据分层中，ODS层（源数据层）倾向于使用高压缩比的ZLIB、GZIP或BZIP2，而DW层（数据仓层）和DA层（数据应用层）由于查询频繁，适合选用解压缩速度较快的Snappy。这样，我们可以根据数据特性和需求，灵活选择最优化的存储和压缩方案，以提升存储效率和查询性能。