宜宾网站建设公司

ApacheHive3架构是怎么样的

这篇文章主要介绍Apache Hive 3架构是怎么样的，文中介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们一定要看完！

在满洲等地区，都构建了全面的区域性战略布局，加强发展的系统性、市场前瞻性、产品创新能力，以专注、极致的服务理念，为客户提供网站建设、做网站 网站设计制作定制开发,公司网站建设,企业网站建设,品牌网站设计,网络营销推广,外贸网站制作,满洲网站建设费用合理。

Apache Tez

Apache Tez是Hive on Tez服务的Hive执行引擎，该服务包括Cloudera Manager中的HiveServer（HS2）。Tez不支持MapReduce。在Cloudera集群中，如果旧脚本或应用程序指定要执行的MapReduce，则会发生异常。大多数用户自定义函数（UDF）不需要更改即可在Tez上执行，而无需执行MapReduce。

使用有向无环图（DAG）的表达式和数据传输原语，在Tez而不是MapReduce上执行Hive查询可以提高查询性能。在Cloudera数据平台（CDP）中，Hive通常仅使用Tez引擎，并且在Hive on Tez启动时会自动启动和管理Tez AM。您提交给Hive的SQL查询的执行方式如下：

  • Hive编译查询。

  • Tez执行查询。

  • 为整个集群中的应用程序分配资源。

  • Hive更新数据源中的数据并返回查询结果。

Hive on Tez在临时容器上运行任务，并使用标准的YARN shuffle服务。


数据存储和访问控制

支持Hive 3设计的主要架构更改之一使Hive对元数据内存资源和文件系统或对象存储有了更多的控制。从Hive 2到Hive 3的以下体系结构的变更提供了更高的安全性：

  • 严格控制的文件系统和计算机内存资源，替代了灵活的边界：明确的边界提高了可预测性。更好的文件系统控制可提高安全性。

  • 优化共享文件和YARN容器中的工作负载

默认情况下，CDP私有云基础版将Hive数据存储在HDFS上，CDP公共云将Hive数据默认存储在S3上。在公有云中，Hive仅将HDFS用于存储临时文件。Hive 3通过以下方式针对对象存储（例如S3）进行了优化：

  • Hive使用ACID来确定要读取的文件，而不是依赖于存储系统。

  • 在Hive 3中，文件移动比在Hive 2中减少。

  • Hive积极地缓存元数据和数据，以减少文件系统的操作。

Hive的主要授权模型是Ranger。Hive强制实施Ranger中指定的访问控制。与其他安全方案相比，该模型提供了更强的安全性，并且在管理策略方面具有更大的灵活性。

此模型仅允许Hive访问数据仓库。如果未启用Ranger安全服务或其他安全性，则默认情况下，CDP私有云基础版的 Hive将基于用户模拟使用基于存储的授权（SBA）。

HDFS权限变更

在CDP私有云基础版中，SBA严重依赖于HDFS访问控制表（ACL）。ACL是HDFS中权限系统的扩展。默认情况下，CDP私有云基础版打开HDFS中的ACL，为您提供以下优势：

  • 在授予多个用户组和用户特定权限时，增加了灵活性

  • 方便地将权限应用于目录树，而不是单个文件


事务处理

您可以利用以下事务处理特性来部署新的Hive应用程序类型：

  • ACID事务处理的成熟版本：

ACID表是默认的表类型。

默认情况下启用ACID不会导致性能或操作过载。

  • 简化的应用程序开发，具有强大事务保证的操作以及SQL命令的简单语义

您不需要对ACID表分桶。

  • 重写的物化视图

  • 自动的查询缓存

  • 高级优化


Hive客户端变更

CDP私有云基础版支持瘦客户端Beeline在命令行上工作。您可以从命令行运行Hive管理命令。Beeline使用JDBC连接到Hive on Tez来执行命令。解析、编译和执行操作在Hive on Tez中进行。Beeline支持Hive CLI支持的许多命令行选项。但Beeline不支持hive -e set key=value的方式配置Hive Metastore。

通过使用hive 关键字、命令选项和命令调用Beeline，可以输入受支持的Hive CLI命令。例如，hive -e set。使用Beeline代替不再受支持的胖客户端Hive CLI具有许多优点，包括较低的开销。Beeline不会使用整个Hive代码库。执行查询所需的少量守护程序简化了监视和调试。

Hive on Tez会强制执行白名单和黑名单设置，您可以使用SET命令对其进行更改。使用黑名单，您可以限制内存配置更改，以防止不稳定。您可以在具有不同白名单和黑名单的Tez实例上配置多个Hive，以建立不同级别的稳定性。


Apache Hive Metastore共享

Hive、Impala和其他组件可以共享远程的Hive元存储。在CDP公共云中，HMS使用预安装的MySQL数据库。在公有云上，您几乎不需要配置或者很少的配置HMS。

     

整合Spark

Spark和Hive表使用Hive Warehouse Connector进行互操作。

您可以使用Hive Warehouse Connector从Spark访问ACID表和外部表。您不需要Hive Warehouse Connector即可从Spark读取Hive外部表并从Spark写入Hive外部表。您不需要HWC即可读取或写入Hive外部表。Spark用户只是直接从Hive中读取或写入。您可以读取ORC或Parquet格式的Hive外部表。但您只能以ORC格式写Hive的外部表。


查询批处理和交互式工作负载的执行

您可以使用JDBC命令行工具（例如Beeline）或使用JDBC / ODBC驱动程序和BI工具（例如Tableau）连接到Hive。客户端与同一个Hive on Tez版本的实例进行通信。您可以为每个实例配置设置文件以执行批处理或交互式处理。

以上是“Apache Hive 3架构是怎么样的”这篇文章的所有内容，感谢各位的阅读！希望分享的内容对大家有帮助，更多相关知识，欢迎关注创新互联行业资讯频道！


本文题目：ApacheHive3架构是怎么样的
文章链接：http://hbruida.cn/article/joipjd.html

其他资讯