宜宾网站建设公司

如何使用Spark分析云HBase的数据

这篇文章将为大家详细讲解有关如何使用Spark分析云HBase的数据，小编觉得挺实用的，因此分享给大家做个参考，希望大家阅读完这篇文章后可以有所收获。

站在用户的角度思考问题，与客户深入沟通，找到信丰网站设计与信丰网站推广的解决方案，凭借多年的经验，让设计与互联网技术结合，创造个性化、用户体验好的作品，建站类型包括：网站设计制作、成都做网站、企业官网、英文网站、手机端网站、网站推广、主机域名、虚拟主机、企业邮箱。业务覆盖信丰地区。

1 云HBase查询分析的现状

  • HBase原生API：HBase原生API适合基于row key做点查，这个是HBase最擅长的查询场景

  • Phoenix：Phoenix作为HBase的SQL层，使用二级索引的技术，擅长多条件组合查询；Phoenix没有自己的计算资源，类似groupby这样的复杂查询需要借助HBase的协处理器来完成，这样一方面性能不好，同时会影响HBase集群的稳定性；

  • Spark：具有丰富的算子支持复杂分析，使用Spark集群的计算资源，通过并发分析的方式可以提高性能，同时不影响HBase集群的稳定性。

2 Spark分析HBase的方式对比

Spark分析HBase数据有“RDD API”、“SQL API”、“HFILE”三种方式，相关对比如下：如何使用Spark分析云HBase的数据

对于数据动态更新增加的小表推荐使用SQL API的方式，可以有效的优化分析，减少对HBase集群稳定性的影响；对于静态表或者全量静态表的分析推荐使用分析HFILE的方式直读HDFS，这样可以完全不影响HBase集群稳定性；不推荐使用RDD API 的方式，这种方式一方没有优化性能差，同时在高并发以及表数据量大时，会严重影响HBase集群的稳定性，从而影响在线业务。

3 三种方式的具体使用

云HBase团队为大家提供了一个github项目供大家参考使用上面的三种方式来开发Spark分析HBase的程序，项目地址：

https://github.com/lw309637554/alicloud-hbase-spark-examples?spm=a2c4e.11153940.blogcont573569.14.1b6077b4MNpI9X

  • 依赖项：需要下载云HBase及云Phoenix的client包

  • 分析HFILE：

    • 需要先开通云HBase的HDFS访问权限，参考文档

    • 在hbase shell中对表生成snapshot表“snapshot 'sourceTable', ‘snapshotName'”

    • 在项目中配置自己的hdfs-sit.xml文件，然后通过直读HDFS的方式分析snapshot表

  • 具体的example

    • RDD API对应：org.apache.spark.hbase.NativeRDDAnalyze

    • SQL API对应：org.apache.spark.sql.execution.datasources.hbase.SqlAnalyze

    • 分析HFILE对应：org.apache.spark.hfile.SparkAnalyzeHFILE

关于“如何使用Spark分析云HBase的数据”这篇文章就分享到这里了，希望以上内容可以对大家有一定的帮助，使各位可以学到更多知识，如果觉得文章不错，请把它分享出去让更多的人看到。


网站题目：如何使用Spark分析云HBase的数据
网页路径：http://hbruida.cn/article/gdoces.html

其他资讯