大数据与Hbase的示例分析
小编给大家分享一下大数据与Hbase的示例分析,相信大部分人都还不怎么了解,因此分享这篇文章给大家参考一下,希望大家阅读完这篇文章后大有收获,下面让我们一起去了解一下吧!
创新互联建站坚持“要么做到,要么别承诺”的工作理念,服务领域包括:成都网站建设、网站制作、企业官网、英文网站、手机端网站、网站推广等服务,满足客户于互联网时代的老边网站设计、移动媒体设计的需求,帮助企业找到有效的互联网解决方案。努力成为您成熟可靠的网络建设合作伙伴!
1、大数据与Hbase
大数据在近几年发展迅速,而实时计算也是一个重要的发展趋势。不管是企业中的日志数据,还是传感器、智能设备等等产生的数据,不计其数。
而这些数据中结构化的数据只占一小部分,大部分是非结构化的数据。这个时候,比如图片视频等就不能轻松的存储在关系型数据库中,而大数据是可以对各种类型的数据都可以进行处理的。
但关系型数据库有几点缺陷:
无法应对高并发的考验,没有办法横向扩展,事务一致性对性能的影响。
而NoSql数据库,也就是Not Only Sql的缩写。扩展性强,并发性能好,数据模型灵活。
Hbase,也就是Hadoop Database是一个高可靠、高性能、可伸缩的分布式数据库。Hbase参考了谷歌的BigTable建模,使用HDFS作为底层存储。使用Zookeeper作为协同服务组件。
Hbase使用Java编写,还是一种NOSQL数据库,这些特性决定了Hbase独特的应用场景。
2、概念特性
HBASE是一个数据库----可以提供数据的实时随机读写
HBASE与MySQL、oralce、db2、sqlserver等关系型数据库不同,它是一个NoSQL数据库(非关系型数据库)
Hbase的表模型与关系型数据库的表模型不同:
Hbase的表没有固定的字段定义;
Hbase的表中每行存储的都是一些key-value对;
Hbase的表中有列族的划分,用户可以指定将哪些kv插入哪个列族;
Hbase的表在物理存储上,是按照列族来分割的,不同列族的数据一定存储在不同的文件中;
Hbase的表中的每一行都固定有一个行键,而且每一行的行键在表中不能重复;
Hbase中的数据,包含行键,包含key,包含value,都是byte[ ]类型,hbase不负责为用户维护数据类型;
HBASE对事务的支持很差;
HBASE相比于其他nosql数据库(MongoDB、redis、cassendra、hazelcast)的特点:
Hbase的表数据存储在HDFS文件系统中
从而,hbase具备如下特性:存储容量可以线性扩展;数据存储的安全性可靠性极高!
3、核心模块
客户端Client
整个Hbase的入口,使用者通过客户端操作Hbase。通过客户端与HMaster和RegionServer进行通讯。管理类操作与HMaster通信,读写类操作与RegionServer通讯。
协调服务zookeeper
zookeeper负责管理Hbase中多个HMaster的选举,服务器间状态同步。
主节点HMaster
HMaster可以启动多个,由zookeeper保证总有一个正常运行,其他作为备选。
HMaster主要负责Table和Region的管理工作。
节点HRegionServer
HRegionServer主要负责响应用户IO请求,向HDFS中读写数据。HRegionServer管理了一系列的HRegion对象。HRegion对应了Table中的一个Region。HRegion由多个HStore组成,HStore对用了Table中一个Column Family。
而且每个HRegionServer都有一个HLog对象,用于数据恢复。
4、使用场景
搜索引擎
生成索引,在查询时通过对条件的拼接,迅速的查找到要查询的数据。
实时流式计算
不管是实时的推荐系统,还是日志的增量存储,都是实时流式计算的一个应用。
通过将数据增量的存入Hbase,并在流式处理中实时查询Hbase,结合历史得到最终的分析结果。
以上是“大数据与Hbase的示例分析”这篇文章的所有内容,感谢各位的阅读!相信大家都有了一定的了解,希望分享的内容对大家有所帮助,如果还想学习更多知识,欢迎关注创新互联行业资讯频道!
网站栏目:大数据与Hbase的示例分析
转载来于:http://hbruida.cn/article/iieshi.html