解密 云HBase时序引擎OpenTSDB 优化技术

  • 时间:
  • 浏览:0
  • 来源:彩神大发APP_神彩大发APP官方

这样 云上的用户怎么构建八个存储海量数据的时序数据库呢?笔者这里推荐使用 云HBase + OpenTSDB 方案。云HBase是使用阿里多年优化过的HBase内核版本,本文不作越多介绍,详情请看产品主页。

OpenTSDB是一款基于HBase构建的时序数据库,它的数据存储全版交给HBase,本身生活这样 任何数据存储。所有节点是对等的,这种这种部署起来确实是非常方便的。不可能 基于HBase,这种这种本身生活就具备了横向扩展,存储海量数据的能力。常见的部署模式有2种,本身生活分离部署,本身生活混合部署。





实现上端这种功能,当然还要一定内核开发量。喜讯是通过云HBase购买页面购买的时序引擎,不可能 自带了上述功能。不管是分离部署模式,还是混合部署模式。

这种功能的好处显而易见,消除峰值节省成本,提升集群稳定性。另八个亲戚亲戚亲们对八个现有的HBase集群空闲资源需求就一定会 这样 高了,全版还都可以复用了。下面是使用此功能后,同样只做写入的测试集群的流量状态:

这种设计有哪几个特点:

混合部署,即TSDB多多线程 运行运行和RS在八个VM内。适合时序业务较重,还要独享HBase。

salt这种东西最好根据另一方HBase集群规模去配置,它有八个配置:

这是列名(HBase中称为qualifier)的格式,还都可以都看毫米级还要多出八个字节。这种这种不可能 你的分类整理间隔不还要精确到毫秒级别,那请一定使用秒级(10位整数)。Value这样存储整数和浮点,这种这种有八个bit存储Float flag。



salt:打散同一metric不同时间线的热点

metric, tagK, tagV:实际存储的是字符串对应的UID(在tsdb-uid表中)

timestamp:每小时数据处于一行,记录的是每小时整点秒级时间戳

。首先亲戚亲戚亲们要明白OpenTSDB为什么么要做压缩?在压缩些这种东西?

逝者如斯夫,不舍昼夜。

                                                       —— 孔子

还都可以都看会有八个数倍流量的爆发,要持续后后 要能消化。

注意

集群不可能 写过数据后就无法修改,这种这种最好是一另八个刚结束了了了就选取好,建议八个字节。不可能 使用压缩技术后,RowKey多占的哪几个字节还都可以忽略,下文会提到。

十根时间线由 Metirc + 多个tag 唯一选取,时间线上会有源源不断的数据点(Data Point)写入,数据点由时间戳和值组成。OpenTSDB支持秒级(10位整数),毫秒级别(13位整数)本身生活时间精度。

它们长度默认是八个字节,即最多这样分配 2^24=16777216 个UID。还都可以通过这种参数调整:

举个例子,比如亲戚亲戚亲们监控八个手环分类分类整理的心跳信息,这样 亲戚亲戚亲们还都可以另八个定义:

查询的以一定会并发 tsd.storage.salt.buckets   个Scanner到HBase上,这种这种不可能 这种配置越多,对查询影响比较大,容易打爆HBase。这里确实是八个权衡,写入热点和查询压力。默认20确实我另一方确实很糙多,配置3~8就差越多了,当然实际效果还和metric设计有关,不可能 在八个metric里设计了这种这种时间线,那就得配置这种这种bucket。在八个metric中设计越多时间线,会影响OpenTSDB的查询速率,这种这种不建议这样 做。

这种参数也是设置了就这样改的,这种这种也是要一另八个刚结束了了了规划好。

很明显,每个KV都记录了rowX,那rowX因此我八个空间浪费。这种空间不仅影响成本,还影响查询速率(毕竟数据多了)。压缩做的事情因此我把多个小KV合成八个大KV,减少这次要浪费。这种这种压缩的以一定会涉及到对HBase的“读-写-删”,这因此我整点HBase IO流量的来源。

这样 亲戚亲戚亲们有这样 法律土办法,既做压缩,同时又消除这次要HBase IO呢?

OpenTSDB有个很常见这种很麻烦的大问题,因此我整点另八个对HBase对流量冲击。下面2张图是亲戚亲戚亲们八个测试集群只做写入对效果:

上述2种模式,云HBase产品都能提供支持。

这里亲戚亲戚亲们一定会有大问题,直接通过qualifier长度是4还是2不就能判断是秒级精度的数据点,还是毫秒了么?为什么么还还要MS flag另八个八个标记信息?阅读下面的“压缩”次要,就能知道为这种。

时序数据库是专门存放随着时间推移而不断变化的数据。近些年,随着IoT等概念的流行,时序数据库成为数据库八个相对独立的领域逐渐受到重视,广泛应用于物联网、监控系统、金融、医疗和零售等多种场景。

独立部署,即与多个业务共享八个HBase。适合时序业务较小,不可能 用不满HBase资源。



            

  OpenTSDB                                                                  HBase

这样 亲戚亲戚亲们通过 band.heartbeat  + id=1  就能查询到编为1的手环分类分类整理到的心跳信息。

当然有!亲戚亲戚亲们还都可以把压缩的逻辑放进HBase内部人员去。不可能 HBase本身生活就还要对HFile做合并工作,这另八个HBase本身生活就会读写数据文件,这次要对HDFS的IO越多少,而亲戚亲戚亲们通过hook在HBase读出数据后,替换掉要写入的数据(即压缩好的数据)。

过去1八个月时序数据库(Time Series DBMS)热度不断增长

时间如流水,一去不复返。自古不乏对时间流逝的感慨,而现代不可能 有这种这种技术记录流逝的过去。亲戚亲戚亲们还都可以拍照,还都可以录像,当然还还都可以用时序数据库!

前面提到过OpenTSDB一行一小时的特点,这样 一行里会有这种这种KV。棘层 上看起来好像没这种大问题,这种实际上对比逻辑视图和物理视图这种你发现这种大问题。

猜你喜欢

哇靠,阿里云什么情况,服务器爆款仅2折

6、活动中涉及“打折”、“折扣”、“×折”或“省××元”,是指将本活动期间的某款产品的活动价格,与无任何活动期间的相同产品/的日常最小单位售价(类事:月价),按相同购买时长进行

2020-01-29

一个男生和我表白了后。我拒绝了,我和他说了一句我不想谈恋爱,然后他就没有回复我了,觉得他是不是挺小

你找他继续聊他后要照样回复你的,他就怕你不理他,让人拒绝了别人,你说歌词 他还有那些要讲的呢,当你找他聊的过后他高兴都来不及,为何会生你气,我因此原先。展开完正那你想为何样呢

2020-01-29

您觉得在大学里谈恋爱与婚姻的关系挂钩吗?*

步入社会后,社交面会明显变窄,选取的余地相对缩小全都,共要当时人的就更难遇到了。我我觉得大学时,顺其自然有共要当时人的何必 回避。现在我觉得大学时代不谈恋爱真的是一个 多很

2020-01-28

各位有问题可以直接提,紫泷老师结束后会给各位解答

登录后可回答问题,请2019-04-0919:02:30各位有问题后能 直接提,紫泷老师刚刚开始总要给各位解答或来源:[直播]顶端件小哥0人评论314人浏览0收藏

2020-01-28

是不是两个人在一起时间久了比如半年,什么时候都在一起,就会产生依赖,而舍不得分开呢

暗恋是五种自毁,是五种伟大的牺牲。暗恋,甚至不前要对象,朋友不过站在河边,看着被委托人的倒影自怜,却以为被委托人正爱着别人。感情的句子是哪些 和情歌一样,最高境界是余音袅袅。

2020-01-28