当前位置 >主页 > 行业新闻 >
查看新闻

日吞吐万亿腾讯云时序数据库CTSDB解密

* 来源 :http://www.ahitato.com * 作者 : * 发表时间 : 2018-09-16 01:07

  随着移动互联网、物联网、大数据等行业的高速发展,数据在持续的以指数级的速度增长,比如我们使用手机访问互网络时的行为数据,各种可穿戴设备的状态数据,工厂中设备传感器采集的指标数据,传统互联网公司的数据等。实际上,这些按照时间顺序记录系统、设备状态变化的数据都是时序数据(Time Series),它普遍存在于互联网、物联网、IT基础设施中。

  得益于软硬件技术的快速发展,处理如此庞大的时序数据集的成本在持续降低,更多公司开始持续收集、分析数据,用于异常处理、趋势预测、精准营销、风险控制等场景,希望利用数据的潜在价值,提高公司盈利能力和竞争力。这里举两个例子:

  1.下图为某共享单车在某热门区域的车辆借还情况。通过分析该区域车辆的历史借还数据,单车公司可优化热点时间段的车辆补给。

  2. 下图为某互联网服务的出入流量历史记录。从图中可以明显看到入流量(蓝色线)在某时间段有毛刺,服务提供商可基于此段时间排查服务有无异常。可以进一步基于流量做告警,使运维人员能够及时处理线上问题。

  · 数据延迟高:离线批处理系统,数据从产生到可分析,耗时数小时、甚至天级;

  · 查询性能差:不能很好的利用索引,依赖批处理任务,查询耗时一般在分钟级以上。

  · 分析能力差:HBase可以较好的满足写入压力,但对于非RowKey前缀的查询性能较差;

  · 成本:使用HBase需要同时HBase和Hadoop等系统,且HBase的稳定性会进一步加大成本。

  前面介绍了时序数据的场景,也说明了分析时序数据的意义及传统方案。那么时序数据该怎样存储呢?数据的存储要考虑其数学模型和特点,时序数据当然也不例外。这里以一段时序数据为例,介绍下时序数据的数学模型。

  下列数据记录了一段时间内某集群里各机器上各端口的出入流量,每半小时记录一个观测值:

  · metric: 相关联的数据集合,类似于关系型数据库中的 table;

  · tag: 维度列,用于描述设备/系统的属性,表明是哪个设备/模块产生的,一般不随着时间变化;

  · field: 指标列,用于描述设备/系统状态的变化,随时间平滑波动。

  · 数据模式: 时序数据随时间增长,相同设备/系统的维度信息不变,指标平滑变化,这点从的Network表的数据变化可以看出。

  · 写入: 持续高并发写入,无更新操作:时序数据库面对的往往是百万甚至千万数量级终端设备的实时数据写入(如摩拜单车2017年全国车辆数为千万级),但数据大多表征设备状态,写入后不会更新。

  · 查询: 按不同维度对指标进行统计分析,且存在明显的冷热数据,一般只会频繁查询近期数据。

  时序数据库是管理时序数据的专业化数据库,并针对时序数据的特点对写入、存储、查询等流程进行了优化,从而解决时序数据处理难题:

  o 利用维度重复、时间递增、指标平滑变化等特性,合理选择编码压缩算法,提高数据压缩比;

  o 数据先写入内存,再周期性的dump为不可变的文件存储,提高写入速度。

  目前行业内比较流行的开源时序数据库产品有 InfluxDB、OpenTSDB、Prometheus、Graphite等,其产品特性对比如下图所示:

  · 没有free、易用的分布式版本(OpenTSDB支持分布式部署,但依赖系统过多,成本高);

  腾讯CTSDB(Cloud Time Series Database)是一种分布式、高性能的时序数据库,针对时序数据的高并发写入、存在明显的冷热数据、IoT用户场景等做了大量优化,同时也支持各行业的日志解析和存储。在腾讯内部支撑腾讯云等每日万亿写入吞吐的场景,经过严苛的压力打磨。其架构如下图所示:

  结论:CTSDB单节点集群写入最高可达20w,双节点集群写入性能34w。

  · 在并发线时,InfluxDB出现链接错误,查询请求;此时,CTSDB可正常查询。

  结论:在并发数较高的情况下,双节点集群查询性能较单节点集群有了大幅度提升,呈现了查询性能线性扩展的趋势。

  作为腾讯唯一的时序数据库,CTSDB支撑了腾讯内部20多个核心业务(微信彩票、财付通、云、云数据库、云负载等)。其中,云系统记录了腾讯内部各种软硬件系统的实时状态,CTSDB承载了它所有的数据存储,在每秒千万级数据点的写入压力、每天20TB+数据量的写入场景下稳定运行,足以证明CTSDB可以稳定支撑物联网的海量数据场景。

  CTSDB已经在腾讯云正式开始公测,为时序数据处理提供技术服务,我们将在降低存储成本、提升易用性和丰富功能性等方面进一步优化CTSDB!

  据报道,SpaceX已与一名客户签约,这名客户将乘坐SpaceX飞船绕…

  最近出事情很多,都有哪些手机有SOS功能,又怎么使用?今天我们就来说说…

  苹果发布会结束后,美国官网上相应的保修服务AppleCare+也发生了…

  9月13日,苹果公司召开新品发布会,发布了3款全新iPhone:iPh…

  如今iPhone价格成为了最大的悬念。有消息称,新款的iPhone或许…

  有消息称,iPhone首批机型中,将会新增“红色款”配色,和以往并不相…

  马云宣布卸任集团董事局,2019年9月10日生效,未来将回归教育、…

  9月13日,苹果公司召开新品发布会,发布了3款全新iPhone:iPh…

  马云今日将正式宣布阿里巴巴继承计划,同时宣布成立马云基金会专注慈善事业…

  天极自携手每日优鲜、滴滴、旷视科技联合举办的行业自人自驾活动开…