Introduction

项目介绍

名称：td-redis-operator

语言： 纯go开发

定位： 基于云原生技术，实现Redis主备/集群资源生命周期、HA、常规运维操作管理.

工作原理

原理描述：

1. 基于Operator开源产品，完全在Kubernate上运维托管。 什么是Kubernate Operator, 请点击

2. 支持两种Redis实例管理交付，即Redis主备和RedisCluster

td-redis-operator能解决什么？

1. Redis实例资源生命周期管理

    管理运维redis不同模式资源增删改整个上线下线流程

2. Operator实现故障自愈

    使用Operator的informer和reconcile机制，将DBA日常运维操作编码，实现云上的故障自愈，降低DBA心智成本

3. 云原生

    基于K8S和容器技术，整个完全托管运行在Kubernate集群上而无需其他更多基建依赖，减少使用成本

单机房复制示意图：

说明：

   a. 数据on-Fly，尽可能不落地，更快的进行数据同步. (开启node loadBalancer算法，如果Node节点S+ETL落在不同的Node上，数据会有个网络传输过程)

   b. node节点可以有failover / loadBalancer.

异地机房复制示意图：

说明：

   a. 数据涉及网络传输，S/E/T/L几个阶段会分散在2个或者更多Node节点上，多个Node之间通过zookeeper进行协同工作 (一般是Select和Extract在一个机房的Node，Transform/Load落在另一个机房的Node)

   b. node节点可以有failover / loadBalancer. (每个机房的Node节点，都可以是集群，一台或者多台机器)

初步性能指标：

1. 单机房同步

   a. 100tps ， 延迟100ms

   b. 5000tps, 延迟1s

2. 中美异地机房同步

   a. 100tps ， 延迟2s

   b. 5000tps ，延迟10s

ps. 性能指标取决于目标数据库性能，数据大小等多个因素，单机房100b大小，极限tps可以1w+

相关名词解释

otter核心model关系图

名词解释

• Pipeline：从源端到目标端的整个过程描述，主要由一些同步映射过程组成
• Channel：同步通道，单向同步中一个Pipeline组成，在双向同步中有两个Pipeline组成
• DataMediaPair：根据业务表定义映射关系，比如源表和目标表，字段映射，字段组等
• DataMedia : 抽象的数据介质概念，可以理解为数据表/mq队列定义
• DataMediaSource : 抽象的数据介质源信息，补充描述DateMedia
• ColumnPair : 定义字段映射关系
• ColumnGroup : 定义字段映射组
• Node : 处理同步过程的工作节点，对应一个jvm

----

otter的S/E/T/L stage阶段模型

说明：为了更好的支持系统的扩展性和灵活性，将整个同步流程抽象为Select/Extract/Transform/Load，这么4个阶段.

Select阶段: 为解决数据来源的差异性，比如接入canal获取增量数据，也可以接入其他系统获取其他数据等。

Extract/Transform/Load 阶段：类似于数据仓库的ETL模型，具体可为数据join，数据转化，数据Load的

相关实现介绍

*    主备实现原理 *    集群实现原理