Kafka同步

SDK类名：/active/Hetero

示例接口

示例接口描述

URL

//example/1571888297732

Method

GET

Request

名称	类型	必选	初始值	简介	Mock规则
foo	String	否	@ctitle	请求属性示例

Response

名称	类型	必选	初始值	简介	Mock规则
string	String	否	★	字符串属性示例	1-10
number	Number	否	1	数字属性示例	1-100
boolean	Boolean	否	true	布尔属性示例	1-2
regexp	RegExp	否	/[a-z][A-Z][0-9]/	正则属性示例
function	Function	否	() => Math.random()	函数属性示例
array	Array	否		数组属性示例	1-10
foo	Number	否	1	数组元素示例	+1
bar	String	否	★	数组元素示例	1-10
items	Array	否	[1, true, 'hello', /\w{10}/]	自定义数组元素示例
object	Object	否		对象属性示例
foo	Number	否	1	对象属性示例	+1
bar	String	否	★	对象属性示例	1-10
placeholder	String	否	@title	占位符示例

===============分割线==================

URL

//example

Method

GET

Request

名称	类型	必选	初始值	简介	Mock规则

Response

名称	类型	必选	初始值	简介	Mock规则

异构-新建

SDK 方法名：createHeteroRule

URL

//hetero/rule

Method

POST

Request

名称	类型	必选	初始值	简介	Mock规则
name	String	否
kfk_ver	String	否
dst_node	String	否		备端节点
conn_type	String	否		连接方式 zookepper broker
host	String	否		zookeeper主机
port	String	否		zookeeper 端口
broker	String	否
tabmap	Object	否
consumer_thread_num	Number	否	2
actload_thread_num	Number	否	4

Response

名称	类型	必选	初始值	简介	Mock规则
ret	Number	否	200
msg	String	否
data	Object	否
message	String	否
code	Number	否	0

异构-删除

SDK 方法名：deleteHeteroRule

URL

//hetero

Method

DELETE

Request

名称	类型	必选	初始值	简介	Mock规则
uuids	Array	否

Response

名称	类型	必选	初始值	简介	Mock规则
ret	Number	否	200
msg	String	否
data	Object	否
message	String	否
code	Number	否	0

异构-获取列表

SDK 方法名：listHeteroRule

URL

//hetero/rule

Method

GET

Request

名称	类型	必选	初始值	简介	Mock规则
page	Number	否	1
limit	Number	否	10
search_field	String	否	kafka_name
search_value	String	否

Response

名称	类型	必选	初始值	简介	Mock规则
ret	Number	否	200
msg	String	否
data	Object	否
message	String	否
code	Number	否	0
info_list	Array	否
name	String	否	测试kafka集群
dst_node	String	否	1
conn_type	String	否	2.0
broker	String	否	192.168.28.90:58080
kfk_ver	String	否	3.0
uuid	String	否	@uuid
is_biz_admin	Number	否	1
can_op	Number	否	1
can_up	Number	否	1
can_del	Number	否	1
broker_id	String	否	1

异构-查看topic

SDK 方法名：createHeteroTopic

URL

//hetero/topic

Method

GET

Request

名称	类型	必选	初始值	简介	Mock规则
uuid	String	否

Response

名称	类型	必选	初始值	简介	Mock规则
ret	Number	否	200
msg	String	否
data	Object	否
message	String	否
code	Number	否	0
info_list	Array	否
topicList	Array	否	"topic1","topic2","topic3"	"topic1","topic2","topic3"

异构-查看消费者

SDK 方法名：createConsumer

URL

//hetero/view_consumer

Method

POST

Request

名称	类型	必选	初始值	简介	Mock规则
uuid	String	否

Response

名称	类型	必选	初始值	简介	Mock规则
ret	Number	否	200
msg	String	否
data	Object	否
message	String	否
code	Number	否	0
info_list	Array	否
consumer	String	否	111
topic	String	否	222
partition	String	否	333
current_offest	String	否	444
logend_offset	String	否	5555
total	Number	否	10

异构-消费

SDK方法名：consumer

URL

//hetero/consumer

Method

POST

Request

名称	类型	必选	初始值	简介	Mock规则
topic	String	否
offset	String	否
lines	String	否
show_foward	Number	否

Response

名称	类型	必选	初始值	简介	Mock规则
ret	Number	否	200
msg	String	否
data	Object	否
message	String	否
code	Number	否	0

---------消费规则-----

URL

/消费规则

Method

GET

Request

名称	类型	必选	初始值	简介	Mock规则

Response

名称	类型	必选	初始值	简介	Mock规则

异构-消费-新建

SDK方法名：createConsumerRule

URL

//hetero/consumer/rule

Method

POST

Request

名称	类型	必选	初始值	简介	Mock规则
src_db_uuid	String	否	B5CED857-275C-77C4-0561-887F7C890FF2	源库uuid
name	String	否	@name	规则名称
tgt_type	String	否	oracle	目标端类型
init_offset	Array	否		指定偏移位置
topic	String	否	test
offset	String	否	1
partition	String	否	1
topic	String	否	test1	（源端topic,kafka->kafka）
dst_topic	String	否	topic1	kafka->kafka 备端topic
tgt_db_uuid	String	否	1C5F3C4B-7333-9518-7349-9712BC9ED664	备库uuid
tabmap	Array	否		表映射
src_table	String		src_t
dst_table	String		dst_t
kudu_partition_config	Object
hashSetting	Boolean		false
hash_definitions	Array
rangSetting	Boolean		false
range_definition	Object
range_columns	String
range_partitions	Array
init_offset_type	String	否	earlist	latest,seek
consumer_thread_num	Number	否	2	消费线程数
actload_thread_num	Number	否	4	装载线程数
kudu_partition_config	Array			备端类型kudu 对应的设置
impala_connected	Boolean		false	连接impala
config	Object
goldendb_config	Object
machine_number	Number		1
distribute_type	String			hash,duplicate
insert_date_config	Object			备端kudu 扩展字段设置 设置插入行日期
enable	Boolean		false
column_name	String		ETL_INSERT_DATE
primary_key_config	Object			唯一性主键
primary_key_config	String		primaryKey
use_insert_date	Boolean		false
use_rowid	Boolean		false
use_source_table_key	Boolean		false
target_user	String		oracle	目标端连接用户
target_db_name	String		@name	目标端数据库名
db_name	String		@name	数据库名称（mysql）
kerberos_certify	Boolean
dmltrack	Object
enable	Boolean		false
tmcol	String		1
target_user_map	String		{}	目标端用户映射
machine_num	Number		1
part_config	Array			hive目标表指定分区	2
part_index	Number		@pick([0, 1])	默认 0 分区字段顺序， 0 第一级， 0 第二级
part_col_name	String		null	分区字段名，如hdfs_par
part_type	String	是	ALL	无分区：ALL 日分区：DAY ,写入目标值格式yyyyMMdd 月分区：MONTH,写入目标值格式yyyyMM 年分区：YEAR，写入目标值格式yyyy 源表字段值：SOURCE， 写入目标无需转换
part_from_col_name	String		null	来源源表字段，无分区null，其他分区必填
part_from_date_format	String		null	源表日期类型， 如果源表是date/timestamp/datetime等，此format不起作用 如果源表是 varchar/string的日期，此format值用于按part_type转换，如：yyyy-MM-dd hh:mm:ss ,写入目标表时，part_type=DAY，则写入2021-06-23
existing_table	String
error_deal	String			错误处理 继续：continue 停止：stop 该项已屏蔽
binary_code	String			取值 hex ， base64
load_err_set	String			装载错误处理方式, 旧接口兼容保留项，建议使用error_handling.load_err_set
error_handling	Object
load_err_set	String		continue	装载错误处理方式 continue 继续装载 stopld:停止装载 stoptabld:停止此表装载

Response

名称	类型	必选	初始值	简介	Mock规则
ret	Number	否	200
msg	String	否
data	Object	否
message	String	否
code	Number	否	0
uuid	String

异构-消费-修改

SDK方法名：modifyConsumerRule

URL

//hetero/consumer/rule

Method

PUT

Request

名称	类型	必选	初始值	简介	Mock规则
name	String	否	m-k-hive
src_db_uuid	String	否	86A56D69-72DE-AA2F-1C7E-C0A843F1D9EA
tgt_type	String	否	hive
init_offset	Array	否
topic	String	否	test4
offset	String	否	18684815
partition	String	否	0
modify	Boolean	否	true
dst_topic	String	否	dst_topic
tgt_db_uuid	String	否	773AE76A-7DB6-E465-2508-3919C875916E	oracle 类型时
init_offset_type	String	否	seek	latest,seek
tabmap	Array	否
src_table	String		src-t6
dst_table	String		dst-t6
consumer_thread_num	Number	否	41
actload_thread_num	Number	否	41
uuid	String		356FF271-0D32-C35A-75A2-C68AD3A70FB3
kudu_partition_config	Array
hashSetting	Boolean
hash_definitions	Array
rangSetting	Boolean		false
rang_definition	Array
range_colums	String
range_partitions	Number
impala_connected	Boolean		false
config	Object
goldendb_config	Object
machine_number	Number
distribute_type	String
insert_date_config	Object
enable	Boolean
column_name	String
primary_key_config	Object
primary_key_config	String
use_insert_date	Boolean
use_rowid	Boolean
use_source_table_key	Boolean
target_user	String		oracle
target_db_name	String		@name
db_name	String		@name
kerberos_certify	Boolean
dmltrack	Object
enable	Boolean		false
tmcol	String
part_config	String		none
target_user_map	String		{}
machine_num	Number
existing_table	String			表覆盖策略
error_deal	String
load_err_set	String			装载错误处理方式, 旧接口兼容保留项，建议使用error_handling.load_err_set
binary_code	String			取值 hex ， base64
error_handling	Object			错误处理大类
load_err_set	String			装载错误处理方式 continue 继续装载 stopld:停止装载 stoptabld:停止此表装载
start_rule_now	Number		1
topic	String		test4
user_uuid	String		1BCFCAA3-E3C8-3E28-BDC5-BE36FDC2B5DC

Response

名称	类型	必选	初始值	简介	Mock规则
ret	Number	否	200
msg	String	否
data	Object	否
message	String	否
code	Number	否	0

异构-消费-删除

SDK方法名：deleteConsumerRules

URL

//hetero/consumer/rule

Method

DELETE

Request

名称	类型	必选	初始值	简介	Mock规则
uuids	Array	否	["@guid","@guid"]	规则uuid
force	Boolean		true	强制删除

Response

名称	类型	必选	初始值	简介	Mock规则
ret	Number	否	200
msg	String	否
data	Object
code	Number		1
message	String		[0] success
success_list	Array
code	Number		0
message	String		[0] success
uuid	String		16CB63E1-13FA-FB32-EB49-D790682C9648
name	String		task1
fail_list	Array
code	Number		-1
message	String		[-1] 找不到节点
uuid	String		16CB63E1-13FA-FB32-EB49-D790682C9647
name	String		task2

异构-消费-状态

SDK方法名：listConsumerStatus

URL

//hetero/consumer/status

Method

GET

Request

名称	类型	必选	初始值	简介	Mock规则
uuids	Array	否

Response

名称	类型	必选	初始值	简介	Mock规则
ret	Number	否	200
msg	String	否
data	Object	否
code	Number	否	0
message	String	否
info_list	Array	否			2
uuid	String	否	C038DE5A-CDB2-F26D-FA5F-93E3FF266A87
run	Object	否
status	String	否	ACTIVE_RULE_DOING
progress	String	否	80
stage	String		stop	pause: 停止 stop:停止（异常停止） dump: 全量 track:增量 done:完成 offline:离线
state	String		-4017	0:正常 非0：错误
progress	String			进度

异构-消费-操作

SDK方法名：{operate}ConsumerRule stop | resume

URL

//hetero/consumer/operate

Method

POST

Request

名称	类型	必选	初始值	简介	Mock规则
operate	String	否	resume	stop 停止 resume 继续
uuid	String	否	@guid

Response

名称	类型	必选	初始值	简介	Mock规则
ret	Number	否	200
msg	String	否
data	Object	否
message	String	否
code	Number	否	0

异构-消费-获取规则列表

SDK方法名：listConsumerRules

URL

//hetero/consumer/viewtype

Method

GET

Request

名称	类型	必选	初始值	简介	Mock规则
search_field	String	否	tgt_type
limit	Number	否
page	Number	否
search_value	String	否
where_args	Object	否
uuid	String	否

Response

名称	类型	必选	初始值	简介	Mock规则
ret	Number	否	200
msg	String	否
data	Object	否
message	String	否
code	Number	否	0
info_list	Array	否			5
name	String	否	@name
dst_node	String	否	1
conn_type	String	否	1
uuid	String	否	C038DE5A-CDB2-F26D-FA5F-93E3FF266A87
tgt_type	Array	否	['kafka', 'sqlserver', 'hbase', 'postgres', 'oracle']		+1
tarip	String	否	172.168.42.114
port	String	否	58080
kfk_ver	String	否	2.0
dst_topic	String	否
dst_bootstrap_server	String	否
bootstrap_server	String	否
is_biz_admin	Number	否	1
can_op	Number	否	1
can_up	Number	否	1
can_del	Number	否	1
topic	String	否
data_info	Object	否
src	Object	否
db_ip	Array	否	['192.167.111.111']
log_read_type	String	否	file
orcl	String	否	orcl
node_name	String	否	src1
node_ip	String	否	192.167.111.111
dst	Object	否
db_ip	Array	否	['192.167.111.112']
log_read_type	String	否	file
orcl	String	否	orcl
node_name	String	否	dst1
node_ip	String	否	192.167.111.112
dst_broker_server	Array	否
ip	String	否	199.199.222.222
port	String	否	213
src_broker_server	Array	否
ip	String	否	199.199.222.222
port	String	否	123
src_db_name	String	否	12344
tgt_db_name	String	否	5513
total	Number		12

异构-消费-获取单条规则

SDK方法名：describeConsumerRules

URL

//hetero/consumer/:uuid([A-F0-9-]+)

Method

GET

Request

名称	类型	必选	初始值	简介	Mock规则
uuid	String	否	75DF8EA3-6480-4137-451B-731F04F368AF

Response

名称	类型	必选	初始值	简介	Mock规则
ret	Number	否	200
msg	String	否
data	Object	否
code	Number	否	0
message	String	否	success
info_list	Object	否
name	String	否	@name
tgt_type	String	否	oracle
src_db_uuid	String	否	111
tgt_db_uuid	String	否	111eee
topic	String	否	111,222,333
dst_topic	String	否	321,222,333
init_offset_type	String	否	seek
init_offset	Array	否
topic	String	否	111
offset	String	否	222
partition	String	否	333
actload_thread_num	String	否	4
consumer_thread_num	String	否	2
tabmap	Array	否			2
src_table	String	否	SRC
dst_table	String	否	DST
kudu_partition_config	Array				2
table_name	String		DST
hash_definitions	Array
hash_columns	String		RCOL1,RCOL2
hash_bucket_num	String		16
range_definition	Object
range_columns	String		RCOL1,RCOL2
range_partitions	Array
lower	String		20200101,100
upper	String		20200201,200
hashSetting	Boolean		true
rangeSetting	Boolean		true
config	Object
insert_date_config	Object
enable	Boolean		true
column_name	String		ETL_INSERT_DATE1
primary_key_config	Object
use_source_table_key	Boolean		false
use_rowid	Boolean		true
use_insert_date	Boolean		true
goldendb_config	Object
machine_number	Number
distribute_type	String		hash	"hash","duplicate"

--------拓扑管理-------

URL

/拓扑管理

Method

GET

Request

名称	类型	必选	初始值	简介	Mock规则

Response

名称	类型	必选	初始值	简介	Mock规则

异构-拓扑-新建

SDK方法名：createHeteroGraph

URL

//hetero/graph

Method

POST

Request

名称	类型	必选	初始值	简介	Mock规则
graph_name	String	否		拓扑图名称
is_parent	String	否
is_rule	String	否
consume_rule	Array	否		消费规则所需的参数
id	String	否
rule_name	String	否		规则名称
src_type	String	否		源端类型
src_uuid	String	否		源端uuid
dst_type	String	否		备端类型
rule_number	Number	否	1
rule_status	String	否		规则状态
rule_traffic	String	否
is_parent	Boolean	否	0
is_rule	Boolean	否	0
src_name	String	否		源端名
dst_name	String	否		备端名
dst_uuid	String	否

Response

名称	类型	必选	初始值	简介	Mock规则
ret	Number	否	200
msg	String	否
data	Object	否
message	String	否
code	Number	否	0

异构-拓扑-添加

SDK方法名：addHeteroGraph

URL

//hetero/graph/add

Method

POST

Request

名称	类型	必选	初始值	简介	Mock规则
graph_uuid	String	否		拓扑规则
rule_number	String	否		规则号
src_type	String	否		oracle,kafka,mysql
rule_uuid	String	否

Response

名称	类型	必选	初始值	简介	Mock规则
ret	Number	否	200
msg	String	否
data	Object	否
message	String	否
code	Number	否	0

异构-拓扑-获取列表

SDK方法名：listHeteroGraph

URL

//hetero/graph/list

Method

GET

Request

名称	类型	必选	初始值	简介	Mock规则
page	Number	否	1
limit	Number	否	10

Response

名称	类型	必选	初始值	简介	Mock规则
message	String	否	success
ret	Number	否	200
msg	String	否
data	Object	否
code	Number	否	0
info_list	Array	否			2
id	Number	否	1
graph_name	String	否	topo-o2k-kafka-oracle-test2
graph_uuid	String	否	@uuid	1BCFCAA3-E3C8-3E28-BDC5-BE36FDC2B5DC-Graph
is_parent	Boolean	否	true
is_rule	Boolean	否	0
consume_rule	Array	否			4
id	Number	否	11		+1
rule_name	String	否	o2k-kafka-oracle-test2
rule_uuid	String	否	3D7dFcd9-C176-d9ee-4FFB-f22bbd554944
src_type	Array	否	['oracle', 'kafka', 'mysql', 'postgres']		+1
src_uuid	String	否	3D7dFcd9-C176-d9ee-4FFB-f22bbd554925
dst_type	Array	否	['kafka', 'mysql', 'postgres', 'sqlserver']		+1
rule_number	Number	否	0		+1
rule_status	String	否	stop
rule_traffic	String	否	31455
is_parent	Boolean	否	false
is_rule	Array	否	[true,false,true,true]		+1
src_name	String	否	@name	源端名字
dst_name	String	否	@name	备端名字
dst_uuid	String	否	C038DE5A-CDB2-F26D-FA5F-93E3FF266A87
can_op	Number	否	1
can_up	Number	否	1
can_del	Number	否	0
is_biz_admin	Number	否	1
message	String	否

异构-拓扑-运行拓扑

SDK方法名：runHeteroGraph

URL

//hetero/graph/run

Method

POST

Request

名称	类型	必选	初始值	简介	Mock规则
graphs	Array	否
graph_uuid	String	否
rule_uuids	Array	否
uuid	String	否
src_type	String	否		oracle,kafka,mysql

Response

名称	类型	必选	初始值	简介	Mock规则
ret	Number	否	200
msg	String	否
data	Object	否
message	String	否
code	Number	否	0

异构-拓扑-停止拓扑

SDK方法名：stopHeteroGraph

URL

//hetero/graph/stop

Method

POST

Request

名称	类型	必选	初始值	简介	Mock规则
graphs	Array	否
graph_uuid	String	否
rule_uuids	Array	否
uuid	String	否
src_type	String	否		oracle,mysql,kafka

Response

名称	类型	必选	初始值	简介	Mock规则
ret	Number	否	200
msg	String	否
data	Object	否
message	String	否
code	Number	否	0

异构-拓扑-状态

SDK方法名：listGraphStatus

URL

//hetero/graph/status

Method

GET

Request

名称	类型	必选	初始值	简介	Mock规则
rule_uuids	Array	否

Response

名称	类型	必选	初始值	简介	Mock规则
ret	Number	否	200
msg	String	否
data	Object	否
code	Number	否	0
message	String	否
run	Array	否
progress	String	否
status	String	否

异构-拓扑-删除拓扑

SDK方法名：deleteHeteroGraph

URL

//hetero/graph

Method

DELETE

Request

名称	类型	必选	初始值	简介	Mock规则
graph_uuids	Array	否
graph_uuid	String	否	@uuid
rule_uuids	Array	否
uuid	String	否	@uuid
is_rule	String	否	1
rule_number	String	否	4
src_type	String	否	oracle
is_whole	String	否	1

Response

名称	类型	必选	初始值	简介	Mock规则
ret	Number	否	200
msg	String	否
data	Object	否
message	String	否
code	Number	否	0

异构-拓扑-拓扑详情

SDK方法名：descriptGraphDetail

URL

//hetero/graph/detail

Method

GET

Request

名称	类型	必选	初始值	简介	Mock规则
page	Number	否	1
limit	Number	否	10
start_time	String	否
end_time	String	否
graph_uuid	String	否

Response

名称	类型	必选	初始值	简介	Mock规则
ret	Number	否	200
msg	String	否
data	Object	否
message	String	否
code	Number	否	0
info_list	Array	否			2
2019-10-11	Array	否			2
uuid	String	否	1c7DBA2b-A5AA-F1A6-1587-d5844db5BdAF
name	String	否	@name
number	Number	否			1-100
total	Number	否	1

---------拓扑图管理------

URL

/拓扑图管理

Method

GET

Request

名称	类型	必选	初始值	简介	Mock规则

Response

名称	类型	必选	初始值	简介	Mock规则

异构-拓扑图-获取拓扑图

SDK方法名：listGraph

URL

//hetero/graph/graph

Method

GET

Request

名称	类型	必选	初始值	简介	Mock规则
graph_uuid	String	否

Response

名称	类型	必选	初始值	简介	Mock规则
ret	Number	否	200
msg	String	否
data	Object	否
message	String	否
code	Number	否	0
info_list	Array	否
src	Object	否
node	Object	否
name	String	否	oracle-kafka-199-266
state	String	否	ok
status	String	否	node_online	node_online/node_error/node_ignore
type	String	否	oracle
kafka	Object	否
status	String	否	kafka_normal	kafka_normal
srcid	String	否
traffic	String	否	10004956
type	String	否	kafka
name	String	否	kafka-oracle
scntime	String	否	06-25 11:26:19
relay	Object	否
node	Array	否
name	String	否	300kkkkkkkkkkkkkkkkkkkkkkkkkkkkkkk
state	String	否	ok
status	String	否	db_abnormal	db_abnormal/db_ignore/db_normal
traffic	String	否	N/A
type	String	否	kafka
scntime	String	否	N/A	06-25 11:26:58
dst	Object	否
node	Array	否			2
name	String	否	kafka-oralce-6000123
state	String	否	ok
status	String	否	node_online
traffic	String	否	100564
type	String	否	oracle
scntime	String	否	06-25 11:26:19	06-25 11:26:19
summary	Object	否
name	String	否	199-200
state	String	否	0	1/0
stage	String	否	pause
uuid	String	否	@guid
status	String	否	rect_error	rect_normal
extract	String	否	2019-06-25 11:26:10