Kafka同步

SDK类名：/active/Hetero

---------消费规则-----

URL

/消费规则

Method

GET

Request

名称	类型	必选	简介	Mock初始值	Mock规则

Response

名称	类型	必选	简介	Mock初始值	Mock规则

异构-消费-新建

SDK方法名：createConsumerRule

URL

/hetero/consumer/rule

Method

POST

Request

名称	类型	必选	简介	Mock初始值	Mock规则
src_db_uuid	String	否	源库uuid	B5CED857-275C-77C4-0561-887F7C890FF2
name	String	否	规则名称	@name
tgt_type	String	否	目标端类型	oracle
init_offset	Array	否	指定偏移位置
topic	String	否		test
offset	String	否		1
partition	String	否		1
topic	String	否	（源端topic,kafka->kafka）	test1
dst_topic	String	否	kafka->kafka 备端topic	topic1
tgt_db_uuid	String	否	备库uuid	1C5F3C4B-7333-9518-7349-9712BC9ED664
tabmap	Array	否	表映射
src_table	String			src_t
dst_table	String			dst_t
kudu_partition_config	Object
hashSetting	Boolean			false
hash_definitions	Array
rangSetting	Boolean			false
range_definition	Object
range_columns	String
range_partitions	Array
column	Array		字段映射
dst_column	String
src_column	String
init_offset_type	String	否	latest,seek	earlist
consumer_thread_num	Number	否	消费线程数	2
actload_thread_num	Number	否	装载线程数	4
kudu_partition_config	Array		备端类型kudu 对应的设置
impala_connected	Boolean		连接impala	false
config	Object
goldendb_config	Object
machine_number	Number			1
distribute_type	String		hash,duplicate
insert_date_config	Object		备端kudu 扩展字段设置 设置插入行日期
enable	Boolean			false
column_name	String			ETL_INSERT_DATE
primary_key_config	Object		唯一性主键
primary_key_config	String			primaryKey
use_insert_date	Boolean			false
use_rowid	Boolean			false
use_source_table_key	Boolean			false
target_user	String		目标端连接用户	oracle
target_db_name	String		目标端数据库名	@name
db_name	String		数据库名称（mysql）	@name
kerberos_certify	Boolean
dmltrack	Object
enable	Boolean			false
tmcol	String			1
target_user_map	String		目标端用户映射	{}
machine_num	Number			1
part_config	Array		hive目标表指定分区		2
part_index	Number		默认 0 分区字段顺序， 0 第一级， 0 第二级	@pick([0, 1])
part_col_name	String		分区字段名，如hdfs_par	null
part_type	String	是	无分区：ALL 日分区：DAY ,写入目标值格式yyyyMMdd 月分区：MONTH,写入目标值格式yyyyMM 年分区：YEAR，写入目标值格式yyyy 源表字段值：SOURCE， 写入目标无需转换	ALL
part_from_col_name	String		来源源表字段，无分区null，其他分区必填	null
part_from_date_format	String		源表日期类型， 如果源表是date/timestamp/datetime等，此format不起作用 如果源表是 varchar/string的日期，此format值用于按part_type转换，如：yyyy-MM-dd hh:mm:ss ,写入目标表时，part_type=DAY，则写入2021-06-23	null
existing_table	String
error_deal	String		错误处理 继续：continue 停止：stop 该项已屏蔽
binary_code	String		取值 hex ， base64
load_err_set	String		装载错误处理方式, 旧接口兼容保留项，建议使用error_handling.load_err_set
error_handling	Object
load_err_set	String		装载错误处理方式 continue 继续装载 stopld:停止装载 stoptabld:停止此表装载	continue
hdfs_config	Object
auth	String		none :无认证 kerberos: kerberos
principal	String
keytab	String
kbsuser	String
table_engine	String		表引擎：默认MergeTree，可选 ReplacingMergeTree、 SummingMergeTree、 AggregatingMergeTree

Response

名称	类型	必选	简介	Mock初始值	Mock规则
ret	Number	否		200
msg	String	否
data	Object	否
message	String	否
code	Number	否		0
uuid	String

异构-消费-修改

SDK方法名：modifyConsumerRule

URL

/hetero/consumer/rule

Method

PUT

Request

名称	类型	必选	简介	Mock初始值	Mock规则
name	String	否		m-k-hive
src_db_uuid	String	否		86A56D69-72DE-AA2F-1C7E-C0A843F1D9EA
tgt_type	String	否		hive
init_offset	Array	否
topic	String	否		test4
offset	String	否		18684815
partition	String	否		0
modify	Boolean	否		true
dst_topic	String	否		dst_topic
tgt_db_uuid	String	否	oracle 类型时	773AE76A-7DB6-E465-2508-3919C875916E
init_offset_type	String	否	latest,seek	seek
tabmap	Array	否
src_table	String			src-t6
dst_table	String			dst-t6
consumer_thread_num	Number	否		41
actload_thread_num	Number	否		41
uuid	String			356FF271-0D32-C35A-75A2-C68AD3A70FB3
kudu_partition_config	Array
hashSetting	Boolean
hash_definitions	Array
rangSetting	Boolean			false
rang_definition	Array
range_colums	String
range_partitions	Number
impala_connected	Boolean			false
config	Object
goldendb_config	Object
machine_number	Number
distribute_type	String
insert_date_config	Object
enable	Boolean
column_name	String
primary_key_config	Object
primary_key_config	String
use_insert_date	Boolean
use_rowid	Boolean
use_source_table_key	Boolean
target_user	String			oracle
target_db_name	String			@name
db_name	String			@name
kerberos_certify	Boolean
dmltrack	Object
enable	Boolean			false
tmcol	String
part_config	String			none
target_user_map	String
machine_num	Number
existing_table	String		表覆盖策略
error_deal	String
load_err_set	String		装载错误处理方式, 旧接口兼容保留项，建议使用error_handling.load_err_set
binary_code	String		取值 hex ， base64
error_handling	Object		错误处理大类
load_err_set	String		装载错误处理方式 continue 继续装载 stopld:停止装载 stoptabld:停止此表装载
start_rule_now	Number			1
topic	String			test4
user_uuid	String			1BCFCAA3-E3C8-3E28-BDC5-BE36FDC2B5DC

Response

名称	类型	必选	简介	Mock初始值	Mock规则
ret	Number	否		200
msg	String	否
data	Object	否
message	String	否
code	Number	否		0

异构-消费-删除

SDK方法名：deleteConsumerRules

URL

/hetero/consumer/rule

Method

DELETE

Request

名称	类型	必选	简介	Mock初始值	Mock规则
uuids	Array	否	规则uuid	["@guid","@guid"]
force	Boolean		强制删除	true

Response

名称	类型	必选	简介	Mock初始值	Mock规则
ret	Number	否		200
msg	String	否
data	Object
code	Number			1
message	String			[0] success
success_list	Array
code	Number			0
message	String			[0] success
uuid	String			16CB63E1-13FA-FB32-EB49-D790682C9648
name	String			task1
fail_list	Array
code	Number			-1
message	String			[-1] 找不到节点
uuid	String			16CB63E1-13FA-FB32-EB49-D790682C9647
name	String			task2

异构-消费-状态

SDK方法名：listConsumerStatus

URL

/hetero/consumer/status

Method

GET

Request

名称	类型	必选	简介	Mock初始值	Mock规则
uuids	Array	否

Response

名称	类型	必选	简介	Mock初始值	Mock规则
ret	Number	否		200
msg	String	否
data	Object	否
code	Number	否		0
message	String	否
info_list	Array	否			5
uuid	String	否		C038DE5A-CDB2-F26D-FA5F-93E3FF266A87
run	Object	否
status	String	否	ACTIVE_RULE_PAUSE(停止) ACTIVE_RULE_STOP(异常停止) ACTIVE_RULE_DUMP(全量) ACTIVE_RULE_TRACK(增量) ACTIVE_RULE_DONE(完成) ACTIVE_RULE_OFFLINE(离线)	ACTIVE_RULE_DOING
progress	String	否		80
error_code	String		说明：不等于0时才有此值，其他情况不存在
stage	String		pause: 停止 stop:停止（异常停止） dump: 全量 track:增量 done:完成 offline:离线	stop
state	String		0:正常 非0：错误	-4017
progress	String		进度
delay	Number			1.1
peak	Number			2.2
extract	String			@date @time
load	String			@date @time

异构-消费-操作

SDK方法名：停止：stopConsumerRule，继续：resumeConsumerRule

URL

/hetero/consumer/operate

Method

POST

Request

名称	类型	必选	简介	Mock初始值	Mock规则
operate	String	否	stop 停止 resume 继续	resume
uuid	String	否		@guid

Response

名称	类型	必选	简介	Mock初始值	Mock规则
ret	Number	否		200
msg	String	否
data	Object	否
message	String	否
code	Number	否		0

异构-消费-获取规则列表

SDK方法名：listConsumerRules

URL

/hetero/consumer/viewtype

Method

GET

Request

名称	类型	必选	简介	Mock初始值	Mock规则
search_field	String	否		tgt_type
limit	Number	否
page	Number	否
search_value	String	否
where_args	Object	否
uuid	String	否
status	String
src_db_name	String
tgt_db_name	String
db_ip	String
node_ip	String
username	String
name	String

Response

名称	类型	必选	简介	Mock初始值	Mock规则
ret	Number	否		200
msg	String	否
data	Object	否
message	String	否
code	Number	否		0
info_list	Array	否			5
name	String	否		@name
dst_node	String	否		1
conn_type	String	否		1
uuid	String	否		C038DE5A-CDB2-F26D-FA5F-93E3FF266A87
tgt_type	Array	否		['kafka', 'sqlserver', 'hbase', 'postgres', 'oracle']	+1
tarip	String	否		172.168.42.114
port	String	否		58080
kfk_ver	String	否		2.0
dst_topic	String	否
dst_bootstrap_server	String	否
bootstrap_server	String	否
is_biz_admin	Number	否		1
can_op	Number	否		1
can_up	Number	否		1
can_del	Number	否		1
topic	String	否
data_info	Object	否
src	Object	否
db_ip	Array	否		['192.167.111.111']
log_read_type	String	否		file
orcl	String	否		orcl
node_name	String	否		src1
node_ip	String	否		192.167.111.111
dst	Object	否
db_ip	Array	否		['192.167.111.112']
log_read_type	String	否		file
orcl	String	否		orcl
node_name	String	否		dst1
node_ip	String	否		192.167.111.112
dst_broker_server	Array	否
ip	String	否		199.199.222.222
port	String	否		213
src_broker_server	Array	否
ip	String	否		199.199.222.222
port	String	否		123
src_db_name	String	否		12344
tgt_db_name	String	否		5513
total	Number			12

异构-消费-获取单条规则

SDK方法名：describeConsumerRules

URL

/hetero/consumer/:uuid([A-F0-9-]+)

Method

GET

Request

名称	类型	必选	简介	Mock初始值	Mock规则
uuid	String	否		75DF8EA3-6480-4137-451B-731F04F368AF

Response

名称	类型	必选	简介	Mock初始值	Mock规则
ret	Number	否		200
msg	String	否
data	Object	否
code	Number	否		0
message	String	否		success
info_list	Object	否
name	String	否		@name
tgt_type	String	否		oracle
src_db_uuid	String	否		111
tgt_db_uuid	String	否		111eee
topic	String	否		111,222,333
dst_topic	String	否		321,222,333
init_offset_type	String	否		seek
init_offset	Array	否
topic	String	否		111
offset	String	否		222
partition	String	否		333
actload_thread_num	String	否		4
consumer_thread_num	String	否		2
tabmap	Array	否			2
src_table	String	否		SRC
dst_table	String	否		DST
kudu_partition_config	Array				2
table_name	String			DST
hash_definitions	Array
hash_columns	String			RCOL1,RCOL2
hash_bucket_num	String			16
range_definition	Object
range_columns	String			RCOL1,RCOL2
range_partitions	Array
lower	String			20200101,100
upper	String			20200201,200
hashSetting	Boolean			true
rangeSetting	Boolean			true
config	Object
insert_date_config	Object
enable	Boolean			true
column_name	String			ETL_INSERT_DATE1
primary_key_config	Object
use_source_table_key	Boolean			false
use_rowid	Boolean			true
use_insert_date	Boolean			true
goldendb_config	Object
machine_number	Number
distribute_type	String		"hash","duplicate"	hash

--------拓扑管理-------

URL

/拓扑管理

Method

GET

Request

名称	类型	必选	简介	Mock初始值	Mock规则

Response

名称	类型	必选	简介	Mock初始值	Mock规则

异构-拓扑-新建

SDK方法名：createHeteroGraph

URL

/hetero/graph

Method

POST

Request

名称	类型	必选	简介	Mock初始值	Mock规则
graph_name	String	否	拓扑图名称
is_parent	String	否
is_rule	String	否
consume_rule	Array	否	消费规则所需的参数
id	String	否
rule_name	String	否	规则名称
src_type	String	否	源端类型
src_uuid	String	否	源端uuid
dst_type	String	否	备端类型
rule_number	Number	否		1
rule_status	String	否	规则状态
rule_traffic	String	否
is_parent	Boolean	否		0
is_rule	Boolean	否		0
src_name	String	否	源端名
dst_name	String	否	备端名
dst_uuid	String	否

Response

名称	类型	必选	简介	Mock初始值	Mock规则
ret	Number	否		200
msg	String	否
data	Object	否
message	String	否
code	Number	否		0

异构-拓扑-添加

SDK方法名：addHeteroGraph

URL

/hetero/graph/add

Method

POST

Request

名称	类型	必选	简介	Mock初始值	Mock规则
graph_uuid	String	否	拓扑规则
rule_number	String	否	规则号
src_type	String	否	oracle,kafka,mysql
rule_uuid	String	否

Response

名称	类型	必选	简介	Mock初始值	Mock规则
ret	Number	否		200
msg	String	否
data	Object	否
message	String	否
code	Number	否		0

异构-拓扑-获取列表

SDK方法名：listHeteroGraph

URL

/hetero/graph/list

Method

GET

Request

名称	类型	必选	简介	Mock初始值	Mock规则
page	Number	否		1
limit	Number	否		10

Response

名称	类型	必选	简介	Mock初始值	Mock规则
message	String	否		success
ret	Number	否		200
msg	String	否
data	Object	否
code	Number	否		0
info_list	Array	否			2
id	Number	否		1
graph_name	String	否		topo-o2k-kafka-oracle-test2
graph_uuid	String	否	1BCFCAA3-E3C8-3E28-BDC5-BE36FDC2B5DC-Graph	@uuid
is_parent	Boolean	否		true
is_rule	Boolean	否		0
consume_rule	Array	否			4
id	Number	否		11	+1
rule_name	String	否		o2k-kafka-oracle-test2
rule_uuid	String	否		3D7dFcd9-C176-d9ee-4FFB-f22bbd554944
src_type	Array	否		['oracle', 'kafka', 'mysql', 'postgres']	+1
src_uuid	String	否		3D7dFcd9-C176-d9ee-4FFB-f22bbd554925
dst_type	Array	否		['kafka', 'mysql', 'postgres', 'sqlserver']	+1
rule_number	Number	否		0	+1
rule_status	String	否		stop
rule_traffic	String	否		31455
is_parent	Boolean	否		false
is_rule	Array	否		[true,false,true,true]	+1
src_name	String	否	源端名字	@name
dst_name	String	否	备端名字	@name
dst_uuid	String	否		C038DE5A-CDB2-F26D-FA5F-93E3FF266A87
can_op	Number	否		1
can_up	Number	否		1
can_del	Number	否		0
is_biz_admin	Number	否		1
message	String	否

异构-拓扑-运行拓扑

SDK方法名：runHeteroGraph

URL

/hetero/graph/run

Method

POST

Request

名称	类型	必选	简介	Mock初始值	Mock规则
graphs	Array	否
graph_uuid	String	否
rule_uuids	Array	否
uuid	String	否
src_type	String	否	oracle,kafka,mysql

Response

名称	类型	必选	简介	Mock初始值	Mock规则
ret	Number	否		200
msg	String	否
data	Object	否
message	String	否
code	Number	否		0

异构-拓扑-停止拓扑

SDK方法名：stopHeteroGraph

URL

/hetero/graph/stop

Method

POST

Request

名称	类型	必选	简介	Mock初始值	Mock规则
graphs	Array	否
graph_uuid	String	否
rule_uuids	Array	否
uuid	String	否
src_type	String	否	oracle,mysql,kafka

Response

名称	类型	必选	简介	Mock初始值	Mock规则
ret	Number	否		200
msg	String	否
data	Object	否
message	String	否
code	Number	否		0

异构-拓扑-状态

SDK方法名：listGraphStatus

URL

/hetero/graph/status

Method

GET

Request

名称	类型	必选	简介	Mock初始值	Mock规则
rule_uuids	Array	否		["e2a2e7dB-5A09-5D2A-139D-9Bc9946e9cFB"]

Response

名称	类型	必选	简介	Mock初始值	Mock规则
ret	Number	否		200
msg	String	否
data	Object	否
code	Number	否		0
message	String	否
run	Array	否
progress	String	否
status	String	否

异构-拓扑-删除拓扑

SDK方法名：deleteHeteroGraph

URL

/hetero/graph

Method

DELETE

Request

名称	类型	必选	简介	Mock初始值	Mock规则
graph_uuids	Array	否
graph_uuid	String	否		@uuid
rule_uuids	Array	否
uuid	String	否		@uuid
is_rule	String	否		1
rule_number	String	否		4
src_type	String	否		oracle
is_whole	String	否		1

Response

名称	类型	必选	简介	Mock初始值	Mock规则
ret	Number	否		200
msg	String	否
data	Object	否
message	String	否
code	Number	否		0

异构-拓扑-拓扑详情

SDK方法名：descriptGraphDetail

URL

/hetero/graph/detail

Method

GET

Request

名称	类型	必选	简介	Mock初始值	Mock规则
page	Number	否		1
limit	Number	否		10
start_time	String	否
end_time	String	否
graph_uuid	String	否

Response

名称	类型	必选	简介	Mock初始值	Mock规则
ret	Number	否		200
msg	String	否
data	Object	否
message	String	否
code	Number	否		0
info_list	Array	否			2
2019-10-11	Array	否			2
uuid	String	否		1c7DBA2b-A5AA-F1A6-1587-d5844db5BdAF
name	String	否		@name
number	Number	否			1-100
total	Number	否		1

---------拓扑图管理------

URL

/拓扑图管理

Method

GET

Request

名称	类型	必选	简介	Mock初始值	Mock规则

Response

名称	类型	必选	简介	Mock初始值	Mock规则

异构-拓扑图-获取拓扑图

SDK方法名：listGraph

URL

/hetero/graph/graph

Method

GET

Request

名称	类型	必选	简介	Mock初始值	Mock规则
graph_uuid	String	否

Response

名称	类型	必选	简介	Mock初始值	Mock规则
ret	Number	否		200
msg	String	否
data	Object	否
message	String	否
code	Number	否		0
info_list	Array	否
src	Object	否
node	Object	否
name	String	否		oracle-kafka-199-266
state	String	否		ok
status	String	否	node_online/node_error/node_ignore	node_online
type	String	否		oracle
kafka	Object	否
status	String	否	kafka_normal	kafka_normal
srcid	String	否
traffic	String	否		10004956
type	String	否		kafka
name	String	否		kafka-oracle
scntime	String	否		06-25 11:26:19
relay	Object	否
node	Array	否
name	String	否		300kkkkkkkkkkkkkkkkkkkkkkkkkkkkkkk
state	String	否		ok
status	String	否	db_abnormal/db_ignore/db_normal	db_abnormal
traffic	String	否		N/A
type	String	否		kafka
scntime	String	否	06-25 11:26:58	N/A
dst	Object	否
node	Array	否			2
name	String	否		kafka-oralce-6000123
state	String	否		ok
status	String	否		node_online
traffic	String	否		100564
type	String	否		oracle
scntime	String	否	06-25 11:26:19	06-25 11:26:19
summary	Object	否
name	String	否		199-200
state	String	否	1/0	0
stage	String	否		pause
uuid	String	否		@guid
status	String	否	rect_normal	rect_error
extract	String	否		2019-06-25 11:26:10

异构-新建(暂弃用)

SDK 方法名：createHeteroRule

URL

/hetero/rule

Method

POST

Request

名称	类型	必选	简介	Mock初始值	Mock规则
name	String	否
kfk_ver	String	否
dst_node	String	否	备端节点
conn_type	String	否	连接方式 zookepper broker
host	String	否	zookeeper主机
port	String	否	zookeeper 端口
broker	String	否
tabmap	Object	否
consumer_thread_num	Number	否		2
actload_thread_num	Number	否		4

Response

名称	类型	必选	简介	Mock初始值	Mock规则
ret	Number	否		200
msg	String	否
data	Object	否
message	String	否
code	Number	否		0

异构-消费 （暂弃用）

SDK方法名：consumer

URL

/hetero/consumer

Method

POST

Request

名称	类型	必选	简介	Mock初始值	Mock规则
topic	String	否
offset	String	否
lines	String	否
show_foward	Number	否

Response

名称	类型	必选	简介	Mock初始值	Mock规则
ret	Number	否		200
msg	String	否
data	Object	否
message	String	否
code	Number	否		0

异构-删除（暂弃用）

SDK 方法名：deleteHeteroRule

URL

/hetero

Method

DELETE

Request

名称	类型	必选	简介	Mock初始值	Mock规则
uuids	Array	否

Response

名称	类型	必选	简介	Mock初始值	Mock规则
ret	Number	否		200
msg	String	否
data	Object	否
message	String	否
code	Number	否		0

异构-查看消费者（暂弃用）

SDK 方法名：createConsumer

URL

/hetero/view_consumer

Method

POST

Request

名称	类型	必选	简介	Mock初始值	Mock规则
uuid	String	否

Response

名称	类型	必选	简介	Mock初始值	Mock规则
ret	Number	否		200
msg	String	否
data	Object	否
message	String	否
code	Number	否		0
info_list	Array	否
consumer	String	否		111
topic	String	否		222
partition	String	否		333
current_offest	String	否		444
logend_offset	String	否		5555
total	Number	否		10

异构-查看topic（暂弃用）

SDK 方法名：createHeteroTopic

URL

/hetero/topic

Method

GET

Request

名称	类型	必选	简介	Mock初始值	Mock规则
uuid	String	否

Response

名称	类型	必选	简介	Mock初始值	Mock规则
ret	Number	否		200
msg	String	否
data	Object	否
message	String	否
code	Number	否		0
info_list	Array	否
topicList	Array	否	"topic1","topic2","topic3"	"topic1","topic2","topic3"

异构-获取列表（暂弃用）

SDK 方法名：listHeteroRule

URL

/hetero/rule

Method

GET

Request

名称	类型	必选	简介	Mock初始值	Mock规则
page	Number	否		1
limit	Number	否		10
search_field	String	否		kafka_name
search_value	String	否

Response

名称	类型	必选	简介	Mock初始值	Mock规则
ret	Number	否		200
msg	String	否
data	Object	否
message	String	否
code	Number	否		0
info_list	Array	否
name	String	否		测试kafka集群
dst_node	String	否		1
conn_type	String	否		2.0
broker	String	否		192.168.28.90:58080
kfk_ver	String	否		3.0
uuid	String	否		@uuid
is_biz_admin	Number	否		1
can_op	Number	否		1
can_up	Number	否		1
can_del	Number	否		1
broker_id	String	否		1