hdfs

SDK类名：/hdfs/Hdfs

大数据平台 - 总览

SDK方法名：hdfsSummary

URL

/hdfs/summary

Method

GET

Request

名称	类型	必选	简介	Mock初始值	Mock规则

Response

名称	类型	必选	简介	Mock初始值	Mock规则
ret	Number			200
msg	String
data	Object
summary	Object
platforms	Object
online	Number			@natural(1,9)
offline	Number			@natural(1,9)
maintain	Number			@natural(1,9)
rule	Object
scan	Number			@natural(1,9)
sync	Number			@natural(1,9)
stop	Number			@natural(1,9)
error	Number			@natural(1,9)
mirror	Number			@natural(1,9)
unknown	Number			@natural(1,9)
host	Object
memory_used_ratio	Number		同步主机当前堆总大小，单位byte	55
current_heap_usage	Number		同步主机当前堆使用量，单位byte	@natural(1,9999999)
max_heap_usage	Number		同步主机当前堆使用率: 当前堆大小/堆总大小 * 100得到	9999999999
rules	Array				10
rule_name	String			@first
rule_uuid	String			@guid
src_name	String			@name
tgt_name	String			@name
rule_type	String		规则类型： 0：hdfs； 1：hive；	@pick(0,1)
create_time	String			@natural(888888,999999)
status	String		SCAN：扫描； SYNC：同步； MIRROR：镜像； UNKNOWN：未知； START：开始； STOP：停止； PAUSE：暂停； ERROR：错误； COMPARING：比较中； COMPARE_COMPLETE：比较中； FINISH：完成；	@pick(["SCAN", "SYNC","MIRROR","UNKNOWN","PAUSE","ERROR","STOP","COMPARING","COMPARE_COMPLETE","FINISH"])
traffics	Array				15
date_time	String			2024-05-08 14:15:37
traffic	Number			123
start_time	Number			1715148937
speed	Number			1715148937
code	Number			0
message	String

------ 同步规则 ------

URL

/------ 同步规则 ------

Method

GET

Request

名称	类型	必选	简介	Mock初始值	Mock规则

Response

名称	类型	必选	简介	Mock初始值	Mock规则

hdfs同步 - 新建

SDK方法名：createHdfs;

URL

/hdfs

Method

POST

Request

名称	类型	必选	简介	Mock初始值	Mock规则
rule_name	String		规则名称
rule_type	Number		规则类型： 0：hdfs； 1：hive；	1
src_uuid	String		源平台uuid
tgt_uuid	String		目标平台uuid
src_path	Array		源平台路径； hdfs必传
dest_path	Array		目标平台路径； hdfs必传
filters	Array		过滤路径； 正则表达式； hdfs传
src_db	Array		源平台库； hive必填
dest_db	Array		目标平台库； hive必填
filter_tables	Array		过滤表； 正则表达式； hive传；
sync_type	Number		同步类型： 0：(全备+增量) 目前固定只有一种；	0
overwrite	Number		覆盖类型： 0：跳过； 1：覆盖；	0
band_width	String		带宽控制，格式：303:00-14:002m,202:00-15:0080m（block也有）
path_mapping_items	Array		自定义路径映射
src_path	String		自定义路径映射-源路径
dest_path	String		自定义路径映射-目标路径
retry_count	Number		重试次数	3
time_interval	Number		增量阶段轮询时间（秒）
batch_count	Number		获取一批次事件数（hive选项）
alarm_threshold	Number		差异过大告警阈值（hive选项）

Response

名称	类型	必选	简介	Mock初始值	Mock规则
ret	Number			200
msg	String
data	Object
code	Number			0
message	String

hdfs同步 - 修改

SDK方法名：modifyHdfs;

URL

/hdfs/:uuid([A-F0-9-]+)

Method

PUT

Request

名称	类型	必选	简介	Mock初始值	Mock规则
rule_name	String
rule_type	Number			1
src_uuid	String
tgt_uuid	String
src_path	Array
dest_path	Array
filters	Array
src_db	Array
dest_db	Array
filter_tables	Array
sync_type	Number			0
overwrite	Number			0
band_width	String
path_mapping_items	Array
src_path	String
dest_path	String
random_str	String
retry_count	Number
time_interval	Number
batch_count	Number
alarm_threshold	Number

Response

名称	类型	必选	简介	Mock初始值	Mock规则
ret	Number			200
msg	String
data	Object
code	Number			0
message	String

hdfs同步 - 列表

SDK方法名：listHdfs;

URL

/hdfs

Method

GET

Request

名称	类型	必选	简介	Mock初始值	Mock规则
page	Number			1
limit	Number			15
search_field	String			''
search_value	String			''
filter	Object		过滤器
and_or	String		0：与； 1：或；
rules	Array
key	String		过滤字段
operator	String		比较符号，包含： = > < >= <= != like not_like
value	String		过滤值

Response

名称	类型	必选	简介	Mock初始值	Mock规则
msg	String
ret	Number			200
data	Object
count	Number			10
info_list	Array
rule_uuid	String		规则uuid	@uuid
rule_name	String		规则名称
rule_type	Number		规则类型	0
src_uuid	String		源平台uuid
src_name	String		源平台名称
tgt_uuid	String		目标平台uuid
tgt_name	String		目标平台名称
src_path	Array		源路径
dest_path	Array		目标路径
filters	Array		排除路径（正则表达式）
src_db	Array		源库
dest_db	Array		目标库
filter_tables	Array		排除表（正则表达式）
sync_type	Number		同步类型： 0：(全备+增量) 目前固定只有一种；	0
overwrite	Number		覆盖类型： 0：跳过； 1：覆盖；	0
total	Number			100
code	Number			0
message	String

hdfs同步 - 获取单个

SDK方法名：describeHdfs;

URL

/hdfs/:uuid([A-F0-9-]+)

Method

GET

Request

名称	类型	必选	简介	Mock初始值	Mock规则

Response

名称	类型	必选	简介	Mock初始值	Mock规则
ret	Number			200
msg	String
data	Object
message	String
hdfs	Object
rule_uuid	String		规则uuid
rule_name	String		规则名称
rule_type	Number		规则类型	0
src_uuid	String		源平台uuid
tgt_uuid	String		目标平台uuid
src_path	Array		源路径
dest_path	Array		目标路径
filters	Array		排除路径
src_db	Array		源库
dest_db	Array		目标库
filter_tables	Array		排除表
random_str	String		随机字符串
sync_type	Number		同步类型： 0：(全备+增量) 目前固定只有一种；	0
overwrite	Number		覆盖类型： 0：跳过； 1：覆盖；	0
retry_count	Number
time_interval	Number
batch_count	Number
alarm_threshold	Number
code	Number			0

hdfs同步 - 删除

SDK方法名：deleteHdfs;

URL

/hdfs

Method

DELETE

Request

名称	类型	必选	简介	Mock初始值	Mock规则
uuids	Array
force	Number		强制删除	0

Response

名称	类型	必选	简介	Mock初始值	Mock规则
msg	String
ret	Number			200
data	Object
code	Number			11110001
message	String
fail_list	Array
code	Number			11110001
message	String			[-1] 找不到节点
rule_uuid	String			@uuid
rule_name	String			@name
success_list	Array
code	Number			11110001
message	String			[0] success
rule_uuid	String			@uuid
rule_name	String			@name

hdfs同步 - 操作

SDK方法名：{operate}Hdfs

URL

/hdfs/operate

Method

POST

Request

名称	类型	必选	简介	Mock初始值	Mock规则
rule_uuids	Array		规则uuids
operate	String		操作： start：启动； stop：停止；

Response

名称	类型	必选	简介	Mock初始值	Mock规则
ret	Number			200
msg	String
data	Object
message	String
code	Number			0
success_list	Array
code	String			0
message	String			dsaf
rule_uuid	String			aaa
rule_name	String			adsf
fail_list	Array
code	String			fasfd
message	String			asfda
rule_uuid	String			fads
rule_name	String			fssa

hdfs同步 - 获取状态

SDK方法名：listHdfsStatus;

URL

/hdfs/status

Method

GET

Request

名称	类型	必选	简介	Mock初始值	Mock规则
rule_uuids	Array
force_refresh	Number		点击操作栏刷新按钮必传，下发1，表示从rpc获取；其他情况不传

Response

名称	类型	必选	简介	Mock初始值	Mock规则
msg	String
ret	Number			200
data	Object
count	String			1
message	String
code	Number			0
status	Array
rule_uuid	String			@guid
status	String		SCAN：扫描； SYNC：同步； MIRROR：镜像； UNKNOWN：未知； START：开始； STOP：停止； PAUSE：暂停； ERROR：错误； COMPARING：比较中； COMPARE_COMPLETE：比较中； FINISH：完成；
source_scan_count	String		源端读取文件总数
source_scan_size	String		源端读取文件总字节
dest_write_count	String		目标端写入文件总数
dest_write_size	String		目标端写入文件总字节
skip_count	String		相同文件总数
skip_size	String		相同文件总字节
transferred_count	String		已传输文件数
transferred_size	String		已传输文件字节
current_heap_usage	Number		同步主机当前堆使用量，单位byte
max_heap_usage	Number		同步主机当前堆总大小，单位byte
memory_used_ratio	Number		同步主机当前堆使用率: 当前堆大小/堆总大小 * 100得到

------ 差异比较 ------

URL

/------ 差异比较 ------

Method

GET

Request

名称	类型	必选	简介	Mock初始值	Mock规则

Response

名称	类型	必选	简介	Mock初始值	Mock规则

hdfs差异比较 - 新建

SDK方法名：createHdfsCompare;

URL

/hdfs_compare

Method

POST

Request

名称	类型	必选	简介	Mock初始值	Mock规则
rule_name	String		规则名称
rule_type	Number		规则类型： 2：hdfs差异比较； 3：hive差异比较；	2
src_uuid	String		源平台uuid
tgt_uuid	String		目标平台uuid
src_path	Array		源平台路径； hdfs必传
dest_path	Array		目标平台路径； hdfs必传
filters	Array		过滤路径； 正则表达式； hdfs传
src_db	Array		源平台库； hive必填
dest_db	Array		目标平台库； hive必填
filter_tables	Array		过滤表； 正则表达式； hive传；
path_mapping_items	Array		自定义路径映射
src_path	String		自定义路径映射-源路径
dest_path	String		自定义路径映射-目标路径
cmp_type	Number		比较策略： 0：简易对比； 1：严格对比	1

Response

名称	类型	必选	简介	Mock初始值	Mock规则
ret	Number			200
data	Object
code	Number			0
message	String
msg	String

hdfs差异比较 - 修改

SDK方法名：modifyHdfsCompare;

URL

/hdfs_compare/:uuid([A-F0-9-]+)

Method

PUT

Request

名称	类型	必选	简介	Mock初始值	Mock规则
rule_name	String
rule_type	Number			2
src_uuid	String
tgt_uuid	String
src_path	Array
dest_path	Array
filters	Array
src_db	Array
dest_db	Array
filter_tables	Array
path_mapping_items	Array
src_path	String
dest_path	String
cmp_type	Number			1

Response

名称	类型	必选	简介	Mock初始值	Mock规则
ret	Number			200
msg	String
data	Object
code	Number			0
message	String

hdfs差异比较 - 列表

SDK方法名：listHdfsCompare;

URL

/hdfs_compare

Method

GET

Request

名称	类型	必选	简介	Mock初始值	Mock规则
search_value	String			''
search_field	String			''
limit	Number			15
page	Number			1

Response

名称	类型	必选	简介	Mock初始值	Mock规则
msg	String
ret	Number			200
data	Object
count	Number			10
info_list	Array				2-4
rule_uuid	String			@uuid
rule_name	String			@first
rule_type	Number			0
src_uuid	String			@uuid
src_name	String			src-@word
tgt_uuid	String			@uuid
tgt_name	String			tgt-@word
src_path	Array
dest_path	Array
filters	Array
src_db	Array
dest_db	Array
filter_tables	Array
cmp_type	Number				0-1
can_del	Number				0-1
can_op	Number				0-1
can_up	Number				0-1
is_biz_admin	Number				0-1
history_uuid	String		最新比较结果uuid，用于在列表页直接查看结果	@uuid
total	Number			100
code	Number			0
message	String

hdfs差异比较 - 获取单个

SDK方法名：describeHdfsCompare;

URL

/hdfs_compare/:uuid([A-F0-9-]+)

Method

GET

Request

名称	类型	必选	简介	Mock初始值	Mock规则

Response

名称	类型	必选	简介	Mock初始值	Mock规则
ret	Number			200
msg	String
data	Object
message	String
hdfs_compare	Object
rule_uuid	String
rule_name	String
rule_type	Number			0
random_str	String
src_uuid	String
tgt_uuid	String
src_path	Array
dest_path	Array
filters	Array
src_db	Array
dest_db	Array
filter_tables	Array
cmp_type	Number			1
code	Number			0

hdfs差异比较 - 删除

SDK方法名：deleteHdfsCompare;

URL

/hdfs_compare

Method

DELETE

Request

名称	类型	必选	简介	Mock初始值	Mock规则
uuids	Array
force	Number		强制删除	0

Response

名称	类型	必选	简介	Mock初始值	Mock规则
msg	String
data	Object
code	Number			11110001
message	String
fail_list	Array
code	Number			11110001
message	String			[-1] 找不到节点
rule_uuid	String			@uuid
rule_name	String			@name
success_list	Array
code	Number			11110001
message	String			[0] success
rule_uuid	String			@uuid
rule_name	String			@name
ret	Number			200

hdfs差异比较 - 操作

SDK方法名：{operate}HdfsCompare;

URL

/hdfs_compare/operate

Method

POST

Request

名称	类型	必选	简介	Mock初始值	Mock规则
rule_uuids	Array	是	规则uuids
operate	String		操作： start：启动； stop：停止；

Response

名称	类型	必选	简介	Mock初始值	Mock规则
ret	Number			200
msg	String
data	Object
message	String
code	Number			0
success_list	Array
rule_uuid	String			aaa
code	String			0
message	String			dsaf
rule_name	String			adsf
fail_list	Array
rule_uuid	String			fads
code	String			fasfd
message	String			asfda
rule_name	String			fssa

hdfs差异比较 - 获取状态

SDK方法名：listHdfsCompareStatus;

URL

/hdfs_compare/status

Method

GET

Request

名称	类型	必选	简介	Mock初始值	Mock规则
rule_uuids	Array
force_refresh	Number		点击操作栏刷新按钮必传，下发1，表示从rpc获取；其他情况不传

Response

名称	类型	必选	简介	Mock初始值	Mock规则
msg	String
ret	Number			200
data	Object
count	String			1
message	String
code	Number			0
status	Array
status	String
rule_uuid	String			@guid
history_uuid	String		最新比较结果UUID
source_scan_count	String
source_scan_size	String
dest_write_count	String
dest_write_size	String
skip_count	String
skip_size	String
transferred_count	String
transferred_size	String

差异比较 - 获取历史记录列表

SDK方法名：listHdfsCompareHistory;

URL

/hdfs_compare/list_compare_history

Method

GET

Request

名称	类型	必选	简介	Mock初始值	Mock规则
page	Number		分页页数
limit	Number		分页条数
rule_uuid	String		差异比较规则uuid
search_field	String		rule_name
search_value	String

Response

名称	类型	必选	简介	Mock初始值	Mock规则
msg	String
ret	Number			200
data	Object
total	Number			10
info_list	Array				2-4
uuid	String		历史比较结果uuid	@uuid
rule_uuid	String		差异比较规则uuid	@uuid
rule_name	String		名称	rule-@first
rule_type	Number		类型： 2：hdfs比较 3：hive比较；		2-3
status	String		状态： COMPARING：比较中； FINISH：完成；	@pick(COMPARING, FINISH)
src_uuid	String		源平台uuid	@uuid
src_name	String		源平台名称	src-@word
tgt_uuid	String		目标平台uuid	@uuid
tgt_name	String		目标平台名称	tgt-@word
start_time	Number		开始时间		170201676-1702016761
end_time	Number		结束时间		1702016761-1702916761
user_uuid	String		用户uuid	@uuid
username	String		用户名	@name
rule	Array
code	Number			0
message	String			[0] success

差异比较 - 获取单个历史记录详情

SDK方法名：describeHdfsCompareHistory;

URL

/hdfs_compare/:uuid([A-F0-9-]+)/compare_history

Method

GET

Request

名称	类型	必选	简介	Mock初始值	Mock规则

Response

名称	类型	必选	简介	Mock初始值	Mock规则
ret	Number			200
msg	String
data	Object
message	String
compare_history	Object
uuid	String		比较结果uuid
rule_uuid	String		差异比较规则uuid
rule_name	String		名称
rule_type	Number		类型： 2：hdfs比较 3：hive比较；	1
status	String		状态： COMPARING：比较中； FINISH：完成；
src_uuid	String		源平台uuid
tgt_uuid	String		目标平台uuid
start_time	Number		开始时间	@int(1, 1000000000)
end_time	Number		结束时间	@int(1000000000, 10000000000)
user_uuid	String		用户名
total_num	String		对比总数
diff_num	String		差异数
rule	Object		差异比较规则历史配置信息
create_time	Number		创建时间
code	Number			0

差异比较 - 删除比较结果历史记录

SDK方法名：deleteHdfsCompareHistory;

URL

/hdfs_compare/compare_history

Method

DELETE

Request

名称	类型	必选	简介	Mock初始值	Mock规则
uuids[]	Array	是	比较结果uuid

Response

名称	类型	必选	简介	Mock初始值	Mock规则
msg	String
ret	Number			200
data	Object
code	Number			11110001
message	String
fail_list	Array
code	Number			11110001
message	String			[-1] 找不到节点
uuid	String
rule_uuid	String			@uuid
rule_name	String			@name
success_list	Array
code	Number			11110001
message	String			[0] success
uuid	String
rule_uuid	String			@uuid
rule_name	String			@name

差异比较 - 获取比较结果列表

SDK方法名：listHdfsCompareResult;

URL

/hdfs_compare/list_compare_result

Method

GET

Request

名称	类型	必选	简介	Mock初始值	Mock规则
page	Number		分页页数
limit	Number
uuid	String		历史比较结果uuid
search_field	String		过滤项diff_name
search_value	String
order_by	String		排序字段	diff_name
direction	String		排序顺序： asc：正序； desc：倒序；	asc

Response

名称	类型	必选	简介	Mock初始值	Mock规则
msg	String
ret	Number			200
data	Object
code	Number			0
message	String			success
info_list	Array				1-4
uuid	String		历史比较结果uuid	@uuid
diff_name	String		源端名称	@word
src_type	String		源端类型： FILE：文件； DIRECTORY：目录； NORMAL_TBL：普通标； PART_TBL：分区表；	NORMAL_TBL
diff_type	String		差异类型： SAME：相同； DIFFERENT：不同；	SAME
existence_state	String		存在状态： LESS：仅源端存在； ALL_EXIST：均存在； SURPLUS：仅目标端存在；	LESS
total	Number			1

差异比较 - 获取比较结果详情列表

SDK方法名：listHdfsCompareResultDetail;

URL

/hdfs_compare/list_compare_result_detail

Method

GET

Request

名称	类型	必选	简介	Mock初始值	Mock规则
page	Number		分页页数
limit	Number		分页条数
uuid	String		历史比较结果uuid
diff_name	String		比较结果源端名称

Response

名称	类型	必选	简介	Mock初始值	Mock规则
msg	String
ret	Number			200
data	Object
code	Number			0
message	String
info_list	Array				4-20
uuid	String		比较结果uuid	@uuid
diff_name	String		源端名称	@first
diff_item	String		比较项	item-@word
src_value	String		源端值	src-@word
tgt_value	String		目标端值	tgt-@word
total	Number			1