hdfs
February 26, 2024About 13 min
hdfs
SDK类名:/hdfs/Hdfs
------ 同步规则 ------
URL
/------ 同步规则 ------
Method
GET
Request
名称 | 类型 | 必选 | 简介 | Mock初始值 | Mock规则 |
---|
Response
名称 | 类型 | 必选 | 简介 | Mock初始值 | Mock规则 |
---|
hdfs同步 - 新建
SDK方法名:createHdfs;
URL
/hdfs
Method
POST
Request
名称 | 类型 | 必选 | 简介 | Mock初始值 | Mock规则 |
---|---|---|---|---|---|
rule_name | String | 规则名称 | |||
rule_type | Number | 规则类型: 0:hdfs; 1:hive; | 1 | ||
src_uuid | String | 源平台uuid | |||
tgt_uuid | String | 目标平台uuid | |||
src_path | Array | 源平台路径; hdfs必传 | |||
dest_path | Array | 目标平台路径; hdfs必传 | |||
filters | Array | 过滤路径; 正则表达式; hdfs传 | |||
src_db | Array | 源平台库; hive必填 | |||
dest_db | Array | 目标平台库; hive必填 | |||
filter_tables | Array | 过滤表; 正则表达式; hive传; | |||
sync_type | Number | 同步类型: 0:(全备+增量) 目前固定只有一种; | 0 | ||
overwrite | Number | 覆盖类型: 0:跳过; 1:覆盖; | 0 | ||
band_width | String | 带宽控制,格式:303:00-14:002m,202:00-15:0080m(block也有) | |||
path_mapping_items | Array | 自定义路径映射 | |||
src_path | String | 自定义路径映射-源路径 | |||
dest_path | String | 自定义路径映射-目标路径 | |||
retry_count | Number | 重试次数 | 3 | ||
time_interval | Number | 增量阶段轮询时间(秒) | |||
batch_count | Number | 获取一批次事件数(hive选项) | |||
alarm_threshold | Number | 差异过大告警阈值(hive选项) |
Response
名称 | 类型 | 必选 | 简介 | Mock初始值 | Mock规则 |
---|---|---|---|---|---|
ret | Number | 200 | |||
msg | String | ||||
data | Object | ||||
code | Number | 0 | |||
message | String |
hdfs同步 - 修改
SDK方法名:modifyHdfs;
URL
/hdfs/:uuid([A-F0-9-]+)
Method
PUT
Request
名称 | 类型 | 必选 | 简介 | Mock初始值 | Mock规则 |
---|---|---|---|---|---|
rule_name | String | ||||
rule_type | Number | 1 | |||
src_uuid | String | ||||
tgt_uuid | String | ||||
src_path | Array | ||||
dest_path | Array | ||||
filters | Array | ||||
src_db | Array | ||||
dest_db | Array | ||||
filter_tables | Array | ||||
sync_type | Number | 0 | |||
overwrite | Number | 0 | |||
band_width | String | ||||
path_mapping_items | Array | ||||
src_path | String | ||||
dest_path | String | ||||
random_str | String | ||||
retry_count | Number | ||||
time_interval | Number | ||||
batch_count | Number | ||||
alarm_threshold | Number |
Response
名称 | 类型 | 必选 | 简介 | Mock初始值 | Mock规则 |
---|---|---|---|---|---|
ret | Number | 200 | |||
msg | String | ||||
data | Object | ||||
code | Number | 0 | |||
message | String |
hdfs同步 - 列表
SDK方法名:listHdfs;
URL
/hdfs
Method
GET
Request
名称 | 类型 | 必选 | 简介 | Mock初始值 | Mock规则 |
---|---|---|---|---|---|
page | Number | 1 | |||
limit | Number | 15 | |||
search_field | String | '' | |||
search_value | String | '' |
Response
名称 | 类型 | 必选 | 简介 | Mock初始值 | Mock规则 |
---|---|---|---|---|---|
msg | String | ||||
ret | Number | 200 | |||
data | Object | ||||
count | Number | 10 | |||
info_list | Array | ||||
rule_uuid | String | 规则uuid | @uuid | ||
rule_name | String | 规则名称 | |||
rule_type | Number | 规则类型 | 0 | ||
src_uuid | String | 源平台uuid | |||
src_name | String | 源平台名称 | |||
tgt_uuid | String | 目标平台uuid | |||
tgt_name | String | 目标平台名称 | |||
src_path | Array | 源路径 | |||
dest_path | Array | 目标路径 | |||
filters | Array | 排除路径(正则表达式) | |||
src_db | Array | 源库 | |||
dest_db | Array | 目标库 | |||
filter_tables | Array | 排除表(正则表达式) | |||
sync_type | Number | 同步类型: 0:(全备+增量) 目前固定只有一种; | 0 | ||
overwrite | Number | 覆盖类型: 0:跳过; 1:覆盖; | 0 | ||
total | Number | 100 | |||
code | Number | 0 | |||
message | String |
hdfs同步 - 获取单个
SDK方法名:describeHdfs;
URL
/hdfs/:uuid([A-F0-9-]+)
Method
GET
Request
名称 | 类型 | 必选 | 简介 | Mock初始值 | Mock规则 |
---|
Response
名称 | 类型 | 必选 | 简介 | Mock初始值 | Mock规则 |
---|---|---|---|---|---|
ret | Number | 200 | |||
msg | String | ||||
data | Object | ||||
message | String | ||||
hdfs | Object | ||||
rule_uuid | String | 规则uuid | |||
rule_name | String | 规则名称 | |||
rule_type | Number | 规则类型 | 0 | ||
src_uuid | String | 源平台uuid | |||
tgt_uuid | String | 目标平台uuid | |||
src_path | Array | 源路径 | |||
dest_path | Array | 目标路径 | |||
filters | Array | 排除路径 | |||
src_db | Array | 源库 | |||
dest_db | Array | 目标库 | |||
filter_tables | Array | 排除表 | |||
random_str | String | 随机字符串 | |||
sync_type | Number | 同步类型: 0:(全备+增量) 目前固定只有一种; | 0 | ||
overwrite | Number | 覆盖类型: 0:跳过; 1:覆盖; | 0 | ||
retry_count | Number | ||||
time_interval | Number | ||||
batch_count | Number | ||||
alarm_threshold | Number | ||||
code | Number | 0 |
hdfs同步 - 删除
SDK方法名:deleteHdfs;
URL
/hdfs
Method
DELETE
Request
名称 | 类型 | 必选 | 简介 | Mock初始值 | Mock规则 |
---|---|---|---|---|---|
uuids | Array | ||||
force | Number | 强制删除 | 0 |
Response
名称 | 类型 | 必选 | 简介 | Mock初始值 | Mock规则 |
---|---|---|---|---|---|
msg | String | ||||
ret | Number | 200 | |||
data | Object | ||||
code | Number | 11110001 | |||
message | String | ||||
fail_list | Array | ||||
code | Number | 11110001 | |||
message | String | [-1] 找不到节点 | |||
rule_uuid | String | @uuid | |||
rule_name | String | @name | |||
success_list | Array | ||||
code | Number | 11110001 | |||
message | String | [0] success | |||
rule_uuid | String | @uuid | |||
rule_name | String | @name |
hdfs同步 - 操作
SDK方法名:{operate}Hdfs
URL
/hdfs/operate
Method
POST
Request
名称 | 类型 | 必选 | 简介 | Mock初始值 | Mock规则 |
---|---|---|---|---|---|
rule_uuids | Array | 规则uuids | |||
operate | String | 操作: start:启动; stop:停止; |
Response
名称 | 类型 | 必选 | 简介 | Mock初始值 | Mock规则 |
---|---|---|---|---|---|
ret | Number | 200 | |||
msg | String | ||||
data | Object | ||||
message | String | ||||
code | Number | 0 | |||
success_list | Array | ||||
code | String | 0 | |||
message | String | dsaf | |||
rule_uuid | String | aaa | |||
rule_name | String | adsf | |||
fail_list | Array | ||||
code | String | fasfd | |||
message | String | asfda | |||
rule_uuid | String | fads | |||
rule_name | String | fssa |
hdfs同步 - 获取状态
SDK方法名:listHdfsStatus;
URL
/hdfs/status
Method
GET
Request
名称 | 类型 | 必选 | 简介 | Mock初始值 | Mock规则 |
---|---|---|---|---|---|
rule_uuids | Array | ||||
force_refresh | Number | 点击操作栏刷新按钮必传,下发1,表示从rpc获取;其他情况不传 |
Response
名称 | 类型 | 必选 | 简介 | Mock初始值 | Mock规则 |
---|---|---|---|---|---|
msg | String | ||||
ret | Number | 200 | |||
data | Object | ||||
count | String | 1 | |||
message | String | ||||
code | Number | 0 | |||
status | Array | ||||
rule_uuid | String | @guid | |||
status | String | SCAN:扫描; SYNC:同步; MIRROR:镜像; UNKNOWN:未知; START:开始; STOP:停止; PAUSE:暂停; ERROR:错误; COMPARING:比较中; COMPARE_COMPLETE:比较中; FINISH:完成; | |||
source_scan_count | String | 源端读取文件总数 | |||
source_scan_size | String | 源端读取文件总字节 | |||
dest_write_count | String | 目标端写入文件总数 | |||
dest_write_size | String | 目标端写入文件总字节 | |||
skip_count | String | 相同文件总数 | |||
skip_size | String | 相同文件总字节 | |||
transferred_count | String | 已传输文件数 | |||
transferred_size | String | 已传输文件字节 | |||
current_heap_usage | Number | 同步主机当前堆使用量,单位byte | |||
max_heap_usage | Number | 同步主机当前堆总大小,单位byte | |||
memory_used_ratio | Number | 同步主机当前堆使用率: 当前堆大小/堆总大小 * 100得到 |
------ 差异比较 ------
URL
/------ 差异比较 ------
Method
GET
Request
名称 | 类型 | 必选 | 简介 | Mock初始值 | Mock规则 |
---|
Response
名称 | 类型 | 必选 | 简介 | Mock初始值 | Mock规则 |
---|
hdfs差异比较 - 新建
SDK方法名:createHdfsCompare;
URL
/hdfs_compare
Method
POST
Request
名称 | 类型 | 必选 | 简介 | Mock初始值 | Mock规则 |
---|---|---|---|---|---|
rule_name | String | 规则名称 | |||
rule_type | Number | 规则类型: 2:hdfs差异比较; 3:hive差异比较; | 2 | ||
src_uuid | String | 源平台uuid | |||
tgt_uuid | String | 目标平台uuid | |||
src_path | Array | 源平台路径; hdfs必传 | |||
dest_path | Array | 目标平台路径; hdfs必传 | |||
filters | Array | 过滤路径; 正则表达式; hdfs传 | |||
src_db | Array | 源平台库; hive必填 | |||
dest_db | Array | 目标平台库; hive必填 | |||
filter_tables | Array | 过滤表; 正则表达式; hive传; | |||
path_mapping_items | Array | 自定义路径映射 | |||
src_path | String | 自定义路径映射-源路径 | |||
dest_path | String | 自定义路径映射-目标路径 | |||
cmp_type | Number | 比较策略: 0:简易对比; 1:严格对比 | 1 |
Response
名称 | 类型 | 必选 | 简介 | Mock初始值 | Mock规则 |
---|---|---|---|---|---|
ret | Number | 200 | |||
data | Object | ||||
code | Number | 0 | |||
message | String | ||||
msg | String |
hdfs差异比较 - 修改
SDK方法名:modifyHdfsCompare;
URL
/hdfs_compare/:uuid([A-F0-9-]+)
Method
PUT
Request
名称 | 类型 | 必选 | 简介 | Mock初始值 | Mock规则 |
---|---|---|---|---|---|
rule_name | String | ||||
rule_type | Number | 2 | |||
src_uuid | String | ||||
tgt_uuid | String | ||||
src_path | Array | ||||
dest_path | Array | ||||
filters | Array | ||||
src_db | Array | ||||
dest_db | Array | ||||
filter_tables | Array | ||||
path_mapping_items | Array | ||||
src_path | String | ||||
dest_path | String | ||||
cmp_type | Number | 1 |
Response
名称 | 类型 | 必选 | 简介 | Mock初始值 | Mock规则 |
---|---|---|---|---|---|
ret | Number | 200 | |||
msg | String | ||||
data | Object | ||||
code | Number | 0 | |||
message | String |
hdfs差异比较 - 列表
SDK方法名:listHdfsCompare;
URL
/hdfs_compare
Method
GET
Request
名称 | 类型 | 必选 | 简介 | Mock初始值 | Mock规则 |
---|---|---|---|---|---|
search_value | String | '' | |||
search_field | String | '' | |||
limit | Number | 15 | |||
page | Number | 1 |
Response
名称 | 类型 | 必选 | 简介 | Mock初始值 | Mock规则 |
---|---|---|---|---|---|
msg | String | ||||
ret | Number | 200 | |||
data | Object | ||||
count | Number | 10 | |||
info_list | Array | 2-4 | |||
rule_uuid | String | @uuid | |||
rule_name | String | @first | |||
rule_type | Number | 0 | |||
src_uuid | String | @uuid | |||
src_name | String | src-@word | |||
tgt_uuid | String | @uuid | |||
tgt_name | String | tgt-@word | |||
src_path | Array | ||||
dest_path | Array | ||||
filters | Array | ||||
src_db | Array | ||||
dest_db | Array | ||||
filter_tables | Array | ||||
cmp_type | Number | 0-1 | |||
can_del | Number | 0-1 | |||
can_op | Number | 0-1 | |||
can_up | Number | 0-1 | |||
is_biz_admin | Number | 0-1 | |||
history_uuid | String | 最新比较结果uuid,用于在列表页直接查看结果 | @uuid | ||
total | Number | 100 | |||
code | Number | 0 | |||
message | String |
hdfs差异比较 - 获取单个
SDK方法名:describeHdfsCompare;
URL
/hdfs_compare/:uuid([A-F0-9-]+)
Method
GET
Request
名称 | 类型 | 必选 | 简介 | Mock初始值 | Mock规则 |
---|
Response
名称 | 类型 | 必选 | 简介 | Mock初始值 | Mock规则 |
---|---|---|---|---|---|
ret | Number | 200 | |||
msg | String | ||||
data | Object | ||||
message | String | ||||
hdfs_compare | Object | ||||
rule_uuid | String | ||||
rule_name | String | ||||
rule_type | Number | 0 | |||
random_str | String | ||||
src_uuid | String | ||||
tgt_uuid | String | ||||
src_path | Array | ||||
dest_path | Array | ||||
filters | Array | ||||
src_db | Array | ||||
dest_db | Array | ||||
filter_tables | Array | ||||
cmp_type | Number | 1 | |||
code | Number | 0 |
hdfs差异比较 - 删除
SDK方法名:deleteHdfsCompare;
URL
/hdfs_compare
Method
DELETE
Request
名称 | 类型 | 必选 | 简介 | Mock初始值 | Mock规则 |
---|---|---|---|---|---|
uuids | Array | ||||
force | Number | 强制删除 | 0 |
Response
名称 | 类型 | 必选 | 简介 | Mock初始值 | Mock规则 |
---|---|---|---|---|---|
msg | String | ||||
data | Object | ||||
code | Number | 11110001 | |||
message | String | ||||
fail_list | Array | ||||
code | Number | 11110001 | |||
message | String | [-1] 找不到节点 | |||
rule_uuid | String | @uuid | |||
rule_name | String | @name | |||
success_list | Array | ||||
code | Number | 11110001 | |||
message | String | [0] success | |||
rule_uuid | String | @uuid | |||
rule_name | String | @name | |||
ret | Number | 200 |
hdfs差异比较 - 操作
SDK方法名:{operate}HdfsCompare;
URL
/hdfs_compare/operate
Method
POST
Request
名称 | 类型 | 必选 | 简介 | Mock初始值 | Mock规则 |
---|---|---|---|---|---|
rule_uuids | Array | 是 | 规则uuids | ||
operate | String | 操作: start:启动; stop:停止; |
Response
名称 | 类型 | 必选 | 简介 | Mock初始值 | Mock规则 |
---|---|---|---|---|---|
ret | Number | 200 | |||
msg | String | ||||
data | Object | ||||
message | String | ||||
code | Number | 0 | |||
success_list | Array | ||||
rule_uuid | String | aaa | |||
code | String | 0 | |||
message | String | dsaf | |||
rule_name | String | adsf | |||
fail_list | Array | ||||
rule_uuid | String | fads | |||
code | String | fasfd | |||
message | String | asfda | |||
rule_name | String | fssa |
hdfs差异比较 - 获取状态
SDK方法名:listHdfsCompareStatus;
URL
/hdfs_compare/status
Method
GET
Request
名称 | 类型 | 必选 | 简介 | Mock初始值 | Mock规则 |
---|---|---|---|---|---|
rule_uuids | Array | ||||
force_refresh | Number | 点击操作栏刷新按钮必传,下发1,表示从rpc获取;其他情况不传 |
Response
名称 | 类型 | 必选 | 简介 | Mock初始值 | Mock规则 |
---|---|---|---|---|---|
msg | String | ||||
ret | Number | 200 | |||
data | Object | ||||
count | String | 1 | |||
message | String | ||||
code | Number | 0 | |||
status | Array | ||||
status | String | ||||
rule_uuid | String | @guid | |||
source_scan_count | String | ||||
source_scan_size | String | ||||
dest_write_count | String | ||||
dest_write_size | String | ||||
skip_count | String | ||||
skip_size | String | ||||
transferred_count | String | ||||
transferred_size | String |
差异比较 - 获取历史记录列表
SDK方法名:listHdfsCompareHistory;
URL
/hdfs_compare/list_compare_history
Method
GET
Request
名称 | 类型 | 必选 | 简介 | Mock初始值 | Mock规则 |
---|---|---|---|---|---|
page | Number | 分页页数 | |||
limit | Number | 分页条数 | |||
rule_uuid | String | 差异比较规则uuid | |||
search_field | String | rule_name | |||
search_value | String |
Response
名称 | 类型 | 必选 | 简介 | Mock初始值 | Mock规则 |
---|---|---|---|---|---|
msg | String | ||||
ret | Number | 200 | |||
data | Object | ||||
total | Number | 10 | |||
info_list | Array | 2-4 | |||
uuid | String | 历史比较结果uuid | @uuid | ||
rule_uuid | String | 差异比较规则uuid | @uuid | ||
rule_name | String | 名称 | rule-@first | ||
rule_type | Number | 类型: 2:hdfs比较 3:hive比较; | 2-3 | ||
status | String | 状态: COMPARING:比较中; FINISH:完成; | @pick(COMPARING, FINISH) | ||
src_uuid | String | 源平台uuid | @uuid | ||
src_name | String | 源平台名称 | src-@word | ||
tgt_uuid | String | 目标平台uuid | @uuid | ||
tgt_name | String | 目标平台名称 | tgt-@word | ||
start_time | Number | 开始时间 | 170201676-1702016761 | ||
end_time | Number | 结束时间 | 1702016761-1702916761 | ||
user_uuid | String | 用户uuid | @uuid | ||
username | String | 用户名 | @name | ||
rule | Array | ||||
code | Number | 0 | |||
message | String | [0] success |
差异比较 - 获取单个历史记录详情
SDK方法名:describeHdfsCompareHistory;
URL
/hdfs_compare/:uuid([A-F0-9-]+)/compare_history
Method
GET
Request
名称 | 类型 | 必选 | 简介 | Mock初始值 | Mock规则 |
---|
Response
名称 | 类型 | 必选 | 简介 | Mock初始值 | Mock规则 |
---|---|---|---|---|---|
ret | Number | 200 | |||
msg | String | ||||
data | Object | ||||
message | String | ||||
compare_history | Object | ||||
uuid | String | 比较结果uuid | |||
rule_uuid | String | 差异比较规则uuid | |||
rule_name | String | 名称 | |||
rule_type | Number | 类型: 2:hdfs比较 3:hive比较; | 1 | ||
status | String | 状态: COMPARING:比较中; FINISH:完成; | |||
src_uuid | String | 源平台uuid | |||
tgt_uuid | String | 目标平台uuid | |||
start_time | Number | 开始时间 | @int(1, 1000000000) | ||
end_time | Number | 结束时间 | @int(1000000000, 10000000000) | ||
user_uuid | String | 用户名 | |||
total_num | String | 对比总数 | |||
diff_num | String | 差异数 | |||
rule | Object | 差异比较规则历史配置信息 | |||
create_time | Number | 创建时间 | |||
code | Number | 0 |
差异比较 - 删除比较结果历史记录
SDK方法名:deleteHdfsCompareHistory;
URL
/hdfs_compare/compare_history
Method
DELETE
Request
名称 | 类型 | 必选 | 简介 | Mock初始值 | Mock规则 |
---|---|---|---|---|---|
uuids[] | Array | 是 | 比较结果uuid |
Response
名称 | 类型 | 必选 | 简介 | Mock初始值 | Mock规则 |
---|---|---|---|---|---|
msg | String | ||||
ret | Number | 200 | |||
data | Object | ||||
code | Number | 11110001 | |||
message | String | ||||
fail_list | Array | ||||
code | Number | 11110001 | |||
message | String | [-1] 找不到节点 | |||
uuid | String | ||||
rule_uuid | String | @uuid | |||
rule_name | String | @name | |||
success_list | Array | ||||
code | Number | 11110001 | |||
message | String | [0] success | |||
uuid | String | ||||
rule_uuid | String | @uuid | |||
rule_name | String | @name |
差异比较 - 获取比较结果列表
SDK方法名:listHdfsCompareResult;
URL
/hdfs_compare/list_compare_result
Method
GET
Request
名称 | 类型 | 必选 | 简介 | Mock初始值 | Mock规则 |
---|---|---|---|---|---|
page | Number | 分页页数 | |||
limit | Number | ||||
uuid | String | 历史比较结果uuid | |||
search_field | String | 过滤项diff_name | |||
search_value | String |
Response
名称 | 类型 | 必选 | 简介 | Mock初始值 | Mock规则 |
---|---|---|---|---|---|
msg | String | ||||
ret | Number | 200 | |||
data | Object | ||||
code | Number | 0 | |||
message | String | success | |||
info_list | Array | 1-4 | |||
uuid | String | 历史比较结果uuid | @uuid | ||
diff_name | String | 源端名称 | @word | ||
src_type | String | 源端类型: FILE:文件; DIRECTORY:目录; NORMAL_TBL:普通标; PART_TBL:分区表; | NORMAL_TBL | ||
diff_type | String | 差异类型: SAME:相同; DIFFERENT:不同; | SAME | ||
existence_state | String | 存在状态: LESS:仅源端存在; ALL_EXIST:均存在; SURPLUS:仅目标端存在; | LESS | ||
total | Number | 1 |
差异比较 - 获取比较结果详情列表
SDK方法名:listHdfsCompareResultDetail;
URL
/hdfs_compare/list_compare_result_detail
Method
GET
Request
名称 | 类型 | 必选 | 简介 | Mock初始值 | Mock规则 |
---|---|---|---|---|---|
page | Number | 分页页数 | |||
limit | Number | 分页条数 | |||
uuid | String | 历史比较结果uuid | |||
diff_name | String | 比较结果源端名称 |
Response
名称 | 类型 | 必选 | 简介 | Mock初始值 | Mock规则 |
---|---|---|---|---|---|
msg | String | ||||
ret | Number | 200 | |||
data | Object | ||||
code | Number | 0 | |||
message | String | ||||
info_list | Array | 4-20 | |||
uuid | String | 比较结果uuid | @uuid | ||
diff_name | String | 源端名称 | @first | ||
diff_item | String | 比较项 | item-@word | ||
src_value | String | 源端值 | src-@word | ||
tgt_value | String | 目标端值 | tgt-@word | ||
total | Number | 1 |