能力说明
能力名称:RIS结果整理为定时任务格式
功能简介
配合RIS结果数据格式转换能力的输出,将数据转换为老平台定时回溯任务的结果数据格式,便于写入metaq,提供老API获取数据
配置参数
| 参数名称 | 参数类型 | 是否必填 | 默认值 | 参数说明 |
|---|---|---|---|---|
| 取数据使用的taskID | string | 是 | 调用v2接口传入的taskid | |
| 判定图ID | string | 是 | 原值 |
输入简介
RIS标引结果转换能力输出的数据
输入数据样例
{
"data":[{
//这里是标引结果的data信息
}],
"lable":[{
//这里是标引结果的lable信息
}]
}
输出简介
在输入数据的基础上进行了以下操作
- 增加op字段(回溯任务数据必须的json字段格式)
- data中,没有download_date字段时,使用add_time填充,否则使用当前时间填充
- data中,增加tm字段,值同download_date
- data中,将所有 "fmt2" 开头的字段,改为 "fmt" 开头
- data中,当没有c_url字段时却出现了c_url_crc字段时,删掉c_url_crc字段
- data中,当没有user_url字段时却出现了user_url_crc字段时,删掉user_url_crc字段
- data中,增加title_crc_old字段,值同title_crc
- data中,增加hl_empty_fields和FormatContent_weiboext字段,值为空字符串
- lable中,增加download_date字段,值同data
- lable中,增加data_key,match_rules,data_table字段,值为空字符串
- lable中,删除task_id,content_multi_md5,user_url_crc,c_url_crc字段
- lable中,增加uid字段,值为kid前五位
- lable中,增加topic_id字段,值为能力参数中的判定图id
- lable中,增加rel_type字段,值同data中同名字段
输出数据样例
{
"op":{
"task_id":"能力参数中的taskid",
"store_type","insert"
},
"data":[{
//这里是标引结果的data信息
}],
"lable":[{
//这里是标引结果的lable信息
}]
}
相关能力
必须前置 RIS结果格式转换 必须后置 写入MQ
参考指标
数据质量:99%
处理性能:未知
附加说明
此能力为专项专用能力,专门为特定用户的特定业务开发,未授权用户请勿使用 注意点:
- 请使用开发者提供的模板xml完成业务
- 模板xml中,使用了消重能力,配置的是消重7天内数据,但消重能力使用内存记录消重值,因此重启能力将导致消重效果从零开始
- 模板xml中,使用的判定图能力,请自行建立一个必中判定图,且判定图界面右下部分的类型选项,将全部勾(所有资源类型的主贴回帖)全都选中,此判定图命中的标签将被API取数据时看到,请取一个好听的标签名
- 模板xml中,还需要配置本能力,因此需要现在老平台上建立一个定时回溯任务和一个与此任务相关的判定图(判定图需要生效一次,但图的内容不限,判定图号和定时回溯任务号只是为了通过API的认证,定时任务及这个判定图,请保证一直存在,但绝对不要开启和删除)
- 模板xml中,最终将流程的成功和错误数据写入了云存储,用户可以根据自身需要对云存储的存储路径进行修改,如果不需要进行数据检查,也可以不存
隐藏参数说明
无