能力说明

能力名称:数据过滤

功能简介

数据过滤能力是根据配置的数据筛选规则, 对数据进行筛选

配置方式采用界面交互的方式,例如下图配置,表示要筛选出 “title含有足球且content含有中超,或者title含有篮球且content含有CBA” 的数据

输入图片说明

在界面中有两个概念

条件组:配置规则可以含有多个条件组,条件组之间为“或关系”,每个条件组之间的相互独立,只要有一个条件组满足条件,数据即筛选通过 条件:每个条件组内都会有多个条件,同组条件之间为“且关系”,只有一个组内所有条件都满足,数据才算满足这个条件组

能力输出流有两个,分别对应上述规则的满足和不满足,数据流经该能力后,会通过规则的满足与否进行分流输出

注:选择 【长度】类型下的 大于、小于等条件时,中文统计汉字个数,英文统计字符个数。 输入图片说明

配置参数

参数名称 参数类型 是否必填 默认值 参数说明
rule_json json {} 由界面生成

输入简介

json格式数据

输入数据样例

{"title":"中国足球","content":"中超联赛"}

{"title":"中国足球","content":"比CBA好看"}

输出简介

输出为符合条件和不符合条件两个分支流, 不对数据做修改

输出数据样例

{"title":"中国足球","content":"中超联赛"}
符合条件

{"title":"中国足球","content":"比CBA好看"}
不符合条件

相关能力

参考指标

  • 数据质量:100%

  • 处理性能:3000条/s, 600条/s

微博长度数据 3000条/s 资讯长度数据 600条/s

附加说明

隐藏参数说明

results matching ""

    No results matching ""