能力说明

能力名称:微博评论【历史

功能简介

根据新浪用户微博链接一次性采集该条微博下的所有评论数据(网页上给的评论的数跟实际展示的评论的数量对不上,给的评论本身就比网页显示的数少,以网页真实的评论数量为准,详情见输出简介)

配置参数

参数名称 参数类型 是否必填 默认值 参数说明
请输入微博链接 文本 直接部署链接时需要填写,格式为一行一个(换行操作:shift+回车),建议部署上限在10000以内;当能力接收上层数据流时可不填

输入简介

输入新浪微博链接,多个以换行分隔(换行操作:shift+回车),建议部署上限在10000以内

可从该能力配置中进行填写,也可用通过上游能力输入。通过上游能力输入时,建议使用 采集格式转换 能力对输入的数据进行格式规整。

输入数据样例

输入新浪微博链接输入示例如下,部署时请参照以下两种格式:

http://weibo.com/2453133954/FptqAxh2M
https://weibo.com/6049346849/FvrhztDaS

注:输入非微博的链接会输出至失败队列,每100条输出一次,提示输出简介链接不符,非该网址链接

输出新浪用户微博下对应的微博评论,为json格式

输出简介

输入图片说明

部分输出字段简介:

1.c_url:被评论的源微博链接

2.author:评论作者

3.user_url:评论作者微博链接

4.release_date:发布时间

5.content:评论内容

输出数据样例

输出详细字段信息举例如下:

{
    "uid":"5666811389",
    "f_authoruid":"1310558230",
    "reidx_uid":"7fd62c38-015e-1000-8dca-418b1bd0eac0",
    "c_user_url":"http://weibo.com/u/",
    "taskid":"1756",
    "source_type":"4",
    "mainauthoruid":"1310558230",
    "w_idstr":"4180642399313565",
    "type":"c",
    "url_crc":"3481759222",
    "author":"0寻鸭0",
    "title":"也就是个官方支持,没有官方支持哪里会有孔家的千年传承,早就不知道消失在历史的哪个角落了",
    "authorimg":"http://tvax4.sinaimg.cn/crop.0.0.996.996.50/006bvmvHly8fkxsn5hsjmj30ro0rpwh2.jpg",
    "task_serial":"192.168.253.54-7fd62c38-015e-1000-8dca-418b1bd0eac0",
    "isforward":"1",
    "url_dup":"http://weibo.com/1310558230/FxP373uyW#4180642399313565#7fd62c38-015e-1000-8dca-418b1bd0eac0",
    "forward_url":"http://weibo.com/1310558230/FxP373uyW",
    "w_id":"4180642399313565",
    "media_url":"weibo.com",
    "download_date":"2017-12-05 13:23:29",
    "user_url":"http://weibo.com/u/5666811389",
    "from_flag":"sina_weibo1.3",
    "format_content":"也就是个官方支持,没有官方支持哪里会有孔家的千年传承,早就不知道消失在历史的哪个角落了",
    "url":"http://weibo.com/1310558230/FxP373uyW#4180642399313565",
    "with_comment":"1",
    "content":"也就是个官方支持,没有官方支持哪里会有孔家的千年传承,早就不知道消失在历史的哪个角落了",
    "w_mid":"4180642399313565",
    "refer_url":"http://weibo.com/1310558230/FxP373uyW?type=comment#_rnd1512451396172",
    "PubFlag":"0",
    "c_url":"http://weibo.com/1310558230/FxP373uyW",
    "rel_type":"c",
    "release_date":"2017-12-02 22:51:00",
    "media_name":"新浪微博",
    "mainurluuid":"3481759222",
    "c_id":"4180642399313565",
    "c_w_id":"4180642399313565"
}

相关能力

采集格式转化(非必需,详情见输入简介)

参考指标

  • 数据质量:准确率:98%

  • 处理性能:7200条/小时

CPU:4 内存:4G

附加说明

隐藏参数说明

results matching ""

    No results matching ""