能力说明
能力名称:微博_转发
功能简介
根据新浪用户微博链接一次性采集该条微博下的所有转发数据 (网页上给的转发的数跟实际展示的转发的数量对不上,给的转发本身就比网页显示的数少,以网页真实的转发数量为准)
配置参数
| 参数名称 | 参数类型 | 是否必填 | 默认值 | 参数说明 |
|---|---|---|---|---|
| 请输入微博链接 | 文本 | 否 | 无 | 直接部署链接时需要填写,格式为一行一个(换行操作:shift+回车),建议部署上限在100以内;当能力接收上层数据流时可不填 |
| 流入此能力的json中提取的key | 文本 | 是 | url | 上游能力流过来的json流中提取key名称作为本能力的输入 |
| 请设置翻页上限 | 文本 | 是 | -1 | 可以设置转发页面的获取上限值,防止长时间采集某个特别火爆的评论。(-1为默认,不设置上限) |
输入简介
输入新浪微博链接,多个以换行分隔(换行操作:shift+回车),建议部署上限在100以内
输入数据样例
微博链接输入示例:
http://weibo.com/2453133954/FptqAxh2M
http://weibo.com/6049346849/FvrhztDaS
注:输入非微博的链接会输出至失败队列,每100条输出一次,提示输出简介链接不符,非该网址链接
支持如下两种上游流入格式:
第一种字符串:["http://xxx.xxx.xxx"]
第二种json传:{"url","http://xxx.xxx.xxx"}
输出简介
输出新浪用户微博对应的微博转发数据,为json格式
输出数据样例
部分输出字段简介:
1.author:转发作者
2.user_url:转发作者微博链接
3.release_date:发布时间
4.content:转发内容
5.forward_url:被转发的源微博链接
输出详细字段信息举例如下:
{
"forward_author":"种草达人绵绵酱",
"uid":"3860702410",
"reidx_uid":"01601005-37f3-114a-b1fa-b6cd7b1c5c40",
"quote_count":"0",
"attitudes_count":"0",
"taskid":"1649",
"authorurl":"http://weibo.com/u/3860702410",
"forward_post_source":"微博 weibo.com",
"source_type":"4",
"forward_comments_count":"4224",
"type":"q",
"w_idstr":"4160895669683097",
"author":"宇Y仔",
"title":"//@安利小能手Lana: 粤语歌单,大部分都是我喜欢的[害羞]",
"forward_refer_url":"http://weibo.com/bestshipin",
"quote_author":"安利小能手Lana",
"verified":"0",
"forward_picture_list":"http://wx3.sinaimg.cn/large/9237da82gy1fkaytolsdfj20j63hgwjj.jpg;http://wx2.sinaimg.cn/large/9237da82gy1fkaytnk06qj20j639s0xk.jpg;http://wx2.sinaimg.cn/large/9237da82gy1fkaytnqhduj20j63dl43s.jpg;http://wx3.sinaimg.cn/large/9237da82gy1fkaytns8qdj20j63hugr1.jpg;http://wx3.sinaimg.cn/large/9237da82gy1fkaytop5rcj20j63d6gqo.jpg;http://wx2.sinaimg.cn/large/9237da82gy1fkaytno62ej20j63dbwja.jpg;http://wx2.sinaimg.cn/large/9237da82gy1fkaytnzvadj20j63fbjwp.jpg;http://wx4.sinaimg.cn/large/9237da82gy1fkayto86gcj20j62ygn1n.jpg;http://wx4.sinaimg.cn/large/9237da82gy1fkaytob0hvj20j62z8wiw.jpg",
"forward_attitudes_count":"92480",
"forward_quote_count":"27259",
"task_serial":"192.168.253.54-01601005-37f3-114a-b1fa-b6cd7b1c5c40",
"isforward":"1",
"forward_url":"http://weibo.com/2453133954/FptqAxh2M",
"comments_count":"0",
"w_id":"4160895669683097",
"media_url":"weibo.com",
"download_date":"2017-11-28 14:37:21",
"user_url":"http://weibo.com/u/3860702410",
"ExtractorID":"88",
"url":"http://weibo.com/3860702410/FpyaOED0Z",
"format_content":"<div class="WB_text W_f14" node-type="feed_list_content" > //<a target="_blank" render="ext" extra-data="type=atname" href="http://weibo.com/n/%E5%AE%89%E5%88%A9%E5%B0%8F%E8%83%BD%E6%89%8BLana?from=feed&loc=at" usercard="name=安利小能手Lana">@安利小能手Lana</a>: 粤语歌单,大部分都是我喜欢的[害羞] </div>",
"from_flag":"sina_weibo1.3",
"forward_user_url":"http://weibo.com/u/2453133954",
"content":"//@安利小能手Lana: 粤语歌单,大部分都是我喜欢的[害羞]",
"post_source":"360安全浏览器",
"w_mid":"4160895669683097",
"quote_user_url":"http://weibo.com/n/%E5%AE%89%E5%88%A9%E5%B0%8F%E8%83%BD%E6%89%8BLana?from=feed&loc=at",
"refer_url":"http://weibo.com/2453133954/FptqAxh2M",
"PubFlag":"0",
"rel_type":"q",
"release_date":"2017-10-09 11:04:00",
"media_name":"新浪微博",
"forward_content":"有哪些好听到爆炸的粤语歌? 两百多首走心推荐,你最爱哪一首?[小黄人高兴]",
"forward_release_date":"2017-10-08 23:00:00",
"profile_image_url":"http://tva3.sinaimg.cn/crop.0.0.720.720.50/e61da4cajw8eehdv6bmg5j20k00k0aau.jpg",
"forward_uid":"2453133954"
}
字段明细表
相关能力
无
参考指标
数据质量:准确率:99.8%
处理性能:7200条/小时
CPU:4 内存:4G
附加说明
无
隐藏参数说明
无
