能力说明
能力名称:电商采集
功能简介
1.电商采集能力支持输入产品链接采集产品信息及其评论
电商采集能力根据输入的产品链接,得到对应产品的评论数据,目前支持的网站有京东,淘宝,天猫,国美,苏宁,一号店,当当,天猫、京东全球购和亚马逊;输出的评论为只查看当前商品的评论,由于网站显示的评论数本身就和返回的实际评论的数量不一致,输出评论的数量以网站上该商品显示的实际评论数量为准。
注:输出的评论的数量以网站上该商品的实际评论数为准,由于网站限制较严格,淘宝评论只采集前10页
各网站目前的采集评论情况如下:
1.京东:最多采集50页评论数据,以实际页面的评论数量为准,只看当前商品,且按时间排序(实际采集到的评论的数量会比网站显示的评论数少,默认好评及网站本身忽略的对购买帮助不大的评价不采集)
2*.淘宝:只采集10页,最多200数据. 注意这里暂停支持
3*.天猫:只看有内容的评论,网站限制,最多采集99页评论数据. 注意这里暂停支持
4.国美:以实际页面的评论数量为准,只看当前商品
5.苏宁:以实际页面的评论数量为准,网站限制,最多采集50页评论数据
6.一号店:只看当前商品,网站限制,最多采集100页评论数据
7.当当:以实际页面的评论数量为准(实际采集到的评论的数量会比网站显示的评论数少,默认好评不采集)
8.京东全球购:评论翻页最多100页(实际采集到的评论的数量会比网站显示的评论数少,不采集隐藏的默认好评)
9.亚马逊:评论最多翻100页
10.网易考拉:评论最多翻100页
11.聚美优品:评论最多翻100页
2.电商采集能力根据输入的搜索词采集相关的产品、评论或产品+评论;此时需要在电商采集能力前接电商采集任务生成能力,用来根据搜索词生成产品列表
各网站目前的采集产品情况如下:
1.当当(网站100页限制)
2.一号店(网站50页限制)
3.国美
**网站会有杂质链接,且各页之间存在产品重复的问题,实际采集到的产品数可能会比页面显示的少
**网站100页限制
4*.淘宝 注意这里暂停支持
**下载是未登录情况下网站返回产品的信息,不同地区或同一地区一定时间间隔后网站返回的具体产品信息会有不同;淘宝网页返回的天猫产品不采集
**网站100页限制
5.苏宁
**.网站本身会有杂质链接,且各页之间存在产品重复的问题,实际采集到的产品数可能会比页面显示的少
**网站100页限制
6.京东
**网站本身会有杂质链接,且各产品列表链接之间会有产品重复的问题,实际采集到的产品数可能会比页面显示的少
**京东搜索出来的京东全球购的数据效果有问题,采京东全球购的产品使用专门的采集京东全球购的能力
**网站100页限制
7*.天猫 注意这里暂停支持
**网站100页限制
8.京东全球购
**采集的产品可能会比页面上显示的多,网站本身有隐藏产品,不显示,但是可以采集到
9.亚马逊
**网站搜索词搜索20页限制
10.网易考拉
**网站搜索词搜索84页限制,5000条商品;注意:部署的产品链接形式需要为http://www.kaola.com/product/2315838.html(而web页面显示的为https://goods.kaola.com/product/2315838.html)
11.聚美优品
**网站搜索词搜索111页限制
配置参数
参数名称 | 参数类型 | 是否必填 | 默认值 | 参数说明 |
---|---|---|---|---|
任务执行编号 | 数字 | 是 | 0 | 0-99任意自然数,能力会根据任务编号来判断是否继续执行上一次任务,数字不变则继续执行,反之则重采 |
请输入链接 | 文本 | 否 | 无 | 直接部署链接时需要填写,格式为一行一个(换行操作:shift+回车),建议部署上限在10000以内;当能力接收上层数据流时可不填 |
请选择电商名称 | 文本 | 是 | 是 | 选择所部署产品链接对应的电商网站,支持京东、淘宝、天猫、国美、苏宁、一号店、当当、京东全球购和亚马逊,下拉列表可选择 |
请选择采集类型 | 文本 | 是 | 是 | 支持产品、评论、产品+评论 |
对应的电商采集能力右键菜单栏配置信息示例如下:
1.电商采集能力部署产品链接采评论
2.电商采集能力部署搜索词采集产品、评论或产品+评论时,【请输入链接】项不配置;此时需要在电商采集能力前接电商采集任务生成能力,用来根据搜索词生成产品列表
输入简介
输入需要采集评论的对应产品链接,多个以回车换行分隔
输入数据样例
1.电商采集能力部署产品链接采评论
http://item.jd.com/4936301.html
http://product.suning.com/0000000000/122966495.html
注:链接统一为http://形式
2.电商采集能力部署搜索词采集产品、评论或产品+评论时,【请输入链接】项不配置,只需要配置相应的电商名称及采集类型
输出简介
输出为产品、评论或产品+评论,为json格式
输出数据样例
产品部分输出字段简介:
1.pro_picture:产品图片
2.pro_name:产品名称
3.one_star_num:评价信息(一星数)
4.five_star_percentage:五星占比
5.commentnum:评论数
6.pro_description:产品详情
7.store_url:店铺信息
8.mall_price:商城价格
9.pro_evaluation_scores:平均得分
10.promotion_price:促销价格
11.price:市场价格
12.promotions_infor:促销信息
13.navigation:导航
14.picture_evaluation_num:图片评价次数
15.service:售后服务
输出产品详细字段信息举例如下:
{
"pro_picture":"http://img12.360buyimg.com/n1/jfs/t5920/204/5244390760/201602/dcfe33d/59698ed2Nfea07df0.jpg",
"pro_name":"持续交付:发布可靠软件的系统方法 需求实践测试之魂教程 需求构架工程 计算机控制系统 ",
"one_star_num":"0",
"use_url":"http://mall.jd.com/shopLevel-88241.html",
"taskid":"1200",
"five_star_percentage":"100%",
"source_type":"7",
"additional_evaluation_num":"0",
"commentnum":"10",
"pro_description":"店铺: 润知天下图书专营店 出版社: 人民邮电出版社 ISBN:9787115264596 商品编码:14011058632",
"evaluation_num":"10",
"publishing_name":"人民邮电出版社",
"servicer":"由润知天下图书专营店负责发货, 并提供售后服务.",
"three_star_percentage":"0%",
"store_url":"http://mall.jd.com/shopLevel-88241.html",
"pro_state":"1",
"s_pro_description":"$店铺: 润知天下图书专营店 $出版社: 人民邮电出版社 $ISBN:9787115264596 $商品编码:14011058632",
"mall_price":"89.00",
"download_date":"2018-03-21 14:07:21",
"pro_evaluation_scores":"5",
"site_name":"京东",
"from_flag":"ebusiness_gather",
"url":"http://item.jd.com/14011058632.html",
"promotion_price":"64.80",
"shop_name":"润知天下图书专营店",
"three_star_num":"0",
"specification_normalized":"{"":[{"":[{}]}]}",
"price":"89.00",
"promotions_infor":"购买不超过3件时享受单件价¥64.80,超出数量以结算价为准此价格不与套装优惠同时享受",
"navigation":"图书 > 计算机与互联网 > 软件工程及软件方法学 > 持续交付:发布可靠软件的系统方法 需求实践测试之魂教程 需求..",
"five_star_num":"10",
"rel_type":"m",
"freight":"店铺单笔订单不满65元,在线支付运费5元",
"picture_evaluation_num":"1",
"taskname":"N-京东-产品",
"one_star_percentage":"0%"
}
评论部分输出字段简介:
1.evalue_time:评论时间
2.evaluation:评论内容
3.evaluators:评论人
4.evaluator_rank:评论人等级
输出评论详细字段信息举例如下:
{
"evalue_time":"2017-04-25 23:28:16",
"taskid":"1601",
"download_date":"2018-02-11 16:36:58",
"source_type":"7",
"site_name":"苏宁",
"from_flag":"ebusiness_gather",
"url":"http://product.suning.com/0000000000/140498868.html#evalue_2914592412",
"evaluation":"蛋糕试做了两回成功了,烤的排骨很好吃,烤地瓜也很好,质量很好,操作很轻松",
"evaluators":"3**@1*.cn",
"evaluecrc":"evalue_2914592412",
"c_url":"http://product.suning.com/0000000000/140498868.html",
"rel_type":"c",
"evaluation_tag":"[]",
"taskname":"N-苏宁-评论",
"evaluator_rank":"V1"
}
相关能力
无
参考指标
数据质量:准确率:95%
处理性能:7200条/小时
CPU:4 内存:4G
附加说明
无
隐藏参数说明
无