一、小红书API数据接口采集
1、root的安卓手机一部。这里推荐某米的手机,其他型号手机解锁麻烦。
2、小红书的apk。多备几个,可以观察不同版本差异性。
3、抓包工具,我用的是charles,个人用习惯了。能抓包就行,不做要求。
向往常一样,装证书,抓包,三下五除二搞完,发现抓包的时候,一直提示:网络不可用、网络异常等字样。此时脑海立马出现之前爬取的某款app也有同样情况。然后尝试将证书装到系统目录下:
将charles证书,利用OpenSSL命令:openssl x509-inform PEM-subject_hash_old-in charles.pem会生成 c957050g若是cer证书用 DER
执行命令:cp charles.pem c957050g.0
手机用Usb线连到电脑上,依次执行如下命令:adb push c957050g.0/sdcard/
mv/sdcard/c957050g.0/system/etc/security/cacerts/
chmod 644/system/etc/security/cacerts/c957050g.0
openssl与 cp命令可以安装 GitBash,借助GitBash完成
adb命令需要安装 adb工具。安装方式自行百度
完成上面操作后,再抓包,正常抓取到数据。进行分析接口。
所有数据接口基本在 https://edith.xiaohongshu.com/api/sns/这个下面,
老版本基本在 https://www.xiaohongshu.com/api/sns/这个下面
搜索接口:/api/sns/v8/search/notes?keyword=%E9%A6%99%E5%A5%88%E5%84%BF63&filters=&sort=&page=1&page_size=20&source=explore_feed&search_id=927A522C26DC8FD699971F1B1C1F6838&platform=Android&deviceId=560c6663-a66f-3aab-aff8-a8fe7bc48809&device_fingerprint=20180711115937dab00272f54a61a24dbf8e788810c0ac01ea060ac16b8048&device_fingerprint1=20180711115937dab00272f54a61a24dbf8e788810c0ac01ea060ac16b8048&versionName=5.24.1&channel=Sogou&sid=session.1220794269578290029&lang=zh-Hans&t=1536298303&sign=dd2764c4258e12db80fbe5df11e01af0
笔记详情接口:/api/sns/v1/note/feed?note_id=6208778400000000210350c9&page=1&has_ads_tag=false&num=5&fetch_mode=1&source=explore&ads_track_id=onlineswing_PAGETIME10_6208bb170000000001026d83%4029sgq68pxlmfug0s4pfq6&from_rec_local=false
评论接口:/api/sns/v5/note/comment/list?note_id=6208778400000000210350c9&start=621b4f88000000001302bb82&num=15&show_priority_sub_comments=0&source=explore&top_comment_id=&shake_user=0
经过分析反复验证,其核心参数有
shield:该参数主要与url、xy-common-params、xy-platform-info、data、 user-agent等参数有关。
sid:调/api/sns/v1/user/activate接口 post提交可得到。
目前已封装好,采集接口稳定,如需进一步拿更多数据,欢迎加我进行探讨
二、各种API接口网址
http://doc.tuling123.com/openapi2/263611
http://lbsyun.baidu.com/index.php?title=webapi
涵盖图像处理、自然语言、语音技术、知识图谱、数据智能、AR、视频技术和深度学习八大方面。看需选择即可。
http://www.faceplusplus.com.cn/
注:申请试用的API Key可以免费试用他上面的接口
手机号码归属地API接口: https://www.juhe.cn/docs/api/id/11
历史上的今天API接口: https://www.juhe.cn/docs/api/id/63
股票数据API接口: https://www.juhe.cn/docs/api/id/21
全国WIFI接口: https://www.juhe.cn/docs/api/id/18
星座运势接口: https://www.juhe.cn/docs/api/id/58
黄金数据接口: https://www.juhe.cn/docs/api/id/29
语音识别接口: https://www.juhe.cn/docs/api/id/134
周公解梦接口: https://www.juhe.cn/docs/api/id/64
天气预报API接口: https://www.juhe.cn/docs/api/id/73
身份证查询API接口: https://www.juhe.cn/docs/api/id/38
笑话大全API接口: https://www.juhe.cn/docs/api/id/95
邮编查询接口: https://www.juhe.cn/docs/api/id/66
老黄历接口: https://www.juhe.cn/docs/api/id/65
网站安全检测接口: https://www.juhe.cn/docs/api/id/19
手机固话来电显示接口: https://www.juhe.cn/docs/api/id/72
基金财务数据接口: https://www.juhe.cn/docs/api/id/28
成语词典接口: https://www.juhe.cn/docs/api/id/157
新闻头条接口: https://www.juhe.cn/docs/api/id/235
IP地址接口: https://www.juhe.cn/docs/api/id/1
问答机器人接口: https://www.juhe.cn/docs/api/id/112
汇率API接口: https://www.juhe.cn/docs/api/id/80
电影票房接口: https://www.juhe.cn/docs/api/id/44
万年历API接口: https://www.juhe.cn/docs/api/id/177
NBA赛事接口: https://www.juhe.cn/docs/api/id/92
https://developers.douban.com/wiki/?title=guide
淘宝开放平台 http://open.taobao.com/?spm=a219a.7395905.1.1.YdFDV6
微博开放平台 http://open.weibo.com/wiki/API
讯飞语音 http://www.xfyun.cn/robots/solution
马化腾的微信开放平台(对应的还有腾讯开放平台)
融云IM https://developer.rongcloud.cn/signin?returnUrl=%2Fapp%2Fappkey%2FPv4vYQwaxSZdfpLX5AI%3D
三、免费API接口的试用开发文档有吗
Api接口就好比一个媒介工具,比如买东西的时候我们要计算价格,可以用算盘、计算器、手机或者电脑进行计算得出结果。接口与其类似,当你需要用到这个功能时就可以调用。
Api接口可以应用于pc端、app、软件等,除了接口一般会有Api接口文档说明来帮助开发者使用。
下面来分享一下免费的api接口以及文档说明:
接口地址:http://v.juhe.cn/postcode/query
请求示例:http://v.juhe.cn/postcode/query?postcode=215001&key=申请的KEY
接口备注:通过邮编查询对应的地名
postcode是 string邮编,如:215001
key是 string应用APPKEY(应用详细页查询)
pagesize否 int每页返回,默认:20,最大不超过50
dtype否 string返回数据的格式,xml或json,默认json
接口地址:http://apis.juhe.cn/mobile/get
请求示例:http://apis.juhe.cn/mobile/get?phone=13429667914&key=您申请的KEY
phone是 int需要查询的手机号码或手机号码前7位
key是 string应用APPKEY(应用详细页查询)
dtype否 string返回数据的格式,xml或json,默认json
city string城市,(北京、上海、重庆、天津直辖市可能为空)
areacode string区号,(部分记录可能为空)
zip string邮编,(部分记录可能为空)
<?xml version="1.0" encoding="utf-8"?>
<resultcode>200</resultcode>
<reason>Return Successd!</reason>
<province>浙江</province>
<areacode>0571</areacode>
<company>中国移动</company>
接口地址:http://op.juhe.cn/onebox/movie/video
请求事例http://op.juhe.cn/onebox/movie/video?key=APPKEY&q=%E5%BA%B7%E7%86%99%E7%8E%8B%E6%9C%9D
接口备注:电影:q=心花路放;电视剧:q=继承者们;动漫:q=柯南
key是 string应用APPKEY(应用详细页查询)
dtype否 string返回数据的格式,xml或json,默认json
"act":"格兰特·古斯汀埃涅·赫德森汤姆·卡瓦纳夫",
"desc":"《闪电侠》精彩看点:二次元超级英雄再登电视荧屏,《闪电侠》无缝对接《绿箭侠》闪耀登场。《闪电侠》剧情梗概:《闪电侠》的漫画连载开始于1940年,讲述了一名拥有超级速度的学生的故事。50年代起,这个角色则被重新诠释,成为了巴里·艾伦,一名为警署工作的科学家,使用他的超级速度来对抗超级反派们。",
"cover":"http://i.gtimg.cn/qqlive/img/jpgcache/files/qqvideo/0/0l01jm9yobh4xo4.jpg",
"youku":"http://v.youku.com/v_show/id_XODQ1NTAzNDE2.html?tpa=dW5pb25faWQ9MTAyMjEzXzEwMDAwNl8wMV8wMQ",
"qq":"http://v.qq.com/cover/0/0l01jm9yobh4xo4/g0015dn2fw1.html",
"leshi":"http://www.letv.com/ptv/vplay/21416940.html",
"pptv":"http://v.pptv.com/show/2uhW1T2jE1G0Mr4.html",
"sohu":"http://tv.sohu.com/20141210/n406824703.shtml?txid=4e4df35dda9d8ed32c874b1ad590ef59"
"detail_url":"http://www.360kan.com/tv/PrVtaX7kRzXsmn.html",
"cover":"http://p2.qhimg.com/t01f969930fae67d1ec.jpg",
"detail_url":"http://www.360kan.com/tv/Q4RvaqOoRmDuMX.html",
"cover":"http://p6.qhimg.com/t0160a8a6f5b768034a.jpg",
"detail_url":"http://www.360kan.com/tv/Q4Frc3GoRmbuMX.html",
"cover":"http://p7.qhimg.com/t01513514907831e055.jpg",
"detail_url":"http://www.360kan.com/tv/QrFob33oRGboMX.html",
"cover":"http://p6.qhimg.com/d/_hao360/video/img200909_18_145544738.jpg",
"detail_url":"http://www.360kan.com/tv/QrRtbaOpRz4nOH.html",
"cover":"http://p1.qhimg.com/t01d2996b3305923b91.jpg",
"url":"http://baike.so.com/doc/2041872.html",
"image":"http://p3.qhimg.com/dmsmty/120_110_100/t019f2fb2f92c6cb2cf.jpg"
"url":"http://baike.so.com/doc/3938849.html",
"image":"http://p2.qhimg.com/dmsmty/120_110_100/t0169332727e692e9fa.jpg"
"url":"http://baike.so.com/doc/7521211.html",
"image":"http://p0.qhimg.com/dmsmty/120_110_100/t01d271d8c090330ae2.jpg"
http://sapi.manmanbuy.com/Search.aspx?AppKey=申请appkey&Key=搜索关键词&Class=分类ID&Brand=品牌ID&Site=商城ID&PriceMin=最低价&PriceMax=最高价&PageNum=页号&PageSize=每页商品数&OrderBy=排序方式&ZiYing=是否自营&ExtraParameter=扩展参数
http://sapi.manmanbuy.com/Search.aspx?AppKey=123456&Key=iphone&Class=0&Brand=0&Site=0&PriceMin=0&PriceMax=0&PageNum=1&PageSize=30&OrderBy=score&ZiYing=false&ExtraParameter=0
返回结果示例(以iphone为例,显示前2条商品信息):
{"State":1000,"SearchItemsCount":101520,"SearchCount":5109,"ClassList":"57|1074|手机,893|29964|iPhone配件,892|19512|手机保护套,910|11169|苹果配件, 890|8766|手机贴膜,894|6201|其它配件,900|3189|移动电源,889|2067|手机充电器,898|1923|电池/充电器,101|1518|耳机,888|1290|手机电池, 100|1074|蓝牙耳机","BrandList":"155|47184|苹果,0|40476|,634|2166|洛克,6|1134|三星,622|1023|倍思,261|564|品胜,652|558|SGP, 639|537|ESR,623|474|邦克仕,10|423|飞利浦,604|330|摩米士,664|291|优胜仕","SiteList":"1|66732|京东商城,4|8478|亚马逊,3|7917|当当,13|4821|1号店,6|4605|苏宁易购,8|4149|国美在线,11|3882|易迅网,9|360|新蛋网,161|168|飞牛网,185|147|顺电网,124|123|高鸿商城, 123|69|华强北","SearchResultList":[{"spname":"苹果(Apple)iPhone 6(A1586) 16GB金色移动联通电信4G手机","sppic":"http://img14.360buyimg.com/n7/jfs/t277/193/1005339798/768456/29136988/542d0798N19d42ce3.jpg","spurl":"http://item.jd.com/1217499.html","spprice":"5188.00","className":"手机","brandName":"苹果","siteName":"京东商城","commentUrl":"http://item.jd.com/1217499.html#comments-list","commentCount":"8773","TitleHighLighter":"苹果(Apple)iPhone 6(A1586) 16GB金色移动联通电信4G手机","ziying":"1","siteid":"1","id":"98084930"},{"spname":"苹果(Apple)iPhone 6 Plus(A1524) 16GB金色移动联通电信4G手机","sppic":"http://img14.360buyimg.com/n7/jfs/t346/302/1010969394/231745/50f20b36/542d0e26N894372e9.jpg","spurl":"http://item.jd.com/1217524.html","spprice":"5988.00","className":"手机","brandName":"苹果","siteName":"京东商城","commentUrl":"http://item.jd.com/1217524.html#comments-list","commentCount":"10288","TitleHighLighter":"苹果(Apple)iPhone 6 Plus(A1524) 16GB金色移动联通电信4G手机","ziying":"1","siteid":"1","id":"98084932"}]}
关于免费api数据接口的内容到此结束,希望对大家有所帮助。