http://www.sufeinet.com/plugin.php?id=keke_group

苏飞论坛

 找回密码
 马上注册

QQ登录

只需一步,快速开始

分布式系统框架(V2.0) 轻松承载百亿数据,千万流量!讨论专区 - 源码下载 - 官方教程

HttpHelper爬虫框架(V2.7-含.netcore) HttpHelper官方出品,爬虫框架讨论区 - 源码下载 - 在线测试和代码生成

HttpHelper爬虫类(V2.0) 开源的爬虫类,支持多种模式和属性 源码 - 代码生成器 - 讨论区 - 教程- 例子

查看: 6384|回复: 8

[HttpHelper] 站长,这个问题的全部截图和代码,看一下哦!

[复制链接]
发表于 2019-4-18 22:45:47 | 显示全部楼层 |阅读模式
抓的包!因为涉及到登陆,所以只能把包的信息发出来!
1.png

包信息:
[HTML] 纯文本查看 复制代码
Request URL:[url]https://pddn2.kuaidizs.cn/trade/getBatchTradeSyncStatus?asyncCode=776765349118&api_name=get_batch_sync_status[/url]
Request Method:GET
Status Code:200 OK
Remote Address:47.110.179.123:443
Referrer Policy:no-referrer-when-downgrade



Accept:application/json
Accept-Encoding:gzip, deflate, br
Accept-Language:zh-CN,zh;q=0.9
Connection:keep-alive
Content-Type:application/x-www-form-urlencoded; charset=UTF-8
Cookie:349118_kdzspdd=461692c9b4bee0a94a501bb14c126a6d176265897fe1d161bbeda5073877a6ce0ef28f90d034552d85fa3b4faf137264; rsid_349118=349118_461692c9b4bee0a94a501bb14c126a6d93949852d12c4780bbeda5073877a6ce0ef28f90d034552d85fa3b4faf137264; _ati=7781400881578; JSESSIONID=64E0B44A3651913525BAB31F1DF2EC20
Host:pddn2.kuaidizs.cn
qnquerystring:349118_461692c9b4bee0a94a501bb14c126a6d176265897fe1d161bbeda5073877a6ce0ef28f90d034552d85fa3b4faf137264
Referer:[url]https://pddn2.kuaidizs.cn/newIndex/index.xhtml?userId=349118&kdzsPddToken=461692c9b4bee0a94a501bb14c126a6d176265897fe1d161bbeda5073877a6ce0ef28f90d034552d85fa3b4faf137264[/url]
User-Agent:Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36


包返回的数据:
2.png

返回的数据:
[C#] 纯文本查看 复制代码
{
	"data": {
		"progress": "100",
		"total": 4,
		"sellerInfos": {
			"349118": {
				"buyerNums": 4,
			}
		},
		"sameBuyerDiffAddr": [],
		"pageSize": 50,
		"pageRand": "77618",
		"sendRemindTradeSize": 0,
		"isDone": true,
		"taskStatus": 2,
		"hasCodBuyers": [],
		"buyerTotal": 4,
		"pageNo": 1,
		"tradesTogether": [{
			"buyerNick": "初香",
			"canManualMerge": false,
			"cod": false,
			"isCod": false,
			"tids": ["190418-1163763"],
			"togetherId": "190418-110763",
		}, {
			"buyerNick": "摩的",
			"canManualMerge": false,
			"cod": false,
			"isCod": false,
			"tids": ["190418-472312273"],
			"togetherId": "190418-4712273",
		}, {
			"buyerNick": "乔丽丽",
			"canManualMerge": false,
			"cod": false,
			"isCod": false,
			"tids": ["190417-0825912"],
			"togetherId": "190417-08371912",
		}, {
			"buyerNick": "韩大大",
			"canManualMerge": false,
			"cod": false,
			"isCod": false,
			"tids": ["190417-634909"],
			"togetherId": "190417-6341909",
		}],
		"isAutoMerge": true,
		"tradeTotal": 4
	},
	"result": 100
}


我的请求代码!
[C#] 纯文本查看 复制代码
string AsyncCodeValue = GetAsyncCode(cookiestr, Rsid);
                HttpHelper httphelper = new HttpHelper();
                HttpItem httpitem = new HttpItem()
                {
                    URL = "https://pddn2.kuaidizs.cn/newIndex/index.xhtml?userId=" + AsyncCodeValue + "&api_name=get_batch_sync_status",
                    Accept = "application/json",
                    ContentType = "application/x-www-form-urlencoded; charset=UTF-8",
                    Cookie = cookiestr,
                    Method = "GET",
                    Host = "pddn2.kuaidizs.cn",
                    Referer = "https://pddn2.kuaidizs.cn/newIndex/index.xhtml?userId=" + Rsid[0] + "&kdzsPddToken=" + Rsid[1],
                    UserAgent = "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36",
                };
                httpitem.Header.Add("qnquerystring", Rsid[0] + "_" + Rsid[1]);
                HttpResult result = httphelper.GetHtml(httpitem);
                MessageBox.Show(result.Html);



返回的html就是出错!
1.png


我的这个没有执行JS啊!

为什么获得的不是正常的json格式的源码???????????????????

2.png


1. 开通SVIP会员,免费下载本站所有源码,不限次数据,不限时间
2. 加官方QQ群,加官方微信群获取更多资源和帮助
3. 找站长苏飞做网站、商城、CRM、小程序、App、爬虫相关、项目外包等点这里
发表于 2019-4-19 08:14:30 | 显示全部楼层
Method = "Post",

postdata= QQ截图20190419081356.png
 楼主| 发表于 2019-4-19 13:26:57 | 显示全部楼层
站长苏飞 发表于 2019-4-19 08:14
Method = "ost",

postdata=

提示出错!
错误的html
[HTML] 纯文本查看 复制代码
<!DOCTYPE HTML PUBLIC "-//IETF//DTD HTML 2.0//EN">
<html>
<head><title>405 Method Not Allowed</title></head>
<body bgcolor="white">
<h1>405 Method Not Allowed</h1>
<p>The requested method is not allowed for the URL. Sorry for the inconvenience.<br/>
Please report this message and include the following information to us.<br/>
Thank you very much!</p>
<table>
<tr>
<td>URL:</td>
<td>http://pddn2.kuaidizs.cn/newIndex/index.xhtml?userId=65、118&amp;api_name=get_batch_sync_status</td>
</tr>
<tr>
<td>Server:</td>
<td>aliyun-app-48-172</td>
</tr>
<tr>
<td>Date:</td>
<td>2019/04/19 13:25:09</td>
</tr>
</table>
<hr/>Powered by Tengine/2.1.0</body>
</html>


C#代码:
[C#] 纯文本查看 复制代码
string AsyncCodeValue = GetAsyncCode(cookiestr, Rsid);
                HttpHelper httphelper = new HttpHelper();
                HttpItem httpitem = new HttpItem()
                {
                    URL = "https://pddn2.kuaidizs.cn/newIndex/index.xhtml?userId=" + AsyncCodeValue + "&api_name=get_batch_sync_status",
                    Accept = "application/json",
                    ContentType = "application/x-www-form-urlencoded; charset=UTF-8",
                    Cookie = cookiestr,
                    Method = "Post",
                    Postdata="asyncCode="+AsyncCodeValue+"&api_name=get_batch_sync_status",
                    Host = "pddn2.kuaidizs.cn",
                    Referer = "https://pddn2.kuaidizs.cn/newIndex/index.xhtml?userId=" + Rsid[0] + "&kdzsPddToken=" + Rsid[1],
                    UserAgent = "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36",
                };
                httpitem.Header.Add("qnquerystring", Rsid[0] + "_" + Rsid[1]);
                HttpResult result = httphelper.GetHtml(httpitem);
                MessageBox.Show(result.Html);



头都大了!第一次遇到这种情况!
发表于 2019-4-19 14:29:28 | 显示全部楼层
群里面去付费解决嘛,没有什么人愿意白干活了
发表于 2019-4-19 16:22:02 | 显示全部楼层
研究一下qnquerystring 参数是不是动态生成的。

报这个错一般是参数有错造成的。
 楼主| 发表于 2019-4-19 21:02:30 | 显示全部楼层
站长苏飞 发表于 2019-4-19 16:22
研究一下qnquerystring 参数是不是动态生成的。

报这个错一般是参数有错造成的。

我把参数仔细检查了一边,还真发现错误了,URL不对,但是改过之后发现还是不行!
这个qnquerystring是在cookie里面的。

这次出现的源码是:
[C#] 纯文本查看 复制代码
{"data":{"progress":"10","isDone":false,"taskStatus":1},"result":100}


站长,你说有没有可能是cookie的问题?我之前都是直接使用相同的cookie,但是实际上你也知道,这个cookie是不断变化的,我用不用让cookie也随着请求变化?
 楼主| 发表于 2019-4-19 21:07:57 | 显示全部楼层
站长苏飞 发表于 2019-4-19 16:22
研究一下qnquerystring 参数是不是动态生成的。

报这个错一般是参数有错造成的。

站长,能不能远程帮忙看一下,代码也不多,被这个问题搞了两天了,头都大了!
或者我把项目发给你,账号给你,你看一下。
 楼主| 发表于 2019-4-19 21:08:24 | 显示全部楼层
站长苏飞 发表于 2019-4-19 16:22
研究一下qnquerystring 参数是不是动态生成的。

报这个错一般是参数有错造成的。

站长,能不能远程帮忙看一下,代码也不多,被这个问题搞了两天了,头都大了!
或者我把项目发给你,账号给你,你看一下。
发表于 2019-4-20 08:11:06 | 显示全部楼层
QQ上给你说了,最近不方便,
看上去像是参数或者Cookie是变化 的原因,因为你看到的是变化后的,应该是每次请求都产生新的
您需要登录后才可以回帖 登录 | 马上注册

本版积分规则

QQ|手机版|小黑屋|手机版|联系我们|关于我们|广告合作|苏飞论坛 ( 豫ICP备18043678号-2)

GMT+8, 2024-11-24 13:14

© 2014-2021

快速回复 返回顶部 返回列表