苏飞论坛

 找回密码
 马上注册

QQ登录

只需一步,快速开始

分布式系统框架(V2.0) 轻松承载百亿数据,千万流量!讨论专区 - 源码下载 - 官方教程

HttpHelper爬虫框架(V2.7-含.netcore) HttpHelper官方出品,爬虫框架讨论区 - 源码下载 - 在线测试和代码生成

HttpHelper爬虫类(V2.0) 开源的爬虫类,支持多种模式和属性 源码 - 代码生成器 - 讨论区 - 教程- 例子

查看: 7609|回复: 5

[HttpHelper] httpget智联招聘页面,返回乱码的问题。

[复制链接]
发表于 2019-10-17 15:21:02 | 显示全部楼层 |阅读模式
使用httpget 方法访问智联的招聘页面,第一次get返回的是一堆乱码,然后手动打开一次,再访问返回来的数据就是正常的?但是第二次有cookie我在页面找不到。。。
1.这是第一次get-------------------------------------------------------------------------------------------------------------------------
response:
Transfer-Encoding: chunked
Connection: keep-alive
Content-Encoding:
Pragma: no-cache
X-Via: 1.1 pingwangtong46:0 (Cdn Cache Server V2.0), 1.1 PShbcdwt4ko38:11 (Cdn Cache Server V2.0)
Cache-Control: no-cache, no-store
Content-Type: text/html; charset=utf-8
Date: Thu, 17 Oct 2019 05:11:48 GMT
Set-Cookie: acw_tc=3ccdc15815712891086577748e32f1e83413c2db3e0dcb1d80a887324d88a7;
path=/;HttpOnly;Max-Age=2678401
Server: Tengine
2.这是第二次get(手动打开过一次)-------------------------------------------------------------------------------------------------------------------------
GET /CC281596583J90250406000.html HTTP/1.1
Accept: text/html, application/xhtml+xml, */*
X-HttpWatch-RID: 6059-10017
Accept-Language: zh-CN
User-Agent: Mozilla/5.0 (Windows NT 6.1; WOW64; Trident/7.0; rv:11.0) like Gecko
Accept-Encoding: gzip, deflate
Host: jobs.zhaopin.com
Connection: Keep-Alive
Cookie: acw_tc=3ccdc15815712892884808933e32f1ee47a90cdabab95f0d50d43de677c265; acw_sc__v2=5da7f8c831c1fe505ebd89909df29918c10d28eb
这是我访问的网址:http://jobs.zhaopin.com/CC281596583J90250511000.htm,还请大家帮忙看一下!谢谢!!





1. 开通SVIP会员,免费下载本站所有源码,不限次数据,不限时间
2. 加官方QQ群,加官方微信群获取更多资源和帮助
3. 找站长苏飞做网站、商城、CRM、小程序、App、爬虫相关、项目外包等点这里
发表于 2019-10-17 15:28:46 | 显示全部楼层
 楼主| 发表于 2019-10-18 11:30:01 | 显示全部楼层
站长苏飞 发表于 2019-10-17 15:28
http://tool.sufeinet.com/HttpHelper.aspx?type=url&url=http://jobs.zhaopin.com/CC281596583J9025051100 ...

站长大大用的是万能框架做的吗?
 楼主| 发表于 2019-10-18 14:16:13 | 显示全部楼层
945670586 发表于 2019-10-18 11:30
站长大大用的是万能框架做的吗?

http://tool.sufeinet.com/HttpHel ... 583J90250369000.htm 我用这个测试的返回不对啊。。这个应该不算乱码,但肯定不是那一页的源码内容,差了好多东西的
发表于 2019-10-19 14:54:36 | 显示全部楼层
945670586 发表于 2019-10-18 14:16
http://tool.sufeinet.com/HttpHelper.aspx?type=url&url=http://jobs.zhaopin.com/CC281596583J90250369 ...

这只是第一步,还需要在这个基础上再次请求, 不是那个页面都这么简单的可以获取的。
 楼主| 发表于 2019-10-22 08:12:25 | 显示全部楼层
站长苏飞 发表于 2019-10-19 14:54
这只是第一步,还需要在这个基础上再次请求, 不是那个页面都这么简单的可以获取的。

emmm,
站长我这个第二次请求还是没搞好,您能说详细一点吗?我感觉是少了cookie值
这是返回正常源码的cookie:
Cookie: acw_tc=3ccdc16915717026711595308e3026f839b47cd63dd719ebc29811a2945f3b; acw_sc__v2=5dae478f9513734a7f92d09dcfbffc12751987f3
这是返回错误源码的cookie:
Cookie: acw_tc=3ccdc16915717026711595308e3026f839b47cd63dd719ebc29811a2945f3b
就是现在这个cookie我找不到啊。。。
您需要登录后才可以回帖 登录 | 马上注册

本版积分规则

QQ|手机版|小黑屋|手机版|联系我们|关于我们|广告合作|苏飞论坛 ( 豫ICP备18043678号-2)

GMT+8, 2024-12-25 15:48

© 2014-2021

快速回复 返回顶部 返回列表