http://www.sufeinet.com/plugin.php?id=keke_group

苏飞论坛

 找回密码
 马上注册

QQ登录

只需一步,快速开始

分布式系统框架(V2.0) 轻松承载百亿数据,千万流量!讨论专区 - 源码下载 - 官方教程

HttpHelper爬虫框架(V2.7-含.netcore) HttpHelper官方出品,爬虫框架讨论区 - 源码下载 - 在线测试和代码生成

HttpHelper爬虫类(V2.0) 开源的爬虫类,支持多种模式和属性 源码 - 代码生成器 - 讨论区 - 教程- 例子

查看: 9418|回复: 3

[总群] 我用框架抓取头条的内容,用在线测试是ok的,但是在c#中总是不能正确获得内容?

[复制链接]
发表于 2018-12-7 12:02:52 | 显示全部楼层 |阅读模式
本帖最后由 惜 于 2018-12-7 12:02 编辑

舒洋 11:26:42

请教个问题,我用最新版本的框架抓取头条的内容,用在线测试是ok的,但是在c#中总是不能正确获得,这是什么原因呢?
舒洋 11:26:56
1.png

返回的是这个内容
精彩 11:28:14

注意是否有跳转
舒洋 11:28:41
2.png

有跳转,已经设置了自动跳转
精彩 11:29:23

url 我给你看看
舒洋 11:29:51

而且我直接用最终跳转后的url访问也是上面那个结果
舒洋 11:30:02

https://www.toutiao.com/group/6585309482740351502/
精彩 11:30:42


<!DOCTYPE html><html lang=en><head><meta charset=UTF-8><meta name=viewport content="width=device-width,initial-scale=1"><meta http-equiv=X-UA-Compatible content="ie=edge"><link rel="shortcut icon" href=//
s3a.pstatp.com/toutiao/resource/ntoutiao_web/static/image/favicon_8e9c9c7.ico type=image/x-icon><title>今日头条</title></head><body><p></p></body></html>
精彩 11:31:05

就返回这个啊
舒洋 11:31:25
3.png
页面测试返回的是这个结果,这个是正确的


舒洋 11:39:56

@精彩 谢谢,解决了,要加上Referer



1. 开通SVIP会员,免费下载本站所有源码,不限次数据,不限时间
2. 加官方QQ群,加官方微信群获取更多资源和帮助
3. 找站长苏飞做网站、商城、CRM、小程序、App、爬虫相关、项目外包等点这里
发表于 2018-12-7 12:06:57 | 显示全部楼层
发表于 2018-12-7 17:22:24 | 显示全部楼层
强烈支持楼主ing……
发表于 2018-12-7 18:40:18 | 显示全部楼层
我只是路过打酱油的。
您需要登录后才可以回帖 登录 | 马上注册

本版积分规则

QQ|手机版|小黑屋|手机版|联系我们|关于我们|广告合作|苏飞论坛 ( 豫ICP备18043678号-2)

GMT+8, 2024-11-18 08:27

© 2014-2021

快速回复 返回顶部 返回列表