http://www.sufeinet.com/plugin.php?id=keke_group

苏飞论坛

 找回密码
 马上注册

QQ登录

只需一步,快速开始

分布式系统框架(V2.0) 轻松承载百亿数据,千万流量!讨论专区 - 源码下载 - 官方教程

HttpHelper爬虫框架(V2.7-含.netcore) HttpHelper官方出品,爬虫框架讨论区 - 源码下载 - 在线测试和代码生成

HttpHelper爬虫类(V2.0) 开源的爬虫类,支持多种模式和属性 源码 - 代码生成器 - 讨论区 - 教程- 例子

楼主: zbsgift

[求助] 关于京东post数据格式问题

[复制链接]
 楼主| 发表于 2014-2-14 14:10:40 | 显示全部楼层
站长苏飞 发表于 2014-2-14 13:12
没什么区别,都是一样的,只是第一种写法比较方便。建议使用第一种。第一种是使用委托的方法秋传值的。  ...

好的,查了下,貌似就只是个匿名委托写法罢了。。。
还有一个问题就是,像你帖子里那样直接循环开启100个线程,没问题吗?好像网上说线程太多,cpu负荷太重
反而效果不好。如果用线程池的话,怎么样呢


1. 开通SVIP会员,免费下载本站所有源码,不限次数据,不限时间
2. 加官方QQ群,加官方微信群获取更多资源和帮助
3. 找站长苏飞做网站、商城、CRM、小程序、App、爬虫相关、项目外包等点这里
发表于 2014-2-14 14:18:49 | 显示全部楼层
zbsgift 发表于 2014-2-14 14:10
好的,查了下,貌似就只是个匿名委托写法罢了。。。
还有一个问题就是,像你帖子里那样直接循环开启100 ...

这个要看电脑配置的,配置不高肯定不如少开点,配置高的话,当然可以了,这个根据电脑配置情况定吧。程序只是实现效果。呵呵
 楼主| 发表于 2014-2-14 15:35:09 | 显示全部楼层
站长苏飞 发表于 2014-2-14 14:18
这个要看电脑配置的,配置不高肯定不如少开点,配置高的话,当然可以了,这个根据电脑配置情况定吧。程序 ...

是啊,所以我想如果,比如说某台电脑适合一次开20个线程,而我要执行100个任务。这个时候用现在的方法的话,就要再循环5次来控制达到这个目的。
所以c#中有没有类似的库,我只要把这100个线程一下子全投进去,让系统来控制?
发表于 2014-2-14 18:01:52 | 显示全部楼层
zbsgift 发表于 2014-2-14 15:35
是啊,所以我想如果,比如说某台电脑适合一次开20个线程,而我要执行100个任务。这个时候用现在的方法的 ...

没那个智能,你可以试试线程池,不过效果不是太明显我估计
 楼主| 发表于 2014-2-15 20:12:58 | 显示全部楼层
站长苏飞 发表于 2014-2-14 18:01
没那个智能,你可以试试线程池,不过效果不是太明显我估计

呼叫飞哥,今天用你的类去post注册京东,结果发现HttpResult返回得到的html 乱码了。utf-8在中文系统下 就乱码了吗?
抓包信息:
x-requested-with: XMLHttpRequest
Accept-Language: zh-cn
Referer: https://reg.jd.com/reg/person?ReturnUrl=http%3A//www.jd.com/
Accept: */*
Content-Type: application/x-www-form-urlencoded; charset=utf-8
Accept-Encoding: gzip, deflate
User-Agent: Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 6.1; WOW64; Trident/6.0)
Host: reg.jd.com
Content-Length: 163
发表于 2014-2-15 20:29:43 | 显示全部楼层
换个编码试试,应该是没识别到
 楼主| 发表于 2014-2-15 20:43:19 | 显示全部楼层
站长苏飞 发表于 2014-2-15 20:29
换个编码试试,应该是没识别到

是指 在你的GetHtml方法里,自己写个读取流的方法?
 楼主| 发表于 2014-2-15 20:46:33 | 显示全部楼层
站长苏飞 发表于 2014-2-15 20:29
换个编码试试,应该是没识别到

我debug了下,你的GetHtml方法里,是把encoding设置成了utf-8
然后encoding.GetString(ResponseByte) 得到的就是乱码。。。。

服务器返回的类型也是utf-8啊(Content-Type: application/x-www-form-urlencoded; charset=utf-8),为啥就是乱码了呢。
发表于 2014-2-16 11:33:22 | 显示全部楼层
我晕,编码可以设置的,你看看教程,最基本的这是
 楼主| 发表于 2014-2-16 13:10:31 | 显示全部楼层
站长苏飞 发表于 2014-2-16 11:33
我晕,编码可以设置的,你看看教程,最基本的这是

昨天细细跟踪了下,发现是服务器返回的html里 居然没头信息的,然后你的那个类就用utf-8读内容了,导致乱码,我后来自己写了个读内容的方法,用Encoding.Default就解决了。。。
您需要登录后才可以回帖 登录 | 马上注册

本版积分规则

QQ|手机版|小黑屋|手机版|联系我们|关于我们|广告合作|苏飞论坛 ( 豫ICP备18043678号-2)

GMT+8, 2024-11-15 01:30

© 2014-2021

快速回复 返回顶部 返回列表