http://www.sufeinet.com/plugin.php?id=keke_group

苏飞论坛

 找回密码
 马上注册

QQ登录

只需一步,快速开始

分布式系统框架(V2.0) 轻松承载百亿数据,千万流量!讨论专区 - 源码下载 - 官方教程

HttpHelper爬虫框架(V2.7-含.netcore) HttpHelper官方出品,爬虫框架讨论区 - 源码下载 - 在线测试和代码生成

HttpHelper爬虫类(V2.0) 开源的爬虫类,支持多种模式和属性 源码 - 代码生成器 - 讨论区 - 教程- 例子

查看: 6198|回复: 5

[求助] 无法抓取完整页面(解决发红包感谢)

[复制链接]
发表于 2018-12-13 11:21:43 | 显示全部楼层 |阅读模式
1.用该页面做的测试,移动端的页面:https://m.chinaproled.en.alibaba.com/
2.用万能框架无法读取,因为时间关系,并没有太多研究如何用万能框架访问

浏览器打开该页面

浏览器打开该页面

q2.png
红色框中内容应该是后期添加的,但是如何添加的不清楚,如果是js添加,应该是不可能的,因为可以在源代码中查看到。

用代码方式抓取页面结果

用代码方式抓取页面结果


代码抓取的页面代码

代码抓取的页面代码

哪位大神帮我解决了,能抓取到产品列表,发红包感谢!



1. 开通SVIP会员,免费下载本站所有源码,不限次数据,不限时间
2. 加官方QQ群,加官方微信群获取更多资源和帮助
3. 找站长苏飞做网站、商城、CRM、小程序、App、爬虫相关、项目外包等点这里
发表于 2018-12-13 14:42:06 | 显示全部楼层
我只是路过打酱油的。
发表于 2018-12-13 15:50:35 | 显示全部楼层
支持一下
回复

使用道具 举报

发表于 2018-12-13 16:03:24 | 显示全部楼层
发表于 2018-12-13 18:51:32 | 显示全部楼层
直接查看源文件就有了呀,说明不是js加载的数据
[HTML] 纯文本查看 复制代码
<div id="mod-related-product" class="block">
	<h2>Hot Products</h2>
	<ul class="clearfix">
														 
    		<li>
    			<a href="https://m.alibaba.com/product/60732344896/Amazon-Hot-Sale-LED-Tube-600mm.html">
												<img src="//sc01.alicdn.com/kf/HTB1qEBUhhuTBuNkHFNRq6A9qpXaJ/Amazon-Hot-Sale-LED-Tube-600mm-9W.jpg_120x120.jpg" />
					    				<span>Amazon Hot Sale LED Tube 600mm 9W 13W 16W 18W 20W 22W Lamp T8 LED Tube Light</span>
    			</a>
    		</li>
														 
    		<li>
    			<a href="https://m.alibaba.com/product/60585814254/A19-E27-E26-B22-5W-7W.html">
												<img src="//sc01.alicdn.com/kf/HTB1QdvIpER1BeNjy0Fmq6z0wVXaI/A19-E27-E26-B22-5W-7W-9W.jpg_120x120.jpg" />
					    				<span>A19 E27 E26 B22 5W 7W 9W 12W Brightest LED Light Bulbs Wholesale Soft White 3000K 4000K 6000K Light A60 led Bulb</span>
    			</a>
    		</li>
														 
    		<li>
    			<a href="https://m.alibaba.com/product/60676782024/High-lumen-LED-flood-light-IP65.html">
												<img src="//sc01.alicdn.com/kf/HTB1WE6jfKSSBuNjy0Flq6zBpVXaJ/High-lumen-LED-flood-light-IP65-projector.jpg_120x120.jpg" />
					    				<span>High lumen LED flood light IP65 projector 20w 50w 100w 300w outdoor multi-color RGB landscape lighting</span>
    			</a>
    		</li>
														 
    		<li>
    			<a href="https://m.alibaba.com/product/60492660118/LED-decorated-3-5-7-9.html">
												<img src="//sc02.alicdn.com/kf/HTB1bCcKSpXXXXb.XpXXq6xXFXXXl/LED-decorated-3-5-7-9-12.jpg_120x120.jpg" />
					    				<span>LED decorated 3/5/7/9/12/18W track light with black or white cover rail spot down lamp</span>
    			</a>
    		</li>
														 
    		<li>
    			<a href="https://m.alibaba.com/product/60676453932/IP67-Waterproof-5-Meters-16-4.html">
												<img src="//sc01.alicdn.com/kf/HTB1JuibSpXXXXXWXFXXq6xXFXXX5/IP67-Waterproof-5-Meters-16-4-Feet.jpg_120x120.jpg" />
					    				<span>IP67 Waterproof 5 Meters/16.4 Feet 3528 5050 SMD 395nm-405nm LED Black Lights UV/Ultraviolet Light Strip Fixtures Outdoor</span>
    			</a>
    		</li>
														 
    		<li>
    			<a href="https://m.alibaba.com/product/60712224884/UV-LED-Black-light-Tube-T5.html">
												<img src="//sc01.alicdn.com/kf/HTB1FOLTmZnI8KJjSsziq6z8QpXaO/UV-LED-Black-light-Tube-T5-18W.jpg_120x120.jpg" />
					    				<span>UV LED Black light Tube T5 18W Integrated UV LED Tube Light For Ultraviolet Curing DJ Party</span>
    			</a>
    		</li>
			</ul>
	<a href="/productlist.html" class="all-products-link more-link">
		View All Products
	</a>
</div>

发表于 2018-12-15 14:02:25 | 显示全部楼层
我只是路过打酱油的。
您需要登录后才可以回帖 登录 | 马上注册

本版积分规则

QQ|手机版|小黑屋|手机版|联系我们|关于我们|广告合作|苏飞论坛 ( 豫ICP备18043678号-2)

GMT+8, 2024-12-22 19:07

© 2014-2021

快速回复 返回顶部 返回列表