http://www.sufeinet.com/plugin.php?id=keke_group

苏飞论坛

 找回密码
 马上注册

QQ登录

只需一步,快速开始

分布式系统框架(V2.0) 轻松承载百亿数据,千万流量!讨论专区 - 源码下载 - 官方教程

HttpHelper爬虫框架(V2.7-含.netcore) HttpHelper官方出品,爬虫框架讨论区 - 源码下载 - 在线测试和代码生成

HttpHelper爬虫类(V2.0) 开源的爬虫类,支持多种模式和属性 源码 - 代码生成器 - 讨论区 - 教程- 例子

查看: 3767|回复: 2

[HttpHelper] 登录后 读取的代码和直接ie浏览器打开的不一样?

[复制链接]
发表于 2016-9-4 14:57:24 | 显示全部楼层 |阅读模式
登录后,我直接ie打开这个页面, 同  HttpHepler万能框架  读取同样的页面, 得到的结果不一样?

https://www.alibaba.com/catalogs ... ------------------G


浏览器:
<div class="stitle"><a target="_blank" href="//sepiolite.en.alibaba.com/company_profile.html#top-nav-bar" data-domdot="id:2679,mn:allpage,pid:1453828933,ext:'n=1|s=p|t={{attr target}}'" data-p4plog="1453828933" marked="1">Shijiazhuang Mining Imp & Exp Trade Co., Ltd.</a>


</div>


Httphelper框架:或者在线测试
http://tool.sufeinet.com/HttpHel ... ------------------G
得到的如下模样的,是什么原因?
{"id":null,"name":"Place of Origin","valueId":null,"value":"CN;HEB"}],"similarProductThisSupplier":null,"supplierId":"200227092","supplierHref":"//sepiolite.en.alibaba.com/company_profile.html#top-nav-bar","supplierName":"Shijiazhuang Mining Imp \u0026 Exp Trade Co., Ltd.","supplierYear":"8","supplierCountry":{"searchOverHref":"//www.alibaba.com/catalogs/products/CID144--CN--------------------------G----------------------------------------------------------CNTRY-CN","name":"China (Mainland)","id":"CN"},"supplierProvince":null,"tradeAssurance":"37,000","establishedYear":null,"certfication":null,"record":{"transaction":null,"responseTime":null,"responseRate":"80.4%","responseRateUrl":null,"inquiry":null,"visit":null},"aggregationTag":null,"tag":null,"marchTag":[],"seoTag":null,"contactSupplier":"//message.alibaba.com/msgsend/contact.htm?action\u003dcontact_action\u0026appForm\u003ds_en\u0026chkProductIds\u003d1453828933\u0026chkProductIds_f\u003dIDX1e2mK3eLCOITRGaV0QLndcygnwGN4G-lo7GozGl-ZFJk288cUQ3g8a_pDePV2DBju\u0026tracelog\u003dcontactOrg","atm":{"status":"33","tmlid":"8pctgRBMALN5IEfRr6AAOU2HQfWM+yCo"},"similarProduct":null,"aggregationHref":null,"brandAdPid":null,"selectionTag":null,"isMarch":false,"marchTitle":null,"isLyb":false,"lybViewMoreHref":null





1. 开通SVIP会员,免费下载本站所有源码,不限次数据,不限时间
2. 加官方QQ群,加官方微信群获取更多资源和帮助
3. 找站长苏飞做网站、商城、CRM、小程序、App、爬虫相关、项目外包等点这里
 楼主| 发表于 2016-9-4 23:54:22 | 显示全部楼层
发现问题的关键了: Alibaba的页面,都是通过获取类似json的数据,然后用js 在客户端生产页面的?
<script>
seajs.iuse("//i.alicdn.com/sc-list/page/search/search.js")(function(Page){
            var page = new Page();
            page.run();
            page.setPageData({"baseServer":"//www.alibaba.com","isForbiddenSell":false,"isForbidden":false,"clearAllHref":"//www.alibaba.com/catalogs/products/CID144----------------------------G","quotationSupplierNum":371604,"allCategory":null,"searchbarFixed":{"currentKeyword":null,"aisnServer":"//www.alibaba.com","autoSuggestionCate..... (省去)


现在的准确的问题是: 我用google浏览器打开alibaba的业务,用“开发者工具”可以查看到正常的html代码,
333.jpg
但是点击右键“查看源码”,看到的是另外一个,这个要怎么解析?
444.jpg



发表于 2016-9-5 08:57:57 | 显示全部楼层
这应该是JS生成的,你要么执行JS,要么自己对接,呵呵
您需要登录后才可以回帖 登录 | 马上注册

本版积分规则

QQ|手机版|小黑屋|手机版|联系我们|关于我们|广告合作|苏飞论坛 ( 豫ICP备18043678号-2)

GMT+8, 2024-6-17 15:25

© 2014-2021

快速回复 返回顶部 返回列表