http://www.sufeinet.com/plugin.php?id=keke_group

苏飞论坛

 找回密码
 马上注册

QQ登录

只需一步,快速开始

分布式系统框架(V2.0) 轻松承载百亿数据,千万流量!讨论专区 - 源码下载 - 官方教程

HttpHelper爬虫框架(V2.7-含.netcore) HttpHelper官方出品,爬虫框架讨论区 - 源码下载 - 在线测试和代码生成

HttpHelper爬虫类(V2.0) 开源的爬虫类,支持多种模式和属性 源码 - 代码生成器 - 讨论区 - 教程- 例子

查看: 6391|回复: 9

[求助] 【求助加建议】淘宝试用之旅

[复制链接]
发表于 2014-6-30 17:21:22 | 显示全部楼层 |阅读模式
其实用苏飞的HttpHelper很久了,只是一直没来发过贴,这个类写的真心不错。
最近想写个小程序自动申请淘宝试用的商品,开始做的时候一直卡在登录的地方,因为淘宝机制是你短时间内登录过多会导致要输入验证码,为止卡了好一段时间。正好上周有空特意研究了下也成功解决了这个问题,之前也老是获取验证码之后输入再提交会提示验证码不正确,一直纠结于是不是UA算法的问题,因为我的UA值是直接浏览器复制过来的,后来经过研究发现原来这个UA值可有可无,现在我提交的数据里UA值是空的也能正常登录了,包括需要有验证码的。

这个淘宝试用的程序我现在的进度是做到能自动获取到提问的问题和结果了,然后就在提交结果的页面卡住了。希望赐教
请求地址为:http://try.taobao.com/json/pre_apply.do,这个请求是用来验证你的问题和答案的,问题和答案虽然提交数据淘宝有重新加密过但是经过我分析已经成功破解了,很简单只是把中文用UrlEncode转换后再把其中的%号换成%25就行了。
QQ截图20140630171703.jpg
参数中里除了UA值其它全部搞定了,因为之前登录的时候UA值为空也能登录我判断这个不是太重要,所以就设定为空,但是返回结果一直提示:“无返回数据”,看了下返回的Cookie值也与提交前的Cookie相差很多,少了好多值。不知道有谁遇到过这个问题,希望不吝赐教。

另外给苏飞提个建议:HttpHelper类里有自动跳转的参数设定,但是自动重定向次数还是用的默认的(查文档是50),在查某些东西的时候会提示 “尝试自动重定向的次数过多”的问题,然后我在这个类了加上了MaximumAutomaticRedirections 属性,希望苏飞能把这个参数开放出来写到HttpItem中。

本帖被以下淘专辑推荐:



1. 开通SVIP会员,免费下载本站所有源码,不限次数据,不限时间
2. 加官方QQ群,加官方微信群获取更多资源和帮助
3. 找站长苏飞做网站、商城、CRM、小程序、App、爬虫相关、项目外包等点这里
发表于 2014-6-30 18:00:04 | 显示全部楼层
MaximumAutomaticRedirections 这个还真有人用,好的我已加上下个版本就你就能看到了。

很感谢你的建议。

这个我没研究过,暂时没什么建议。或者的包的提供下看看
 楼主| 发表于 2014-6-30 20:18:27 | 显示全部楼层
站长苏飞 发表于 2014-6-30 18:00
MaximumAutomaticRedirections 这个还真有人用,好的我已加上下个版本就你就能看到了。

很感谢你的建议 ...

呵呵,问题已经解决了,是ContentType的问题,我一直以为这个是返回类型,所以都是输入的响应标头那里的Content-Type,原来是请求标头里的Content-Type值。
不过我现在还有一个问题,请求淘宝商品物品详情页面一般没什么问题,但是偶尔会遇到一种情况就是情况,就是请求已经返回数据了,但是页面上数据不全,如图所示,感觉像是淘宝是用Ajax加载的数据还是什么,所以想问题这种是什么问题?Allowautoredirect 属性也设置成true了 QQ截图20140630201726.jpg
发表于 2014-6-30 23:26:25 | 显示全部楼层
这种要单独请求去取
 楼主| 发表于 2014-7-1 09:00:36 | 显示全部楼层
站长苏飞 发表于 2014-6-30 23:26
这种要单独请求去取

但是我没看到他有其它的请求发生啊?
发表于 2014-7-1 10:01:18 | 显示全部楼层
lovesangel 发表于 2014-7-1 09:00
但是我没看到他有其它的请求发生啊?

如果没有就是不是,如果是Ajax是肯定有的,你得抓包才能看到的。
发表于 2014-11-13 21:37:07 | 显示全部楼层
楼主挺能折腾的,怪不得现在淘宝试用人数上几十万了,十来万人抢一个宝贝,何其状观
发表于 2015-2-15 13:26:54 | 显示全部楼层
学习了!
回复

使用道具 举报

发表于 2015-2-19 22:04:11 | 显示全部楼层
受教了学习中……
发表于 2015-3-31 12:49:42 | 显示全部楼层
受教了学习中……
您需要登录后才可以回帖 登录 | 马上注册

本版积分规则

QQ|手机版|小黑屋|手机版|联系我们|关于我们|广告合作|苏飞论坛 ( 豫ICP备18043678号-2)

GMT+8, 2024-3-29 06:26

© 2014-2021

快速回复 返回顶部 返回列表