淘宝搜索商品列表抓取问题

lzb821

淘宝搜索商品列表抓取问题，如搜索硬盘，http://s.taobao.com/search?q=硬盘，获取到的列表页面，抓取列表中的：商品名称、店铺名，价格，付款数、评论数。现在用HttpHelper获取到的html中body没有商品列表数据，只有在script中有一段相关的json数据。但如果用webBrowser1.Document.Body.InnerHtml，就可以获取到，再通过CSS选择器，获取数据。这个有谁做过，可否提供下方法，有偿也可以。

站长苏飞

这个内容 使用Httphelper可以轻松的获取吧

[C#] 纯文本查看 复制代码

            HttpHelper http = new HttpHelper();
            HttpItem item = new HttpItem()
            {
                URL = "http://s.taobao.com/search?q=%E7%A1%AC%E7%9B%98&imgfile=&js=1&stats_click=search_radio_all%3A1&initiative_id=staobaoz_20150604&ie=utf8",//URL     必需项    
                Method = "get",//URL     可选项 默认为Get   
                IsToLower = false,//得到的HTML代码是否转成小写     可选项默认转小写   
                Cookie = "",//字符串Cookie     可选项   
                Referer ="",//来源URL     可选项   
                Postdata = "",//Post数据     可选项GET时不需要写   
                Timeout = 100000,//连接超时时间     可选项默认为100000    
                ReadWriteTimeout = 30000,//写入Post数据超时时间     可选项默认为30000   
                UserAgent = "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0)",//用户的浏览器类型，版本，操作系统     可选项有默认值   
                ContentType = "text/html",//返回类型    可选项有默认值   
                Allowautoredirect = false,//是否根据301跳转     可选项   
                //CerPath = "d:\123.cer",//证书绝对路径     可选项不需要证书时可以不写这个参数   
                //Connectionlimit = 1024,//最大连接数     可选项 默认为1024    
                ProxyIp = "",//代理服务器ID     可选项 不需要代理 时可以不设置这三个参数    
                //ProxyPwd = "123456",//代理服务器密码     可选项    
                //ProxyUserName = "administrator",//代理服务器账户名     可选项   
                ResultType = ResultType.String
            };
            HttpResult result = http.GetHtml(item);
            string html = result.Html;
            string cookie = result.Cookie;

站长苏飞

获取之后通知我的Json工具生成 一个对象然后反序列化一下完事

http://tool.sufeinet.com/Creater ... 8d7edc718d0be5adccf

lzb821

多谢苏飞回复
我想知道，你的这个链接，后面的参数j是什么意思，这个参数从哪里来，为什么会直接自动填写入那个json数据，是在你们的服务器上有存吗？http://tool.sufeinet.com/Creater ... 8d7edc718d0be5adccf
还有就是，我是一个新手，不知道获取到html数据后，如何将那段json提取后并调用解析出来。调用解析这部分是否要用到万能框架里面的内容，如果是的话，我就去购买。完全新手，见谅。有没有整个例子的简单流程的教程

lzb821

现在已用字符串截取的方式获取到了那个json串

站长苏飞

用框架里面的把json转为类就行了，j是我服务器存储的id