站长，出大事了！求解释！

越狱

抓京东页面的商品信息。

京东一个关键词的搜索结果页会有60个商品。我采用webbrowser来抓取。使用htmlagilitypack配合xpath来解析。
现在有个问题是：只能获取到30个商品的信息，外加最后一个“scroll_loading”。如下图：


如我采用360浏览器的调试工具，发现有30个商品。


当我把进度条拉到京东最底部的时候，60个商品就显示完整了。如下图：


我在项目里使用webbrowser调试的时候，发现及时把页面拉到最底部，也只能获取到前三十个商品的信息，而获取不到后三十个商品信息，请问站长这种情况怎么搞才能获取到完整的60个商品信息？

附部分代码：
while (webBrowser1.ReadyState != WebBrowserReadyState.Complete)
            {
                Application.DoEvents();
                Thread.Sleep(10);
            }
            HtmlAgilityPack.HtmlDocument doc = new HtmlAgilityPack.HtmlDocument();
            doc.LoadHtml(webBrowser1.DocumentText);
            HtmlNodeCollection categoryNodeList = doc.DocumentNode.SelectNodes(@"//*[@id=""plist""]/ul/li");
            MessageBox.Show(categoryNodeList.Count.ToString());



补充内容 (2015-7-9 18:03):
刚才看了一下获取到的源码页，貌似只获取了30个商品的信息，即使把浏览器控件拉到最底部也是30个。请问站长如何才能获取完整的搜索结果页的源码呢？

站长苏飞

我以为出什么大事了，这个应该是Ajax请求获取的，自己抓包看下有没有再次请求吧

站长苏飞

用的的框架获取不到吗？

越狱

站长苏飞 发表于 2015-7-9 18:21
用的的框架获取不到吗？

我用的是webbrowser

越狱

站长苏飞 发表于 2015-7-9 18:14
我以为出什么大事了，这个应该是Ajax请求获取的，自己抓包看下有没有再次请求吧

群里的“囝囡”网游说会请求两次，请求两次改怎么获取数据呢？我是个新手，只会一些简单的数据，这种两次请求的我还是第一次见到，还请站长多指教！

越狱

站长苏飞 发表于 2015-7-9 18:14
我以为出什么大事了，这个应该是Ajax请求获取的，自己抓包看下有没有再次请求吧

使用webbrowser究竟该如何才能抓取到完整的代码。

越狱

站长苏飞 发表于 2015-7-9 18:14
我以为出什么大事了，这个应该是Ajax请求获取的，自己抓包看下有没有再次请求吧

确实搞不定，究竟该怎么处理呢站长?

越狱

加了一行代码之后直接搞定！

站长苏飞

够敬业的，大晚上的还这么积极。怎么解决的可以给大家分享一下

水手

标题党~~~我还以为什么大事呢~~