http://www.sufeinet.com/plugin.php?id=keke_group

苏飞论坛

 找回密码
 马上注册

QQ登录

只需一步,快速开始

分布式系统框架(V2.0) 轻松承载百亿数据,千万流量!讨论专区 - 源码下载 - 官方教程

HttpHelper爬虫框架(V2.7-含.netcore) HttpHelper官方出品,爬虫框架讨论区 - 源码下载 - 在线测试和代码生成

HttpHelper爬虫类(V2.0) 开源的爬虫类,支持多种模式和属性 源码 - 代码生成器 - 讨论区 - 教程- 例子

查看: 5368|回复: 5

[学生提问] 求助

[复制链接]
发表于 2014-8-12 16:18:48 | 显示全部楼层 |阅读模式
1金钱
我是程序菜鸟,希望高手帮写下程序,textBox分别获取网站域名和后台登陆地址。通过学习,我已经实现了国内网站扫描,但是却扫描不了国外网站。求程序源码,以供学习。谢谢。。。



1. 开通SVIP会员,免费下载本站所有源码,不限次数据,不限时间
2. 加官方QQ群,加官方微信群获取更多资源和帮助
3. 找站长苏飞做网站、商城、CRM、小程序、App、爬虫相关、项目外包等点这里
发表于 2014-8-12 16:43:12 | 显示全部楼层
问题是什么。为什么扫描不了,说说你的原因,
回复

使用道具 举报

 楼主| 发表于 2014-8-12 16:59:57 | 显示全部楼层
额 其实我想说如果我知道的话 就写出来了。我通过测试在前几个是国内网站中间是国外的后面是国内的,通过运行,发现国内全出来了,国外的没反应啊。
回复

使用道具 举报

发表于 2014-8-12 17:06:19 | 显示全部楼层
qq123456789 发表于 2014-8-12 16:59
额 其实我想说如果我知道的话 就写出来了。我通过测试在前几个是国内网站中间是国外的后面是国内的,通过运 ...

我是问你是什么样的状态。是不能访问,还是取不到想要的数据。总有的现像吧。

或者是说下你是怎么实现的。思路,我们什么也不知道,咋给你说。

我写代码能实现,并不能代表你的代码就能实现。具体问题是要具体分析的。同样的情况不同的程序员写情况也是不一样的。
回复

使用道具 举报

 楼主| 发表于 2014-8-12 17:10:48 | 显示全部楼层
能访问。 我是通过代码把他们组合。 然后利用语句和地址栏链接,通过访问结果,看返回值是不是我所要求的。
回复

使用道具 举报

 楼主| 发表于 2014-8-12 17:19:09 | 显示全部楼层
public void kaishi()
        {
            string[] wangzhi = File.ReadAllLines(textBox1.Text.Trim());//读取txt
            string[] wenjianming = File.ReadAllLines(textBox2.Text.Trim());
            int shuliang = (int)wangzhi.Length * (int)wenjianming.Length;//计算需要循环多少次
            foreach (string wangzhi1 in wangzhi)//循环读取txt文件的内容
            {
                foreach (string wenjianming1 in wenjianming)
                {
                    string strurl1 = "http://" + wangzhi1 + "/" + wenjianming1;
                    ThreadPool.QueueUserWorkItem(new WaitCallback(GetGeneralContent), strurl1);//创建一个线程池,并执行auto方法,strurl1是auto方法的参数
                }

            }
        }
        //public void qidong(object osvifo)
        //{
        //    ServerInfo svinfo = (ServerInfo)osvifo;
        //    if (svinfo.powerBy.IndexOf("waf") != -1 )
        //    {
        //        return;
        //    }
        //}

        public void GetGeneralContent(object strUrl)
        {
            string strurl = strUrl as string;
            string strMsg = string.Empty;
            try
            {

                WebRequest request = WebRequest.Create(strurl);//链接浏览器
                WebResponse response = request.GetResponse();//取链接返回内容
                StreamReader reader = new StreamReader(response.GetResponseStream(), Encoding.GetEncoding("utf-8"));
                strMsg = reader.ReadToEnd();

                if (strMsg.Contains("404 - Page Not Found"))//判断是否出现404
                {
                    // richTextBox1.AppendText(strurl + " " + "[200]" + "\n");
                }
                else
                {
                    richTextBox1.AppendText(strurl + " " + "[200]" + "\n");
                }
                reader.Close();
                reader.Dispose();
                response.Close();
            }
            catch
            { }

        }
这是我的代码
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 马上注册

本版积分规则

QQ|手机版|小黑屋|手机版|联系我们|关于我们|广告合作|苏飞论坛 ( 豫ICP备18043678号-2)

GMT+8, 2024-4-29 19:08

© 2014-2021

快速回复 返回顶部 返回列表