上传
点击文件名下载附件
资源地址屏蔽了的: 回复可见
程序代码(代码有删减,...字数超了的哇~~~~):
[code=csharp]
namespace gather
{
public partial class MainFrm : Form
{
public MainFrm()
{
InitializeComponent();
//数据添加到datagridview委托
_upDateStateDelegate = new UpDateDelegate(UpDateDgv);
//状态委托
_doUpStatus = new _upStatus(__doUpStatus);
}
//采集网址
string g_s = "回复可见1";
private object obj = new object();//用来锁定_np的.应该起作用了
private int _p = 0; //当前页 这个好像没有用
private int _ps = 0;//pagesize
private int _pc = 0;//pagecount总页数
private int _c = 0;//总记录数,recordcount
private int _nc = 0;//当前采集到的记录数nowcount,
private int _np = 0;//当前页数, nowpage
private int step = 0; //开始按钮用的, 用来执行 开始-> 暂停 <--> 继续
private int time = 0; //每个采集线程间隔时间
private int saveIndex = 0;//当前保存的数量
private int saveListCount = 20;//每次保存的数量
OleDbConnection con; //数据库连接
OleDbCommand cmd;//数据库操作
List<Thread> _threadMainList = new List<Thread>(); //采集线程
//空委托
private delegate void _voidDelegate();
//主线程委托
private delegate int getPageInfo();
//更新grid委托
private delegate void UpDateDelegate(d info);
private UpDateDelegate _upDateStateDelegate;
//设置状态委托 - 信息, 设置当前页, 设置当前总记录
private delegate void _upStatus(string status, bool np, bool nc);
private _upStatus _doUpStatus;
#region ----------------------------窗体事件 START----------------------------
//窗体开始
private void MainFrm_Load(object sender, EventArgs e)
{
string ConStr = "Provider=Microsoft.Jet.OLEDB.4.0;data source=" + Application.StartupPath + "\\data.mdb";//创建OleDbConnection对象
con = new OleDbConnection(ConStr);
try
{
con.Open();
if (con.State != ConnectionState.Open)
{
this.btn_start.Text = "DBERR";
this.btn_start.Enabled = false;
this.lbl_db.Text = "开启错误";
}
this.lbl_db.Text = "已连接";
}
catch { this.btn_start.Text = "DBERR"; this.btn_start.Enabled = false; this.lbl_db.Text = "开启错误"; }
finally { }
}
//按钮开始
private void btn_start_Click(object sender, EventArgs e)
{
//第一次开始 - 暂停
if (step == 0)
{
this.btn_start.Enabled = false;
getPageInfo _g = new getPageInfo(_threadGetPageInfo);
IAsyncResult ir = _g.BeginInvoke(null, null);
time = int.Parse(txt_zxjg.Text.ToString());
int init = _g.EndInvoke(ir);
if (init != 0)
{
this.btn_start.Enabled = true;
int count = Convert.ToInt32(txt_threadcount.Text.Trim());
if (count > _pc)
{
count = _pc;
}
_np = 1;//从第一页开始
for (int i = 0; i < count; i++)
{
Thread _temp = new Thread(new ThreadStart(delegate
{
_threadGetOnePage();
}));
_temp.Start();
_threadMainList.Add(_temp);
Thread.Sleep(Convert.ToInt32(txt_kqjg.Text.Trim()) * 1000);
}
timer_db.Enabled = true;
step = 1;
}
this.btn_start.Text = "暂停";
this.btn_start.Enabled = true;
}
else if (step == 1)
{
//停止 -> 继续
this.btn_start.Enabled = false;
foreach (Thread _t in _threadMainList)
{
try
{
_t.Suspend();
}
catch { }
}
this.lbl_status.Text = "已暂停...";
this.btn_start.Text = "继续";
this.btn_start.Enabled = false;
timer_db.Enabled = true;
step = 2;
}
else if (step == 2)
{
//继续 - > 暂停
this.btn_start.Enabled = false;
foreach (Thread _t in _threadMainList)
{
try
{
_t.Resume();
}
catch { }
}
this.btn_start.Text = "暂停";
timer_db.Enabled = true;
this.btn_start.Enabled = true;
step = 1;
}
}
//窗体关闭
private void MainFrm_FormClosing(object sender, FormClosingEventArgs e)
{
closeAll();
}
#endregion----------------------------窗体事件 END-------------------------------
#region ----------------------------时钟 START---------------------------------
//时钟
private void timer_db_Tick(object sender, EventArgs e)
{
int tmp_DataCount = this.dataGrid.Rows.Count - 1;
int tmp_saveListCount = saveListCount;
//判断条数是否够, 不够就动态改变, 保证每次Tick都保存
if ((saveIndex + tmp_saveListCount) > tmp_DataCount)
{
tmp_saveListCount = tmp_DataCount - saveIndex;
}
//有保存条数才保存没有就不保存
if (tmp_saveListCount > 0)
{
string _insertPreSql = "INSERT INTO [list{0}]([name],[type],[pic],[area],[des],[actor],[director],[url]) VALUES";
string _insertSql = "";
for (int i = 0; i < tmp_saveListCount; i++)
{
_insertSql = String.Format(_insertPreSql, (i % 5).ToString()) + _timerCreateSql(saveIndex++);
_timerInsert(_insertSql, saveIndex);//数据库插入
}
}
}
//创建SQL语句
private string _timerCreateSql(int index)
{
string tmpStr = "(";
tmpStr += "'" + this.dataGrid.Rows[index].Cells["名称"].Value.ToString() + "',";//name
tmpStr += "'" + this.dataGrid.Rows[index].Cells["类型"].Value.ToString() + "',";//type
tmpStr += "'" + this.dataGrid.Rows[index].Cells["图片"].Value.ToString() + "',";//pic
tmpStr += "'" + this.dataGrid.Rows[index].Cells["地区"].Value.ToString() + "',";//area
tmpStr += "'" + this.dataGrid.Rows[index].Cells["描述"].Value.ToString() + "',";//des
tmpStr += "'" + this.dataGrid.Rows[index].Cells["导演"].Value.ToString() + "',";//actor
tmpStr += "'" + this.dataGrid.Rows[index].Cells["主演"].Value.ToString() + "',";//director
tmpStr += "'" + this.dataGrid.Rows[index].Cells["资源"].Value.ToString() + "'";//url
tmpStr += ");";
return tmpStr;
}
//timer中执行添加到数据库
private void _timerInsert(string sql, int c)
{
try
{
cmd = new OleDbCommand(sql, con);
cmd.ExecuteNonQuery();
this.lbl_db.Text = "已插入" + c.ToString() + "项";
}
catch
{
this.timer_db.Enabled = false;
closeAll();
}
finally { cmd = null; }
}
#endregion------------------------------时钟 END---------------------------------
#region ----------------------------其他 START---------------------------------
//停止所有
private void closeAll()
{
timer_db.Enabled = false;
try
{
this.lbl_db.Text = "已关闭";
con.Close();
}
catch { }
foreach (Thread _t in _threadMainList)
{
try
{
if (_t.ThreadState == ThreadState.Suspended)
{
_t.Resume();
_t.Abort();
}
}
catch { }
}
}
#endregion--------------------------其他 END---------------------------------
}
}[/code]
作者: Lucker 时间: 2013-6-19 09:49
本帖最后由 Lucker 于 2013-6-19 17:49 编辑
1. 暂未添加续读功能2. 未添加数据库唯一项验证
求解决: 开启线程的时候容易卡死
作者: 站长苏飞 时间: 2013-6-19 10:30
联系在线QQ
作者: magic0597 时间: 2013-6-23 18:05
也来学习下。
作者: iheartwater 时间: 2013-6-28 17:30
感谢提供,鼎力支持！！...
作者: liupan182 时间: 2013-6-28 19:46
不错
作者: OO。 时间: 2013-6-29 10:15
加油，我们都看好你哦。
作者: xjwebs 时间: 2013-6-30 20:33
理论抓取和实际抓取效果怎样
作者: xjwebs 时间: 2013-6-30 20:36
楼主没放sln文件
作者: mtbkevin 时间: 2013-7-2 08:27
必须学习下。。。
作者: hardman888 时间: 2013-7-4 16:36
感谢提供,鼎力支持！！...
作者: 不懂装懂 时间: 2013-8-6 09:54
顶一下，下来看看会是什么样的
作者: 天山明月 时间: 2013-8-21 04:56
{:soso_e179:}
作者: coody 时间: 2013-8-21 11:02
来学习列子 提升一下水平
作者: 猫星人 时间: 2013-9-1 01:53
睡前来看看，支持一下
作者: 970443232 时间: 2013-9-4 07:29
不错 正好用得着
作者: ljx5790 时间: 2013-9-20 00:12
好东西,谢谢楼主!!!!!!!!!!!!!
作者: gangn 时间: 2013-9-21 20:23
i学习下作者: lcylcyll 时间: 2013-9-22 09:35
看看怎么样处理的啊
作者: c#net 时间: 2013-10-5 21:19
下载看
作者: zyh2004883 时间: 2013-10-8 09:50
收缴了，学习学习
作者: ahthabcde 时间: 2013-10-8 13:12
真是难得给力的帖子啊，强烈支持楼主。
作者: baolangy 时间: 2013-10-26 13:33
好好好好
作者: huataishi 时间: 2013-11-9 02:07
源地址屏蔽了的: 回复可见
作者: liudeming22 时间: 2013-11-9 14:33
我也来看看
作者: villagedog 时间: 2013-11-16 14:03
好好学习
作者: yyhapy 时间: 2013-11-16 20:43
下载了 忘了回复一个了 谢谢分享 学习了
作者: yyhapy 时间: 2013-11-20 17:47
谢谢分享 下载了。。。
作者: 小小狐 时间: 2013-11-25 21:07
{:soso_e100:} 学习了
作者: 牛德彪 时间: 2013-11-26 04:46
https://dynamic.12306.cn/otsweb/passCodeAction.do?rand=sjrand&0.8967564508222368
作者: oО_正在江湖 时间: 2013-12-30 09:48
力挺采集程序
作者: livetom 时间: 2014-1-17 01:50
学习学习。
作者: 花开彼岸 时间: 2014-1-17 09:08
作者: Kenney 时间: 2014-1-17 17:39
{:soso_e100:}学习下
作者: 无法浏览网页 时间: 2014-1-24 14:54
顶顶，学习下~~
作者: 夜雨蒙蒙 时间: 2014-3-8 21:59
谢谢楼主无私的分享的精神！！
作者: azon 时间: 2014-4-26 08:59
看看是如何采集的。谢谢
作者: wj2003vip 时间: 2014-5-2 20:55
非常感谢你帮了我的大忙，真的太感谢你啦！
作者: tianjiantnt2 时间: 2014-5-24 18:16
学习一下，谢谢楼主分享
作者: mymisty 时间: 2014-6-24 14:37
支持 学习一下！
作者: tuuowu 时间: 2014-7-2 06:39
受教了，学习中……
作者: xbtxkj 时间: 2014-10-2 02:42
受教了学习中……
作者: hfgdhsf 时间: 2014-10-26 19:39
感谢您的无私奉献，真是帮了我的大忙了
作者: mabg0225 时间: 2014-11-10 09:09
谢谢 学习
作者: span 时间: 2014-11-23 00:48
膜拜中....！
作者: ppszxc 时间: 2014-11-28 01:53
来看看这个思路
作者: EasonShen 时间: 2014-11-28 02:07
受教了学习中……
作者: xjwzzh 时间: 2015-12-4 19:41
HttpHelper+XML资源采集小程序~~
作者: 慕容小小 时间: 2016-1-9 15:06
谢谢分享！！！
作者: 154097183 时间: 2016-2-13 09:57
强烈支持楼主ing……
作者: bbqbbqtt 时间: 2016-4-1 15:53
感谢提供,鼎力支持！！...
作者: make2006_jll 时间: 2016-7-28 13:13
看看先
作者: heimao2001 时间: 2016-10-23 12:37
强烈支持楼主ing……
作者: 钢板-王玉松 时间: 2016-10-24 10:40
楼主没放sln文件
作者: xfpxxfpx 时间: 2017-3-5 00:29
我只是路过打酱油的。
作者: baiwei 时间: 2017-5-4 14:17
挺好的东东
作者: zczzczzcz 时间: 2017-10-23 10:16
强烈支持楼主ing……
作者: goldowl 时间: 2017-12-26 08:41
强烈支持楼主ing……
作者: wj070621 时间: 2018-3-6 16:46
是什么呢
| 欢迎光临 苏飞论坛 (http://www.sufeinet.com/) | Powered by Discuz! X3.4 |