http://www.sufeinet.com/plugin.php?id=keke_group

苏飞论坛

 找回密码
 马上注册

QQ登录

只需一步,快速开始

分布式系统框架(V2.0) 轻松承载百亿数据,千万流量!讨论专区 - 源码下载 - 官方教程

HttpHelper爬虫框架(V2.7-含.netcore) HttpHelper官方出品,爬虫框架讨论区 - 源码下载 - 在线测试和代码生成

HttpHelper爬虫类(V2.0) 开源的爬虫类,支持多种模式和属性 源码 - 代码生成器 - 讨论区 - 教程- 例子

查看: 3613|回复: 5

[综合] QQ空间工具编写过程解密——数据采集

[复制链接]
发表于 2015-5-6 16:52:03 | 显示全部楼层 |阅读模式
二、数据采集:
下面在说说如果采集大量的说说内容,然后用清溪QQ空间秒评工具里面的批量发说,进行批量发说。
数据采集工具有许多,目前最出名的要数火车数据采集器。下面就以他为例具体说明如何采集数据。
目标网址:特斯拉英语
分析:打开网址后我们发现目录共50页,每一页的网址非常有规律,只是118_后面的数字从1到50
步骤 :1、在火车采集器中新建一个分组(相当于文件夹),然后再新建一个任务。采集网址规则à添加à批量多页à地址格式(把118_后面的数字换成(*),就是换成下边的等差数列)à等差数列,排成1~51的数字à添加,完成。 这样目录的网址就全了,一共51页。
2、有目录没有用,我们要的是内容页,点击多级网址à添加à
然后选 自动分析链接,但是分析出来的网址会很多很多,包括广告什么的。要筛选一下,观察一下内容页面,开头部分都一样,所以就在必须包含里面填上:
同时把下面的检测重复网址选上,因为右边最新栏里和目录内容是重复的,每一页都有这个,会重复很多,选上他就没有重复的了。这样网址采集就设置好了。
3、下面开始采集内容:我们只需要两项,一个是内容,一个是图片的地址。
观察内容页代码,我们发现所有内容都在<p>  图片地址  内容    </div> </p>  都在这里面,设置前后字符串如下,①但是里面有的还含有“相关标签:励志”等这样的信息,我们要用正则把他干掉,把<span>相关标签:</span>.*</p> 替换为空,如下图。②图片的地址都是相对地址,我们需要的是全地址,而且有的是外链,所以直接添加主域名是不行的,这么常用的功能,火车采集器有,在文件下载à将相对地址补全为绝对地址选中就可以了。③采集好的内容里面有各种html标签很烦人,添加àHTML标签排除à全选à确定,确定。④采集的数据会有好多%83等这样的html转意符,我们要解析出来,选字符解码,HTML Decode。⑤、采集数据时由于网络问题或其他限制有时会采集不到,我们选采集结果不得为空,采集结果不得重复。然后到文件保存及部分高级设置里面把对不符合标签必须包含和不得包含的记录标记为未采集。这样内容就采集好了。
图片的采集规则:
注意刚刚内容采集里面包含图片,但是取出HTML标签时给干掉了。现在咱们只要图片地址,别的不要,内容和刚才一样,不过这个比较松,前后截取用<p>    </p> 中间就行了。然后选上不全绝对地址。然后在添加一个 提取第一张图片 ,再添加一个不全单网址。就把相对地址彻底转换为绝对地址了。内容采集就全完成了。
3、发布内容设置
就是把采集好的数据保存下来,其实可以不用。采集好之后,在采集任务上右键,选打开Data下认为文件夹,就能看到采集的db3文件,用sqlite打开就行了,老版本是mdb用access打开的。
下面介绍发布内容设置,最好选保存在一个Csv文件里,如何选多个很保存很多很多文件,Csv是能转换成excel的,直接保存excel很慢,而且很多功能不支持。文件模板要自己改一下。用记事本打开csv模板文件,不要用excel,然后把下面内容写上。
序号,说说内容,图片地址,状态
,[标签:内容],[标签:图片],
文件名用  [任务名]-[任务Id]--yyyy-MM-dd HH-mm-ss  这样比较好识别。
最后在文件保存及部分设置里可以设置多线程,异步等。
设置好之后,把 采网址,采内容,发布都选上,然后开始,当然也可以直选一个。
但是特斯拉网站服务器安装了安全狗软件,你过于频繁操作就被禁止了。当然可以清空cookie恢复,但还被禁止就只能等了。当然也可以研究一下绕过安全狗的方法,也是可以的。
安全狗设置的截图:以后自己的服务器也要装这个。完全免费的,和360一样。
采集好之后,保存到excel里面,然后用清溪QQ空间秒评工具批量发说功能就可以批量发说了。QQ空间发带 网络图片说说1分钟能发16条,空间最新动态一个人连续显示5条。
本文由正态分布X~N(μ,σ2 ) QQ2052702900写于2015年2月26日。
【注】所有文字,均为个人学习总结,仅当个人留存。若君不幸踏访,切勿讥讽,确有可取之处,不妨随心借取,确有错漏之处,还望不吝赐教。










1. 开通SVIP会员,免费下载本站所有源码,不限次数据,不限时间
2. 加官方QQ群,加官方微信群获取更多资源和帮助
3. 找站长苏飞做网站、商城、CRM、小程序、App、爬虫相关、项目外包等点这里
 楼主| 发表于 2015-5-6 16:53:53 | 显示全部楼层
占个沙发!
回复

使用道具 举报

 楼主| 发表于 2015-5-6 16:57:31 | 显示全部楼层
战个板凳
回复

使用道具 举报

 楼主| 发表于 2015-5-6 16:57:56 | 显示全部楼层
回复

使用道具 举报

发表于 2015-5-6 19:20:42 | 显示全部楼层
图都挂了。
回复

使用道具 举报

 楼主| 发表于 2015-5-6 20:39:39 | 显示全部楼层

为什么呢?我从我QQ空间复制的。我的电脑能看!
您需要登录后才可以回帖 登录 | 马上注册

本版积分规则

QQ|手机版|小黑屋|手机版|联系我们|关于我们|广告合作|苏飞论坛 ( 豫ICP备18043678号-2)

GMT+8, 2024-5-18 18:36

© 2014-2021

快速回复 返回顶部 返回列表