请选择 进入手机版 | 继续访问电脑版

小安营销软件站_群发采集推广工具_精品源码下载

 找回密码
 立即注册

QQ登录

只需一步,快速开始

查看: 1216|回复: 0

easyui实战开发教程之布局通用采集器(一)

[复制链接]

850

主题

855

帖子

1万

积分

管理员

Rank: 11Rank: 11Rank: 11Rank: 11

积分
13088
发表于 2018-2-8 11:31:41 | 显示全部楼层 |阅读模式
    最近终于把基于规则的通用采集器写完了,这算是个个人项目,但是不算完善,这里就说说这个东西的功能和实现用到的一些技术。

    这个加佳乐采集器,他能做什么呢?以前写小说站的时候,我对每个需要收集数据的项目都做了专有的采集工具,后来发现,如果每写一个项目如小说,那么就需要写个基于java或.net或C的收集程序也麻烦了点,干脆写个通用的,多任务的,多用户的,运行在服务器的采集端。

    这样,我每次只需要配置少量的规则,就能源源不断的提供数据给我的网站,是很轻松的一件事情,当然,我的博客是不会在去采了,毕竟这个博客我打算做成原创型。

    那有的朋友可能说了,如果是公共采集,火车头也能做到,没错,但是火车头我以前用只能是基于本地的,我如果要采,还需要一直开电脑,这点我不太喜欢,如果是服务器自己运行就很好了。所以,我的这个工具能脱离本机,只需要打开一个网页,配置简单的规则,就能获得数据。

    大致原理就是,1、打开系统,设定采集规则(采那个地方,监控采还是采指定页数等)。2、设定内容解析后提交规则(内容中需要的字段如title等),目前可以存放到你指定的某个数据库的某个表中,也可以提交到某个接口(一段网址)。3、关闭网页即可。

    程序也存在一些bug所以没有放出来,是基于多用户,多任务的,就是说每个人有一个用户名,能发布自己的采任务,并且能暂停和启动等操作。有个缺憾是,服务器所在的机房ip段可能被采的目标端屏蔽,这就能能从采端的java方面着手,用代理来实现,不过目前我先不考虑。

    大致功能如上,用到的技术主要有
    1.easyui,一个基于jquery的前端ui框架,
    2.java的jsoup包,mysql包json包和任务调度操作等
    3.php相关curd操作mysql,smarty模版引擎 mvc
    4.php调用java的相关技术 这里采用 php-java-bridge这个库,我是基于linux,这里我花了大量时间来实战,踩了很多坑。

    基本上就是这些,这是这个系列的初篇,只放几张用easyui做出来的系统截图,我个人觉得挺美观的,更接近于winform程序 如果你又兴趣可以看后续的几篇。




您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

QQ|Archiver|手机版|小黑屋|小安营销软件站 ( 蜀ICP备14026099号-2 )

GMT+8, 2019-5-24 03:45 , Processed in 0.454986 second(s), 23 queries .

Powered by Discuz! X3.4

© 20011-2018 myk3.com Inc.

快速回复 返回顶部 返回列表