资 源 简 介
moved to https://github.com/myshzzx/mlib/tree/master/core/src/main/java/mysh/crawler2
爬虫特点:
1. 插件驱动. 爬虫本身可视作http访问和持久化引擎, 爬虫的目标和数据处理由插件定义.
2. 高并发. 视自己的网络环境自由配置.
3. 持久化支持. 这里使用 MySQL, 要换的同学自行配置.
使用:
配置在 conf/mycrawler.properties
库表定义在 conf/sql.sql
程序入口在 mysh.crawler.core.MyshCrawler
