功能说明

文章内容采集工具实现了无需编写任何采集规则,只要输入关键词就可以采集海量网络文章,支持各大主流网络平台+大部分自媒体平台的文章采集,支持多线程采集,采集效率高。工具采集使用采集任务的方式,也就是先设定采集任务(可多个),每个采集任务包括采集的具体数据源和具体的采集关键词等信息以及唯一的采集任务名称,采集任务设定好以后,可以对采集任务进行操作:修改、删除、开始采集、停止采集等。

功能主界面

新增采集任务

  • 获取搜索引擎前几页的结果
    本工具采集数据的原理是通过分析搜索引擎(主要是百度、搜狗、头条搜索)收录的关于某个数据源+关键词收录的结果获取具体的数据,因此分析搜索引擎结果越多获取的数据也就越多。默认分析前5页结果,最多可获取前10页的结果。
  • 采集任务名称:
    每个采集任务都必须要设置任务名称,且名称必须是唯一的不能和其他任务名称重复。
  • 启用自动换IP

    本工具采集过程要调用百度、搜狗、头条等搜索引擎以及访问某些网络平台,都可能是涉及到封IP问题,启用本功能,设置代理ip或者adsl拨号服务器可以解决此问题。

修改采集任务


具体操作请看上图。

操作采集任务


采集任务新增完成后,可以对采集任务进行具体的操作。
  • 开始采集
    选定一个任务后,点此按钮可以开始对整个任务执行具体的采集任务,采集过程中,会显示采集的进度和采集到具体的文章数量,可以点击”停止采集“按钮停止采集。
  • 结束采集
    任务采集过程中,点此按钮结束正常进行中的采集任务。
  • 修改采集任务
    选定一个采集任务,点此修改任务,上面的帮助有详细介绍。
  • 删除采集任务
    选定一个采集任务,点此删除该任务。
  • 刷新任务列表
    点击此按钮刷新采集任务列表。