TASKCTL在互联网应用中的解决方案——TASKCTL与网络爬虫的协同案例

大家好！相信使用taskctl的用户们应该大多都看过《基于taskctl实现kettle任务调度》的帖子，这篇帖子是taskctl应用于数据分析的经典解决方案之一。今天再给大家分享一篇该产品在互联网应用中的解决方案——taskctl与网络爬虫的协同。
近年来，伴随着互联网的普及，线上化业务种类越来越丰富，如购物消费、出行旅游和投资理财等。面对琳琅满目的商品和服务，大多数消费者往往都有抓瞎的感觉。在这海量的信息面前，不知道该从何下手。为了提升用户体验，许多运营平台都推出了自己的比选/推送服务，让用户能通过自己的偏好来选择心仪的商品或服务。其实，比选/推送看似玄妙，实质的原理却很简单，就是通过网络爬虫去指定网页抓取相应的数据，将同类数据汇总加工后，推送到线上渠道供用户使用。
早期的数据来源单一、数据量级较小，抓取加工工作大多是由人工完成。现在无论是数据源，还是数据量都已经是成指数倍的增长，单靠人工已无法胜任数据抓取收集的工作了。因此，自动化是这个领域的首选技术。比选/推送服务的流程请见上图业务流程。
流程中有两个部分都用到了自动化调度技术，分别是数据抓取和数据计算。其中，数据抓取可通过自动化工具来控制网络爬虫，按照规则在指定的网站获取数据。然而，在数据抓取领域的大多数技术人员技能较单一，更多的是依赖windows平台上附带的“计划任务”配置定时爬数据。这种定时方案相对落后且繁杂，在爬虫任务数量较多，并且有一定的管理需求和定时需求时，很难有效的提供支持。相对以上的方案，通过专业的调度工具在linux平台调用爬虫，能更灵活、更稳定的抓取