利用 XXL-JOB 实现灵活控制的分片处理

码志 at 
利用 XXL-JOB 实现灵活控制的分片处理的配图
本文讲述了一种利用 XXL-JOB 来进行分片任务处理的方法,另外加入对执行节点数的灵活控制。场景现在一张数据表里有大量数据需要某个服务端应用来处理,要求:能够并行处理;能够较灵活地控制并行任务数量。压力较均衡地分散到不同的服务器节点;思路因为需要并行处理同一张数据表里的数据,所以比较自然地想到了分片查询数据,可以利用对 id 取模的方法进行分片,避免同一条数据被重复处理。根据第 1、2 点要求,本来想通过对线程池的动态配置来实现,但结合第 3 点来考虑,服务器节点数量有可能会变化,节点之间相互无感知无通信,自己在应用内实现一套调度机制可能会很复杂。如果有现成的独立于这些服务器节点之外的调度器……