xxl-job(2.3.0)分布式任务bean模式，GLUE shell调度实践，源码debug

一、xxl-job分布式任务调度入门参考

1.分布式任务调度平台XXL-JOB官网文档
2.其它简单入门案例

二、调度中心简单的源码修改

1.源码git clone http://gitee.com/xuxueli0323/xxl-job
2.修改配置文件，修改了MYSQL EMAIL配置,新增钉钉配置。配置文件多环境支持application-test.properties、application-prod.properteis（通过启动脚本参数-Dspring.profiles.active=test指定，见Dockerfile文件内的JVM参数），这里的配置项不多，使用环境变量方式配置也可以

3.新增的钉钉报警类DingdingJobAlarm，还可以扩展其它的

@Component
@ConditionalOnProperty(name = "alarm.dingding.enable",havingValue = "true")
public class DingdingJobAlarm implements JobAlarm {private final RestTemplate restTemplate = new RestTemplate();@Value("${alarm.dingWebhook}")private String dingWebhook;@Overridepublic boolean doAlarm(XxlJobInfo info, XxlJobLog jobLog) {StringBuilder content = new StringBuilder("任务调度异常报警:").append("{任务名称：").append(info.getJobDesc()).append(",执行器名称：").append(info.getExecutorHandler()).append(",执行器ip：").append(jobLog.getExecutorAddress()).append(",任务参数：").append(jobLog.getExecutorParam()).append(jobLog.getTriggerMsg());HashMap<String, String> cmap = new HashMap<>(2);cmap.put("content", content.toString());HashMap<String, Object> map = new HashMap<>(4);map.put("msgtype", "text");map.put("text", cmap);ResponseEntity<Object> responseEntity = restTemplate.postForEntity(dingWebhook, map, Object.class);HttpStatus httpStatus = responseEntity.getStatusCode();return httpStatus.is2xxSuccessful() && ((LinkedHashMap)responseEntity.getBody()).get("errcode").equals(0);}}

4.修改Dockerfile
基础镜像改为FROM java:8(主要为了减少磁盘空间占用)，增加JVM参数:JAVA_OPTS等（指定profile读取不同的配置文件），新增Dockerfile-prod（正式环境打镜像用）

FROM java:8
MAINTAINER ksc
ENV PARAMS=""
ENV TZ=PRC
ENV JAVA_OPTS -Dname=$JAR_NAME -server -Dspring.profiles.active=test -Xmx800m -Xms800m -Xmn250m -Xss256k -XX:+DisableExplicitGC -XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=/tmp/oom-dump -XX:CMSFullGCsBeforeCompaction=2 -XX:+UseConcMarkSweepGC -XX:+CMSParallelRemarkEnabled -XX:+UseFastAccessorMethods -XX:+UseCMSInitiatingOccupancyOnly -XX:CMSInitiatingOccupancyFraction=80  -XX:MetaspaceSize=150m -XX:MaxMetaspaceSize=150m -Duser.timezone=GMT+8
RUN ln -snf /usr/share/zoneinfo/$TZ /etc/localtime && echo $TZ > /etc/timezone
ADD target/xxl-job-admin-*.jar /app.jar
ENTRYPOINT ["sh","-c","java -jar $JAVA_OPTS /app.jar $PARAMS"]

4.执行数据脚本（/doc/db里面）
5.注释掉父pom中的三个plugin:GPG,javadoc,Source否则jenkin构建镜像时可能出错（流程:mvn+Dockerfile构建镜像，push到nexus3等镜像仓库，ssh免密登录执行远程命令拉取镜像启动容器）
6.配置nginx转发(略)

三、集成到微服务

特别特别特别注意：xxl-job不仅可以替换spring schedule,quatz，还可以替换linux crontab服务器脚本任务,如磁盘清理，数据备份等，参考（GLUE SHELL/PYTHON等），如果需要这方面支持，微服务就不能容器化部署，否则GLUE SHELL脚本任务执行环境是docker容器内。。。

1.新增依赖

 <dependency><groupId>com.xuxueli</groupId><artifactId>xxl-job-core</artifactId><version>2.2.0</version></dependency>

2.新增xxl-job配置类

/*** xxl-job config** @author xuxueli 2017-04-28*/
@Configuration
public class XxlJobConfig {private Logger logger = LoggerFactory.getLogger(XxlJobConfig.class);@Value("${xxl.job.admin.addresses}")private String adminAddresses;@Value("${xxl.job.accessToken}")private String accessToken;@Value("${xxl.job.executor.appname}")private String appname;@Value("${xxl.job.executor.address}")private String address;@Value("${xxl.job.executor.ip}")private String ip;@Value("${xxl.job.executor.port}")private int port;@Value("${xxl.job.executor.logpath}")private String logPath;@Value("${xxl.job.executor.logretentiondays}")private int logRetentionDays;@Beanpublic XxlJobSpringExecutor xxlJobExecutor() {logger.info(">>>>>>>>>>> xxl-job config init.");XxlJobSpringExecutor xxlJobSpringExecutor = new XxlJobSpringExecutor();xxlJobSpringExecutor.setAdminAddresses(adminAddresses);xxlJobSpringExecutor.setAppname(appname);xxlJobSpringExecutor.setAddress(address);xxlJobSpringExecutor.setIp(ip);xxlJobSpringExecutor.setPort(port);xxlJobSpringExecutor.setAccessToken(accessToken);xxlJobSpringExecutor.setLogPath(logPath);xxlJobSpringExecutor.setLogRetentionDays(logRetentionDays);return xxlJobSpringExecutor;}}

3.job业务类，注意2.2.0->2.3.0有些不兼容

@Component
@Slf4j
public class SampleXxlJob {/*** 1、简单任务示例（Bean模式）* ！！！依赖xxl-job-core版本<=2.2.0时*/@XxlJob("demoJobHandler")public ReturnT<String> execute(String param) throws Exception {log.info("xxxxxxxxxxxxxxxxx:"+param);for (int i = 0; i < 5; i++) {TimeUnit.SECONDS.sleep(2);}return ReturnT.FAIL;}/*** 1、简单任务示例（Bean模式）* ！！！依赖xxl-job-core版本>=2.3.0时* *     @XxlJob("demoJobHandler")*     public void demoJobHandler() throws Exception {*         XxlJobHelper.log("XXL-JOB, Hello World.");*         for (int i = 0; i < 5; i++) {*             XxlJobHelper.log("beat at:" + i);*             TimeUnit.SECONDS.sleep(2);*         }*     }* * */}

4.新增配置

xxl:job:accessToken: ''admin.addresses: http://xxx.xxx.cn/xxl-job-adminexecutor:appname: myapp1 #这个类似namespace作资源隔离的，一个调度调度中心可以同时调度N个执行器address: ''ip: ''port: 9993   #这个在微服务里暴露出来的一个netty server端口，调度中心通过该端口调度这个执行器里定义的所有任务logpath: /xxxxxx/xxl-job/jobhandlerlogretentiondays: 10

四、bean模式与glue shell模式使用示例

1.配置执行器，这里的appName对应yml配置的appName

2.bean模式，关键是jobHandler对应 @XxlJob(“cancelPayTimeoutOrder”)

@Component
public class SampleXxlJob {/*** 1、简单任务示例（Bean模式）*/@XxlJob("cancelPayTimeoutOrder")public void cancelPayTimeoutOrder(String param) throws Exception {try {//业务代码System.out.println("调度中心传来的任务参数:"+param);int a=1/0;}catch (Exception e){//注意这里需要手动设置失败，调度中心才能把本次任务标记为失败，并触发告警XxlJobHelper.handleFail("xxxxx");}}

3.GLUE SHELL服务器脚本任务
新建好任务后，进入WEB IDE编写shell脚本即可（其它脚本基本一样的），注意如果任务执行异常，需要返回1，调度中心才会标记该任务为失败并触发告警

五、基本原理，详见官方文档

六、源码debug

从调度中心手动触发“执行一次”调度开始，断点调试执行器端的业务流程，首先进入的是执行器端xxl-job-core的内置服务(该EmbedServer基于netty,端口就是xxl.job.executor.port，服务启动后xxl-job-core内的注册线程会将该服务地址注册到调度中心。XxlJobSpringExecutor impliment SmartInitializingSingleton，XxlJobSpringExecutor在XxlJobConfig配置，实例化该类后便启动netty server)
1.执行器端即接受到调度中心的http请求

2.根据uri路由到executorBiz的不同业务

3.把该请求存入XXljobExcutor内的jobThreadRepository（一个ConcurrentHashMap<Integer, JobThread>,key为jobId），jobThreadRepository就是一个线程池，当接收调度中心的任务调度请求，根据jobId去jobThreadRepository获取JobThread。

4.然后将本次调度请求参数triggerParam存入该JobThread定义的TriggerQueue

5.JobThread每3s去TriggerQueue取出调度任务进行执行

6.执行完后，通过TriggerCallbackThread 发起Http请求告知调度中心本次调度结果。调度中心根据该任务配置判断进行执行器路由及发起重试与否，是否触发告警，最终结果存入mysql用于日志查看，调度报告查看等

七、关于高可用

根据调度原理，执行器内置在业务应用里，业务应用多实例集群部署即可保证HA。调度中心通过http请求执行器触发任务调度业务逻辑，如果调度中心挂了便无法触发调度业务逻辑。调度中心多实例集群部署需要保证使用的同一一个mysql库，同一个时刻多个xxl-job-admin实例向触发器发起任务调度需要先到mysql注册一个DB锁（分布式锁），注册成功的才能向执行器发起调度