写了个基于kratos的服务,基本需求是:可以增删管理定时任务(如配置每天、每周发个统计报告),支持分布式结构,持久化任务。加分项包括:注册回调、结果和日志记录、失败重试等。 看kratos已经支持的transport有两个:asynq和machinery,但似乎都不满足需要基本的持久化任务需求,machinery甚至还不能删除已经添加的任务。 // RegisterPeriodicTask register a periodic task which will be triggered periodically func (server *Server) RegisterPeriodicTask(spec, name string, signature *tasks.Signature) error { //check spec schedule, err := cron.ParseStandard(spec) if err != nil { return err } f := func() { //get lock err := server.lock.LockWithRetries(utils.GetLockName(name, spec), schedule.Next(time.Now()).UnixNano()-1) if err != nil { return } //send task _, err = server.SendTask(tasks.CopySignature(signature)) if err != nil { log.ERROR.Printf("periodic task failed. task name is: %s. error is %s", name, err.Error()) } } //scheduler基于github.com/robfig/cron/v3 _, err = server.scheduler.AddFunc(spec, f) return err } 考虑到服务可能会重启,那么添加过的任务如何恢复呢?如果没有这样的库,考虑基于"github.com/go-co-op/gocron" 自己封装一个,配置的任务保存在redis中,服务启动的时候全量初始化,之后订阅对应的主题,再通过分布式锁来保证执行的唯一性,这样是否可行?
服务系统:CentOS7.9 Python环境:Python3.8.6 项目背景:收银台自动化脚本 我在CentOS7 中创建了一个虚拟环境,自动化交是可以正常执行的。但是当我打算用crontab做定时任务的时候,一直报错。脚本里面用到的这个Browsermob-Proxy是一个代理,可以理解为抓包用的。 ImportError while loading conftest '/home/lawrence/workcode/Auto_Cashierx/conftest.py'. conftest.py:7: in from common.proxy_manager import ProxyManager common/proxy_manager.py:51: in ProxyManager() common/proxy_manager.py:26: in __init__ self.server.start() venv/lib/python3.8/site-packages/browsermobproxy/server.py:127: in start raise ProxyServerError("Can't connect to Browsermob-Proxy") E browsermobproxy.exceptions.ProxyServerError: Can't connect to Browsermob-Proxy /bin/sh: allure: 未找到命令 /bin/sh: allure: 未找到命令 Traceback (most recent call last): File "run_case.py", line 88, in get_result() File "run_case.py", line 39, in get_result with open("report.json", "r", encoding="utf-8") as f: FileNotFoundError: [Errno 2] No such file or directory: 'report.json' (PS: ‘allure: 未找到命令’ ,从这往下都不影响程序执行) 我试过很多种办法,包括直接在crontab里面定义 0 8,15,21 * * * source /home/lawrence/workcode/Auto_Cashier/venv/bin/activate && /home/lawrence/workcode/Auto_Cashier/venv/bin/python3 /home/lawrence/workcode/Auto_Cashier/run_case.py 或者是在sh脚本里面编写 #!/bin/bash cd /home/lawrence/workcode/Auto_Cashierx/venv/ source ./bin/activate cd /home/lawrence/workcode/Auto_Cashierx venv/bin/python run_case.py deactivate >> /tmp/cron_output.log 2>&1 但最终都会报上面的错误。我直接把crontab里面的内容复制出来,是可以正常执行的。找了一天,没找到解决办法。请求各位的帮助。