msray1.4.0 新版本发布,重写与升级大量算法!

信息分类: 最新公告 发布时间: 2022-08-16 16:08:00 访问量: 1466

## 新版本发布(1.4.0)   发布时间:2022-08-16

1. 去除agent数据库信息。直接由txt载入到内存中;
2. 更改logger日志信息组件;
3. IP数据库更新;
4. 配置文件更新;
5. 爬虫(外链)引擎任务队列引擎,改用自研队列组件代替了redis相关操作;
6. 爬虫(外链)引擎任务种子数据存储引擎,改用自研方案代替了redis相关存储;
7. 任务数量统计算法重写与升级,基于内存存储任务结果数量,然后定时更新同步到数据库,提升效率并减少了大量磁盘IO操作;
8. 数据重复判断引擎,改用自研布隆过滤器加强版实现,取代redis相关操作,性能与资源占用大量提升;
9. 入库算法更新,循环单次入库,改为批量入库,减少大量磁盘IO操作;
10. 新增任务对应的被方案过滤结果数量、被重复过滤数量显示;
11. 已采集关键词判断逻辑优化;
12. 命令行提示信息优化,授权信息格式化后显示在顶部,方便识别与查找;
13. 优化任务执行队列,修复部分情况下导致任务排队中需要重启的问题;
14. 重写关键词拓展引擎,改为按需拓展。无需指定线程数!当可用种子关键词不足时,自动触发。防止关键词拓展速度大于消费速度导致的资源浪费与性能降低;