1. 软件介绍

Msray-plus，是一款采用GO语言开发的企业级综合性爬虫/采集软件。

支持亿级数据存储、导入、重复判断等。无需使用复杂的命令，提供本地WEB管理后台对软件进行相关操作，功能强大且简单易上手!

核心功能为：

1：可从国内外多个搜索引擎批量采集用户导入的关键词对应的搜索结果(SERP数据)，并进行结构化数据存储与自定义过滤处理；
2：可从用户提供的url种子地址，源源不断的自动爬取全网网站数据，并进行结构化数据存储与自定义过滤处理；
3：可从用户提供的网站列表数据中，全自动的提取出网站联系方式信息，包括但不限于邮箱、手机/电话、QQ、微信、facebook、twitter等。

同时支持存储域名、根网址、网址(url)、IP、IP所属国家、标题、描述、访问状态等多种数据，主要运用于全网域名/网址/采集、行业市场研究分析、指定类型网站采集与分析、网络推广分析以及为各种大数据分析等提供数据支撑。

2. 系统优势

采用GO语言开发(企业级项目标准)。核心服务端具有跨平台优势;

搜索引擎结果(SERP数据)采集，支持多搜索引擎并行式采集+每个引擎多线程搜索，效率高；

支持国内外多个知名搜索引擎，可突破安全验证! 包括但不限于百度(电脑端+移动端)、谷歌(google)、必应(bing)、神马、yandex、Qwant等；

采用B/S核心架构，并研发有windows客户端界面，无需使用命令,方便上手与降低使用难度。

支持按任务细粒度自定义，自定义开启与关闭指定的搜索引擎，自定义线程数等；

采集效率高,日采集百万/千万级不重复无压力；

系统资源占用小，CPU和内存压力超小；

可智能识别结果中的泛域名站群，并自动加入黑名单，防止大量同一域名的子二级域名；

使用简单便捷，无需技术经验也可以快速上手使用；

支持无限采集，支持搜索引擎相似搜索词的自动抓取与自动化扩展添加种子关键词；

高效的全自动结果防重复功能(100%无重复)；

超全面的多种过滤方案支持，比如按域名级别、按标题、按内容、按国家、按域名后缀等等;

可保存域名、根网址、网址(url)、IP、IP所属国家、标题、描述等多种数据;

全面的数据导出功能，支持按任务定制多种格式数据导出，也支持按时间(比如按天)导出所有结果，甚至无需人工导出自动生成记录保存到本地;

支持数据实时推送功能接口，可自定义接收数据的HTTP接口地址，方便扩展开发与对数据进行自定义二次处理，比如联动其他软件;

不定期更新其他扩展功能，如"同服务器IP网站查询"功能，可免费使用。

完善的在线说明文档，稳定与快速的版本更新服务;