1.1. 推送功能(WEBHOOK)说明

1.2. 什么是推送(WEBHOOK)功能

实时把程序采集到的数据,以HTTP POST协议发送到用户指定的HTTP接口;

该功能是程序为了方便用户对结果进行二次开发扩展与自定义数据处理而提供的个性化功能。

比如用户自定义接口地址为:http://www.xxxx.com/msray.php, 并且在任务中开启了推送功能。

那么程序每采集到一条数据,就会把经过处理后的数据,实时推送到这个网络接口地址(JSON格式)(该数据是经过处理后的,无需担心重复与过滤问题问题)


1.3. 使用方法

1.3.1. 接口开发

使用前,首先需要用户自行开发接收数据推送的API脚本,并上传到能够被互联网访问到的空间。

目前官方提供有PHP程序的DEMO. 后续陆续添加其他语言。

不会编程的用户,可以参考官方提供的DEMO程序进行修改,里面也包含大量注释说明。


1.3.2. 后台配置推送方案

1):新建搜索任务或者爬虫任务时可以在WebHook一栏填写需要推送的地址如图:

推送方案

2):填写参数说明

名称标识:随便填写,方便自己识别即可。因为可能有多个方案;
推送接口地址:填写第一步里面自定义开发的接口访问地址,比如:http://localhost/msray.php

注意:填写前,建议先自己在在浏览器或者postman中测试该接口是否访问正常;\


1.4. 使用官方DEMO实战推送服务功能(PHP环境)

以下步骤,将借助推送功能实现实时存储推送来的采集结果的域名信息到txt中,并且以小时为单位生成存储结果的文件名。

这里是以PHP环境为例的。当前也可以使用Python,java,go,C/C++环境做接口开发。

1.4.1. 安装phpstudy客户端

官网:https://www.xp.cn/download.html
下载地址:https://public.xp.cn/upgrades/phpStudy_64.zip

1.4.2. 运行phpstudy以及apache服务

推送方案

启动服务后,点击【网站】,找到网站域名为localhost的默认虚拟网站,点击后面的管理,选择【打开根目录】,如图:

推送方案

比如我的虚拟网站根目录就是:D:\install\phpstudy_pro\WWW

1.4.3. 复制推送接口文件到虚拟网站根目录

官方PHP推送接口DEMO代码文件路径:sdk/msray.php  (Msray程序的根目录下)

复制msray.php文件,到D:\install\phpstudy_pro\WWW路径下即可;

1.4.4. 验证接口是否正常

浏览器访问: http://localhost/msray.php

如果页面显示"success",则表示访问正常.

1.4.5. 后台配置推送方案

1.4.6. 后台创建任务,使用推送方案;

1.4.7. 查看msray.php同目录下是否生成logs-2022xxxxx.txt文件。该文件里面存储的是采集的域名列表;

Copyright © msray.net 2020 all right reserved,powered by Gitbook文件修订时间: 2023-08-20 22:38:20

results matching ""

    No results matching ""