搜索机器人会产生合法的互联网流量,允许搜索引擎索引您的网站。但您可能不希望搜索机器人触发指纹识别。设备指纹服务维护了一套自己的搜索引擎机器人过滤列表,您可以通过需要开启或者关闭该项检查服务。
请注意,通过搜索机器人过滤的请求,不会返回 blackbox,只会返回相关错误提示。
基于的搜索机器人过滤
User-Agent是我们免费提供的一种过滤机制,用于过滤常见且行为良好的搜索机器人。由于检测逻辑不复杂,可能存在漏过情况,我门会定期更新维护机器过滤列表
配置
1.登录客户平台,导航到设备指纹-配置管理-请求过滤-Bots,启用搜索机器人过滤
User-Agent搜索机器人过滤列表
| 来源 | 字符串 | 公共文档 |
|---|---|---|
| Mail.ru | mail.ru | 来源 |
| Microsoft | bingbot AdIdxBot MicrosoftPreview | 来源 |
| Apple | applebot | 来源 |
| Huawei | petalbot | 来源 |
| Naver | naver.me/spd | 来源 |
| Yahoo | slurp | 来源 |
| Baidu | baiduspider | 来源 |
| Sogou | sogou web spider sogou wap spider sogou pic spider | 来源 |
| Exalead | exabot | 来源 |
| Coccoc | coccocbot | 来源 |
| Seznam | seznamBot | 来源 |
googlebot AdsBot-Google Storebot-Google APIs-Google AdsBot-Google-Mobile Mediapartners-Google Googlebot-Image Googlebot-News Googlebot-Video AdsBot-Google-Mobile-Apps FeedFetcher-Google Google-Read-Aloud Google-Site-Verification | 来源 | |
| Yandex | yandex.com/bots | 来源 |
| Bytedance | bytespider | 来源 |
| Duckduckgo | duckduckbot | 来源 |
| Ahrefs | AhrefsBot AhrefsSiteAudit | 来源 |
facebookexternalhit facebookcatalog | 来源 | |
Pinterestbot | 来源 | |
| Cincraw | Cincraw | 来源 |
| Semrush | http://www.semrush.com/bot.html | |
| Seekport | SeekportBot | 来源 |
| Amazon | Amazonbot/0.1 | 来源 |
| DataDog | datadog | 来源 |
