滕磊的个人网站
javascript css html mongodb typescript linux docker mysql 美文 经典语录 励志 句子摘抄 名人名言 座右铭
» 标签 » 网页爬虫
  • 屏蔽AhrefsBot蜘蛛的方法
    最近,查看网站访问日志,发现大量来自 AhrefsBot 的爬取记录:51.222.253.8 - - [27/Jan/2022:05:35:04 +0000] "GET / HTTP/2.0" 200 5862 "-" "Mozilla/5.0 (compatible; AhrefsBot/7.0; +http://ahrefs.com/robot/)" 51.222.253.19 - - [27/Jan/2022:05:57:51 +0000] "GET / HTTP/2.0" 200 5762 "-" "Mozilla/5.0 (compatible; AhrefsBot/7.0; +http://ahrefs.com/robot/)" 51.222.253.7 - - [27/Jan/2022:06:10:48 +0000] "GET /c_docker HTTP/2.0" 200 2029 "-" "Mozilla/5.0 (compatible; AhrefsBot/7.0; +http://ahrefs.com/robot/)"

简体字繁体字转换工具 图片转base64编码 rgb转16进制 rgb颜色对照表 在线小工具 古诗词 古诗词问答

Copyright @tides.cn 苏ICP备20031417号-2