标签 : 1个相关结果 0次浏览

公司最近要做防抓取的事情,为了防止误封蜘蛛IP,需要把蜘蛛的IP列入白名单,于是简单的给同事整理了一些小东西。 1.可以拉近期几个月或者半年的访问日志,通过UA识别蜘蛛,记录蜘蛛IP。 2.另外搜 …