crawlergo 动态爬虫 源码学习.md
crawlergo是一个使用chrome headless模式进行URL收集的浏览器爬虫。它对整个网页的关键位置与DOM渲染阶段进行HOOK,自动进行表单填充并提交,配合智能的JS事件触发,尽可能的收集网站暴露出的入口。内置URL去重模块,过滤掉了大量伪静态URL,对于大型网站仍保持较快的解析与抓取速度,最后得到高质量的请求结果集合。 crawlerg...
2021年9月发布的文章
crawlergo是一个使用chrome headless模式进行URL收集的浏览器爬虫。它对整个网页的关键位置与DOM渲染阶段进行HOOK,自动进行表单填充并提交,配合智能的JS事件触发,尽可能的收集网站暴露出的入口。内置URL去重模块,过滤掉了大量伪静态URL,对于大型网站仍保持较快的解析与抓取速度,最后得到高质量的请求结果集合。 crawlerg...
信息流上线了一个CS上线器 https://i.hacking8.com/cobaltspam 我是照着 https://github.com/hariomenkel/CobaltSpam 来改的,而CobaltSpam是https://github.com/Sentinel-One/CobaltStrikeParser fork修改的,后者是用于解析be...
热门文章