crawlergo 动态爬虫 源码学习.md
crawlergo是一个使用chrome headless模式进行URL收集的浏览器爬虫。它对整个网页的关键位置与DOM渲染阶段进行HOOK,自动进行表单填充并提交,配合智能的JS事件触发,尽可能的收集网站暴露出的入口。内置URL去重模块,过滤掉了大量伪静态URL,对于大型网站仍保持较快的解析与抓取速度,最后得到高质量的请求结果集合。 crawlerg...
crawlergo是一个使用chrome headless模式进行URL收集的浏览器爬虫。它对整个网页的关键位置与DOM渲染阶段进行HOOK,自动进行表单填充并提交,配合智能的JS事件触发,尽可能的收集网站暴露出的入口。内置URL去重模块,过滤掉了大量伪静态URL,对于大型网站仍保持较快的解析与抓取速度,最后得到高质量的请求结果集合。 crawlerg...
信息流上线了一个CS上线器 https://i.hacking8.com/cobaltspam 我是照着 https://github.com/hariomenkel/CobaltSpam 来改的,而CobaltSpam是https://github.com/Sentinel-One/CobaltStrikeParser fork修改的,后者是用于解析be...
SigFlip原理:将数据隐写到已签名的PE文件上 Github地址: https://github.com/med0x2e/SigFlip 可以怎么玩呢,可以白加黑当冲锋马的时候,白文件写入shellcode,黑文件加载白文件的shellcode。 也可以做维权使用,将shellcode注入到系统的白文件中,dll劫持或者loader加到启动项里面...
对blackhat和defcon一些感兴趣的议题做了一些小结。 静态分析blackhat里面一个静态分析引擎的议题。 https://www.blackhat.com/us-21/briefings/schedule/index.html#do-you-speak-my-language-make-static-analysis-engines-unde...
*********该文章已被作者加密*********
以前很爱总结,没事就总结一下反省一番,其实是我时间太多不知道干嘛了,用总结来强制规划一下未来要做的。 现在空闲的时间很少,有很多问题等着去探索,但有些时候会感到不知所措,事情似乎干完了,又似乎没干完,似乎学到了,又似乎没学到。我想这可能是我上半年没有一个准确的目标导致的,不知道该往哪个地方去努力。 所以还是有必要写一篇文章,来总结一下上半年和展望一下下半...
Go默认编译会自带一堆信息,通过这些信息基本可以还原Go的源码架构, 本文就是研究如何消除或者混淆这些信息,记录了这个研究过程,如果不想看可以直接跳到文章末尾,文章末尾提供了一款工具,可以一键消除Go二进制中的这些敏感信息。 但还是推荐看看研究过程,可以明白这个工具的运行原理。 从逆向Go开始先写一个简单的程序 我的go版本是 go version...
本文就是讲述一下Hacking8信息流更新的内容以及如何利用Hacking8打造自己的知识信息流。 关于Hacking8信息流有关网络安全的资讯获取渠道很多,论坛,新闻,微博,Twitter,rss订阅大牛的博客,各种技术平台、微信公众号、知识星球等等,有时候也想关注一下cve和cnvd自己感兴趣的内容。hacking8整合了这些资讯,只用访问hackin...
在v2看到一个帖子,里面作者写了一个rss并且使用了广告过滤,项目地址:https://github.com/howie6879/2c 有时候看信息流会看到整屏的刷屏广告,所以也有做一个广告识别的想法。 这个需求很常见,在看《黑客与画家》的时候,作者就用过贝叶斯分类来识别出垃圾邮件。但这本书出版于2004年,所以当时我看的时候就有个疑惑,现在的环境下,贝...
ALaris shellcode 免杀loader 技术原理看到一个GitHub项目:https://github.com/cribdragg3r/Alaris 最近更新时间是30天前,vt上查杀是0,所以看看有什么免杀的黑科技,本文是一篇记录笔记,该GitHub上提供了一些参考资料,我看了这些参考资料后,也一并整理了出来(国外作者的资料非常朴实,会告...
热门文章
452 次阅读 , 0 则评论