小草窝博客

2023-7-8阅读(2739)评论(0)

从0实现网络安全“小”模型自从chatgpt发布后一直关注如何和网络安全融合，最近一直在学习GPT相关内容，传统的用文本向量相似度索引的方式局限太大。 所以想到自己训练或微调，受限于算力，很多地方都不好验证，于是想做一个本地能跑起来的GPT学习研究。 GPT的发展史 2018年 GPT1发布，作者用5G的书籍文本做无监督学习预训练，架构为12层tran...