ChatGPT参数泄露事件详细回顾

最新研究来自南加州大学揭示了一个引人注目的发现：他们使用一种攻击方法成功披露了gpt-3.5-turbo模型可能只有70亿参数规模，花费不到1000美元。以下是该事件的详细回顾：

事件背景与重要发现

• 研究团队揭示未公开的gpt-3.5-turbo嵌入向量维度为4096或4608。
• 推测该模型的参数规模约为70亿，除非采用MoE架构。
• 曾有微软CODEFUSION论文意外泄露GPT-3.5模型参数为20B，后被删除。
• 团队利用获取到的输出样本，拼凑出大模型的特征向量维度。

攻击方法及影响

• 通过获取足够多的输出样本，可以推断大模型的参数规模和还原完整的概率输出。
• 在API更新时也能发现变化，并根据单个输出确定模型来源。
• 论文探讨了应对这种攻击的方法，认为挑战在于消除攻击可能会降低大模型的实用性或成本高昂。

论文结论和展望

• 论文提出这种攻击有助于建立供应商和客户之间的信任，并促使大模型公司提供更高的透明度。
• 对攻击进行跟进监测可以帮助发现模型变更，促进模型供应链更为透明和可信。