ChatGPT越狱：网络犯罪的利器

关键要点

ChatGPT越狱手法在网络犯罪论坛上不断增加，成为网络犯罪分子的热门工具。黯然安全的研究显示，多个国家赞助的黑客组织正在利用ChatGPT进行社交工程等恶意活动。企业需要增强对生成AIGenAI带来的新型网络攻击的防御能力，包括使用工具如CheckGPT来识别潜在的AI生成邮件。越狱技术的多样性以及网络犯罪分子的持续活动，提醒组织必须重视这一威胁。

ChatGPT的越狱手法已经成为网络犯罪分子日益流行的工具，自该突破性聊天机器人的公开发布以来，这类手法在黑客论坛上的传播几乎没有减缓。以至于目前已经出现了多种针对OpenAI内容和安全政策的有效规避策略，这使恶意行为者能够生成网络钓鱼邮件及其他有害内容。

轻蜂加速器

“自ChatGPT早期以来，越狱提示和生成AI滥用在网络犯罪论坛上的普及确实在提高。虽然在2022/2023年期间我们曾初步讨论过这项技术的潜力，但我们观察到对特定越狱提示的详细讨论趋势逐渐增强，” Abnormal Security的首席信息安全官Mike Britton在给SC Media的邮件中表示。“现在，论坛上专门有整片区域用于讨论AI的滥用，尤其是在两个主要的网络犯罪论坛上。”

不仅仅是“脚本小子”在使用这些手法。今年早些时候，微软揭示俄罗斯、朝鲜、伊朗和中国五个国家赞助的威胁组织正在利用ChatGPT进行从社交工程到脚本帮助及漏洞研究等多种任务。

在2023年的一份研究报告中，Abnormal Security识别出五个很可能是由AI聊天机器人生成的恶意邮件活动，强调了AI在其邮件生成中运用社交工程策略的能力，如产生紧迫感。

生成的可疑AI邮件在拼写和语法错误方面显著少于常见的网络钓鱼邮件，从而增添了其合法性。

“我们看到的最常见的越狱ChatGPT的使用案例以及利用其他恶意版本是发起社交工程攻击，无论是为了凭据钓鱼、商业邮件妥协，还是供应商欺诈，”Britton说道。“生成AI使威胁行为者可以在数量和复杂性上规模化这些社交工程攻击。”

越狱手法的种类和应用

周一，Abnormal Security 发布了一篇博客文章，Highlight了网络犯罪者正使用的五个越狱提示。尽管这些越狱手法并不新颖，但多样性及其持续受欢迎程度提醒组织：对抗生的生成AI是一项不容忽视的威胁。

“随着网络犯罪分子继续将生成AI武器化应用于邮件攻击，组织可能需要在其网络策略中考虑这一威胁。有一些工具可以帮助解决这个问题比如，Abnormal去年推出的 CheckGPT，这个工具能帮助公司确定可疑邮件是否是使用生成AI编写的，”Britton补充道。

Prompt工程是新的社交工程吗？

Abnormal Security概述的越狱手法主要依赖于两种策略：让ChatGPT“角色扮演”成一个未过滤的机器人，或是“欺骗”AI相信自己正处于一个生成有害内容是可以接受的特定场景中。

例如，“Do Anything Now”是一个众所周知的ChatGPT越狱策略，已经流传一年多，它让聊天机器人扮演一个名为DAN的不同AI形象。

这种替代的人物“已经摆脱了AI的典型约束，”正如一个在“黑暗AI”论坛主题中共享的提示所述，通过采用这个角色，ChatGPT能够生成违背OpenAI政策的内容。

另一种方法涉及告知ChatGPT