PromptBench:大型語言模型的對抗性基準測試

PromptBench采用多種對抗性文本攻擊，研究人員生成了4000多個對抗性提示，然后通過8個任務(wù)和13個數(shù)據(jù)集對其進行評估。這種全面的方法確保了潛在漏洞的廣泛覆蓋，并提供了對LLM性能的可靠評估。

這項研究的結(jié)果表明，當代LLM很容易受到對抗性提示的影響。這個漏洞是一個需要解決的關(guān)鍵問題，以確保llm在實際應(yīng)用程序中的可靠性和健壯性。作為數(shù)據(jù)科學(xué)家，我們必須意識到這些漏洞，并努力開發(fā)能夠抵御此類對抗性攻擊的模型。
論文還提供了快速減輕這些漏洞的建議。這些建議對于任何使用大模型的人來說都是非常寶貴的，并且可以指導(dǎo)開發(fā)更健壯的模型。

研究人員已經(jīng)公開了研究中使用的代碼、提示和方法。我們必須繼續(xù)調(diào)查，在它們研究的基礎(chǔ)上進行更深入的研究，共同努力推進模型的改進，已經(jīng)包括的模型如下：

• google/flan-t5-large
• databricks/dolly-v1–6b
• llama-13b
• vicuna-13
• cerebras/Cerebras-GPT-13B
• EleutherAI/gpt-neox-20b
• google/flan-ul2
• chatgpt

論文和研究地址：https://arxiv.org/pdf/2306.04528.pdf
https://github.com/microsoft/promptbench