Page 63 - 清流雙月刊 NO.50

AI 世代

提示注入是指用戶嘗試注入惡意的內容，促使 AI Lakera 開發的「甘道夫挑戰」主要在測試用戶提示注
輸出非預期或不被允許的答案。（Source: DAIR.AI, 入的技巧和內容，並藉此觀察 AI 系統 ChatGPT 的防禦
https://www.promptingguide.ai/zh/risks/adversarial） 能力。（Source: Lakera, https://gandalf.lakera.ai）

或不被允許的答案，例如輸出用戶的 四、洩漏機敏資料（Sensitive Information

密碼或是提供犯罪指引。 Disclosure）：LLM 可能無意間洩漏其
他使用者的機敏資料。
二、不安全輸出管控（Insecure Output
Handling）：不審查輸出可能導致洩 以 Prompt Injection 為例，它已經

漏後門，或其他種類的資安攻擊，例如 被資安組織 OWASP 列為 LLM 的首要威
XSS（跨網站指令碼）、CSRF（跨站請 脅。相較於以往的資安攻擊，提示注入

求偽造）、SSRF（伺服器端請求偽造）、 能以一般語言輸入，技術門檻相較非常
提權攻擊或是遠端執行程式等。 低，因此很容易實現。由人工智慧安全

防護公司 Lakera 開發的「甘道夫挑戰」
三、訓練資料污染（Training Data Poison-
5
即是一個簡易的測試網站， 也歡迎讀者
ing）：可能導致引進漏洞、降低效能
親自體驗。
或倫理議題。

5 Gandalf, https://gandalf.lakera.ai.

No.50 MAR. 2024 61