4 月 2 日消息，生成式 AI 迅速崛起的同時，其安全性、隱私性及可靠性問題亦愈發突出。為應對潛在威脅，如 Supremacy AGI（聲稱掌控全球的 AI）等事件的發生，微軟近期推出了一系列措施，以確保生成式 AI 的穩定運行。

微軟公開聲明：“確保生成式 AI 免受提示詞注入攻擊已成為一項關鍵任務。這類攻擊企圖通過操縱人工智能系統達成其意料之外的結果，如制造不良內容或泄露敏感數據。”

為此，微軟首先縮減了 Copilot 的字符數，以減輕幻覺現象；其次引進了“基礎檢測”功能，幫助用戶識別基于文本生成的幻覺。此功能能夠自動偵測文本中的“不實內容”，優化 LLM（邏輯語言模型）輸出品質，提升模型質量與公信力。

以下是部分對應產品如下：

1. Prompt Shields：專用于檢查并制止提示注入攻擊，新型模型目前正在Azure AI Content Safety內展示，不久后即可正式上線；

2. Groundedness detection：專注于追蹤模型輸出中的“幻覺”狀況，即將發布；

3. Safety system messages：協助模型實現安全、負責任的發展方向；

4. Safety evaluations：檢測應用程序越獄攻擊及生成內容危險性的脆弱性，已開啟測試版本；

5. Risk and safety monitoring：旨在掌握可能觸發內容過濾器的模型輸入、輸出及終端用戶信息，提供風險降低參考，預定發布時間，技術演示版現已在Azure OpenAI服務內呈現。