各平臺和其他互聯網參與者使用自動程序對其系統上的非法內容進行處理，如仇恨言論或恐怖主義內容。他們還使用相同的技術來要求其用戶強制執行自己的自愿服務條款，以維護網絡環境的穩定性和吸引力。

來自監管部門的壓力，要求更多地依賴自動化來進行內容刪除，這有可能會削弱網絡空間的合法性。

由“民主與科技中心(Center for Democracy and Technology)”在布魯塞爾主辦的小組討論會中，我講述了AI驅動的內容檢測技術的功能和局限性。其他小組成員包括現在就職于標普全球公司(S&P Global)的Armineh Nourbakhsh，她講述了在路透社協助開發的Tracer工具，然后在“民主與科技中心”就職的Emma Llansó講述了她最近參與合著的論文《混合信息?自動社交媒體內容分析的局限性》。來自歐盟委員會的Prabhat Agarwal提出了一個富有洞察力的決策者觀點。

各平臺和其他互聯網參與者使用自動程序對其系統上的非法內容進行處理，如仇恨言論或恐怖主義內容。他們還使用相同的技術來要求其用戶強制執行自己的自愿服務條款，以維護網絡環境的穩定性和吸引力。最后，有一種中間類型的內容，它不僅不吸引人，本身并不完全違法，但它是有害的，需要加以控制。虛假消息傳播活動就屬于這一類。

來自政府的壓力要求使用自動化系統，這一情況日益增長

現在我們討論將這些內容自動刪除的原因不僅僅是在技術上的。政策制定者非常關注用于內容檢測的系統的有效性，并且正在推動平臺來做越來越多的工作。有時這會滲透到監管的法規要求中。

最近歐盟宣布的防止網上恐怖主義內容的試行條例就是一個很好的例子。人們非常關注于該條例，其允許歐盟成員國的國家主管機關來要求各個平臺在收到通知后一小時內刪除特定的恐怖主義內容。但更令人擔憂的是，該條例要求各平臺采取“主動措施”，以便從一開始就防止恐怖主義內容出現在平臺上。由于主動措施是一些針對恐怖主義內容的自動屏蔽系統，因此該試行條例明顯削弱了當前電子商務指令的效力，以強制監測系統擔負起監督恐怖主義內容。更糟糕的是，如果某一家公司收到過多的刪除指令，卻無法與監管機構所設計的改進目標達成一致，則該公司可能需要部署和維護監管機構所指定的某個自動內容刪除系統。

需要采取保護措施以使內容刪除決定變得公平

內容刪除決定必須有明確的標準，這些標準必須透明，以便用戶對超出范圍和可接受范圍能形成預期。此外，需要對單個內容刪除決定進行解釋，這一決定應說明觸發該決定的內容的特定特征或方面。最后，因為沒有一個系統是完美的，所以需要一個補救機制，以便在內容被錯誤刪除后能夠恢復。作為一個榜樣，請看看美國信貸業的做法，他們數代人將這些透明度、解釋說明和補救機制融入其工作中。

出于EmmaLlansó在她的論文中概述的原因，單純依靠自動化系統進行內容刪除是錯誤的。由于錯誤率太高，所以始終需要人工審查以確保在內容刪除之前充分考慮其內容的上下文和含義。

這些自動化系統具有積極且有益的作用

首先，這些系統可用于非常具體和有價值的目的。Armineh說道，由路透社開發的Tracer系統可掃描Twitter以發現一些突發新聞故事，并將其傳遞給路透社的編輯和記者進行審查。該系統可檢測到大多數(但并非全部)的虛假謠言和故意誤導內容，并只傳遞這些極有可能具有新聞價值的內容，從而使記者能夠更有效地工作。然而，即使在路透社，也需要采取保護措施，以避免例如特定來源或用戶的信息被分析。

第二個重要用途是篩選可能需要刪除的內容。當系統在現代社交網絡的范圍內運行時，對所有潛在有害內容進行人工審查是根本不可能的。自動化系統可以提供一個可管理的問題內容列表，以供人工審閱者來確定是否刪除。

最后，自動系統可以非常有效地防止上傳那些先前已被識別并刪除的內容。該模型可有效地應用于兒童色情圖片，并通過一個自動內容識別系統來防止未經授權來上傳受版權保護的內容。

前進的道路上我們可采取公私合作伙伴關系

對于自動內容刪除的擔憂并不意味著會削弱從在線系統中刪除危險內容的一般性主張，鑒于恐怖主義的嚴重挑戰，刪除危險內容是一個極為緊迫的問題。但是，我們必須著眼未來以及我們的迫切需要，并應謹慎建立保障措施，以防止在極為不同的政治環境中濫用任何新的監管權力，而在這種情況下，風險可能是來自政府機構的過度干預。

在前進的道路上我們要認識到，所面對的問題要比技術更嚴重。恐怖主義事件來自技術行業沒有形成且不能自行改善的基礎社會、政治和經濟過程中。但是，他們的體系不應該被用來使問題變得更糟，他們的內容刪除工作將從公私合作伙伴關系中受益，這種公私合作關系依賴于政府提供信息和引薦以及召集行業參與者來制定和實施行業最佳實踐。

然而，一個重大的危險是政策制定者似乎愿意忽視錯誤的實際成本，很明顯，他們認為，只要能成功地刪除危險內容，犯錯誤就是值得的。畢竟，他們似乎認為，各平臺總能恢復那些因錯誤而被刪除的內容。

這種觀點忽視了許多在線交流內容的時效性，在這種情況下，花費幾周甚至幾天后所恢復的內容是毫無意義的。而且，所涉及的錯誤范圍很容易被低估。數十億次使用中的一個很小的錯誤率可能意味著不是數百，不是數千，而是數億次的錯誤。綜合起來，隨著時間的推移，這個錯誤的量級將損害這些體系的可信性和合法性，使其失去多種合法政治話語權的好處。