Connect with us

同路點評

澳洲科技新創公司涉生成疑似兒童色情內容 遭警方調查

悉尼科技新創公司 Coreflow 旗下人工智能色情平台「OurDream」被揭發可能生成疑似涉及未成年人的色情內容,引發執法部門關注。

澳洲廣播公司調查發現,該平台部分 AI 角色疑似被設計成未成年外貌,相關資料已移交警方調查。

Coreflow 成立於2025年,總部設於悉尼,自稱已吸引超過2,000萬名用戶。旗下 OurDream 平台主打利用人工智能技術,讓用戶自行創建虛擬伴侶、圖片、影片及互動對話,被視為全球流量最高的 AI 色情網站之一。

平台條款明文禁止涉及未成年人、深度偽造及侵權角色內容,並強調採取嚴格安全措施。然而,調查利用執法部門常用的年齡估算工具 Rigr 檢測後發現,多個公開角色外貌年齡被評估為15歲或以下。其中部分角色出現在網站成人專區,並涉及明顯性化內容。

國際失蹤與受剝削兒童中心(ICMEC)專家指出,雖然相關角色並非真實兒童,但此類內容仍可能正常化對未成年人的性幻想,甚至增加潛在犯罪風險。他形容有關情況是「重大警訊」。

曾領導昆士蘭警方打擊網絡兒童性罪行特別行動組 Argos 的前探員 Jon Rouse 表示,若相關內容符合報道描述,無論是內容製作者、平台營運者或用戶,均可能面臨刑事責任。

ABC 隨後向昆士蘭警方正式舉報,並提交17段疑似違法內容作進一步調查。警方其後證實案件正在調查中。

此外,一名曾接觸公司運作的人士透露,平台早期已發現有用戶利用系統生成疑似兒童色情內容,公司曾刪除大量相關資料,並加強內容審核及自動監察系統,但未能完全阻止內容流出。

Coreflow 透過聲明回應,強調公司對非法內容採取「零容忍」政策,已投入大量資源進行內容審核,並表示從未因商業利益而放寬相關安全措施。不過,截至 ABC 發稿時,大部分被指疑似未成年角色的帳號仍然存在於平台上,警方調查仍在進行。

同路點評:

近年來,生成式AI的門檻愈來愈低,任何人只需輸入簡單指令,便能製作逼真的圖像、影片甚至虛擬人物。這些工具本身並無善惡之分,但當平台規模愈來愈大、用戶數量愈來愈多,如何有效管理內容風險,已不再只是企業內部的技術問題,而是涉及公共利益的社會議題。社會必須面對一個老問題:哪些事情可以做到,不代表就應該被允許。

尤其在涉及未成年人形象、暴力內容或性剝削等敏感範疇時,傳統監管模式正面臨前所未有的挑戰。過去執法機關主要處理真實照片、影片或真人受害者個案,但AI生成內容模糊了真實與虛構的界線。即使畫面中的人物並不存在,相關內容是否會鼓勵有害行為、塑造扭曲觀念,甚至成為犯罪者的工具,已成為全球各國共同面對的新課題。而且,科技企業往往以「平台中立」或「技術工具」作為辯護理由。然而當企業透過演算法推薦內容、從用戶流量獲利,便很難完全與平台上出現的問題切割。企業有責任證明其安全機制不只是存在於政策文件之中,而是真正能夠有效執行。

對政府而言,監管亦不能停留在舊有法律框架。許多法例制定於AI出現之前,未必足以應對新型態的數碼風險。如何在保障創新發展與維護公共安全之間取得平衡,將是未來數年的重要課題。

Continue Reading