紐西蘭移民署從2014年就開啟了一個實驗計畫，對於居留過久的旅客，利用年齡、性別與族群等人口資料當作預測指標建構出「傷害模型」（harm model），藉此判斷這些申請者留下來是否更可能犯罪，或會帶來更多醫療支出。
一旦這些居留者被判定會對國家「造成風險」，他們將更快被驅逐出境，而被剝奪在司法程序中辯護或重新申請簽證的機會。執行這項計畫的移民署官員Alistair Murray說：「我們想要在這些人造成傷害之前及早介入。」
然而這種透過生理特徵預測未來犯罪可能性的作法，引起「種族貌相」（racial profiling）的嚴重爭議。「種族貌相」意指以種族為判斷標準，預先假設某種族的人較可能犯下罪行，因而針對該種族人士給予特殊關注或對待；其不正義之處在於，就算該種族的人的確犯罪率較高，也不意味著每個個別居留者未來真的會犯罪，然而這種手段卻根據難以改變的生理特徵，替這些個人預先安上了他們事實上從未犯下的罪名。
最近紐西蘭當地媒體透過《官方資訊法》（Official Information Act）取得的文件證實了這種疑慮：移民署確實希望這個「傷害模型」未來能發揮預測用途，且他們不但設計出「分數矩陣」來衡量逾期居留者未來犯罪的可能性，還明文把「是否是印度人」當成是一個指標，再次引起移民律師與人權工作者的嚴厲指責。
不過，紐西蘭官方至今對此並未認錯：移民署長Iain Lees-Galloway堅稱過程中沒有涉及種族歧視，也強調他們的「傷害模型」並不是一個用來預測犯罪的工具。更令人難以理解的是：他說自己是在新聞爆發的當天早上，才第一次得知整個計畫的內容。
全球政府風行演算法，怎麼加強監督與課責？
Lees-Galloway的說法看似荒謬，但其實也可能反映了政府機關運作的真實情形：數學模型與演算法的使用，已經成為政府例行性工作的一部分，因此甚至不必經過主管機關首長同意。這樣的情況不只發生在紐西蘭，世界各地的政府運用演算法的程度可說是有過之而無不及。
舉例來說，美國各地警方已經開始運用PredPol等演算軟體，來預測犯罪最可能發生的地方或群體；在法庭與假釋程序中，演算法提供的犯罪風險評估也已成為重要參考。然而，美國媒體Propublica也在「機器的偏見」（Machine Bias）專題報導中揭露了這類演算法背後的「種族貌相」：擁有類似犯罪紀錄的黑人與白人，時常分別被評為高風險與低風險；透過實際的統計數據，他們也發現黑人被錯誤評估為有再犯風險的可能性，是將近白人的兩倍。
為什麼看似客觀的演算法，卻無法改善社會中的歧視問題？出版《大數據的傲慢與偏見》的數學家O’Neil指出，數學模型往往簡化了世界，卻暗藏設計者的偏見，而可能成為有害社會的「數學毀滅性武器」。更可怕的是這些「數學毀滅性武器」的運算方式往往不公開透明，卻被大規模應用，因此可能造成弱者更弱的「惡性循環」，且傾向懲罰沒資源的窮人。
正因如此，2017年 12 月，紐約市議會通過美國第一條要求演算法透明性的法案，未來市政府在決策時所用的演算法，都將受到民間團體代表與專家組成的任務小組監督。這個任務小組也將研議公開演算法的時機與方式，判斷演算法是否存在偏見的標準。雖然該法案並未明確要求將演算法的原始碼公開，但至少是跨出了「演算法透明化」的第一步。
而在紐西蘭，爆發歧視爭議之後，政府資訊服務部長Clare Curran與統計部長Shaw也發表聯合聲明，儘管他們並未直接回應移民審核問題，但強調為了透明性與程序正義，將緊急盤點政府使用的演算法；初步的政府演算法使用回顧將於八月前完成。他們期待藉此重建紐西蘭人對政府的資料使用的信心。
（本文作者為陳廷彥）
※本文章授權條款為以下： 文章發佈 48 小時內，採創用 CC BY-NC-ND (姓名標示-非商業性-禁止改作) 3.0 台灣。 文章發佈 48 小時後，採創用 CC BY (姓名標示) 3.0 台灣。
關於「g0v」
g0v 台灣零時政府為世界前三大的公民科技社群，本專欄為 g0v 社群、開放文化基金會與《天下》雜誌，每雙週將從 g0v.news 週報（http://g0v.news）中，選出針對全球公民科技、開放政府與開放文化等重要議題，進行專文剖析，試刊號後納入社群參與選題、貢獻意見，豐富數位時代中民主的多元想像。
天下總主筆陳良榕專欄。半導體狂熱、科技巨頭謀略的最犀利解讀
看懂科技大勢，獨家解讀
請查看您的信箱，我們將寄送驗證信給您，確保未來信件會送到您的信箱
