HackerRank 的 AI 面試官跑過 50 萬場面試,三輪面試被壓成一場
HackerRank 推出 AI 面試官 Chakra,測試半年跑過 50 萬場面試,把三關招募流程合成一場;執行長稱作弊標記降七成以上,但偏見問題與數字缺乏第三方驗證。
HackerRank 這家公司 2012 年在 TechCrunch Disrupt 上線,一開始賣的是寫程式的考題。現在客戶超過 3,000 家,包括 Amazon、Nvidia、Clay、Replit,社群裡有 3,000 萬名開發者。
10 月 5 日(台北時間是今天),它把一個叫 Chakra 的 AI 面試官開放給所有客戶。測試大約六個月,跑了超過 50 萬場面試,試用的公司有 Snowflake、Snorkel、Capgemini,HackerRank 自己內部也用。
Chakra 面試的做法是:給你一個真實的程式碼倉庫和一個任務,你在一個附帶 AI 助手的畫布上做。你做的時候,它盯著你在做什麼,然後追問。為什麼選這個做法、不選另一個?如果多了一個限制條件,你的解法會變成怎樣?面試結束後,招募主管拿到一份詳細報告。
以前的流程是三關:招募人員篩選、帶回家的作業、跟工程師的後續面試。執行長 Vivek Ravisankar 說,現在這三關合成一場 Chakra 面試。
他給的理由是這樣:「過去評估的是產出,現在因為 AI,任何人都做得出一份成品。」所以要看的是成品背後的思考和判斷,還有 HackerRank 稱作「AI fluency」的東西:你怎麼對 AI 描述問題、怎麼判斷它的輸出、怎麼把它帶向解答。
讓應徵者在面試時用 AI,聽起來更容易作弊。HackerRank 說結果相反:可疑行為的標記,比他們傳統的測驗低 70% 到 80%,不過數字會因為地區和資歷高低而不同。
Ravisankar 的解釋是,既然可以光明正大用 AI,就沒必要偷偷用外面的工具餵答案。這個解釋是他講的,報導裡沒有第三方驗證,我看這個 70% 到 80% 也只能當作他們自己的數字。
我覺得最有趣的細節是 HackerRank 對自己的態度。
Ravisankar 把這次轉換在公司內部比成 iPod 換成 iPhone:舊產品還有價值,新的才是市場要去的方向。
他說:「Chakra 會是頭條。」舊產品是什麼?就是靠測試開發者能不能把題目解對,養活公司十幾年的那一套。他自己說,AI 讓那套東西量不準工程能力了。
偏見的部分,兩邊說法互相打架。Ravisankar 說:「只要調得好,AI 比人偏見少很多。」理由是 AI 可以被要求對每個人套用同一份評分標準,不會被背景或學歷影響。
TechCrunch 在同一篇報導裡回他:每次都套同一份標準,不等於沒有偏見,自動化的招募工具可能從資料、模型和標準裡繼承甚至放大偏見。
紐約市已經有規定:雇主使用某些自動化僱用決策工具,要做獨立的偏見稽核,還要事先通知應徵者。Ravisankar 承認招募是受規範的領域,也說符合這些要求是他們必須建的東西。兩句話並排放著,我不選邊。
分工是這樣畫的:Chakra 負責給分,最後決定錄不錄取的是人。結構化的部分交給 AI,用雇主訂的標準一致地打;真人面試官的時間,留給判斷自己想不想跟這個人共事,以及回答應徵者關於公司、團隊、職位的問題。
數字到這裡就停了。三關變一關,標記少了七成到八成,50 萬場,3,000 家客戶,3,000 萬名開發者。
報導裡沒有講的是:那份給招募主管的詳細報告,一個應徵者看得到嗎?被 AI 打了分數、然後沒被錄取的人,能不能知道自己是哪一項被扣了?
科技財經世界觀察自我成長,訂閱我,Max呂元鐘