AI时代的招聘挑战:如何设计防作弊的技术面试题?

interviewing.io是一家专门提供在线模拟技术面试的网站,他们最近做了一个有趣的研究 - 面试者使用ChatGPT的话,是否能在面试中获得更好成绩?以及是否会被面试官轻松发现?

先说结论:

  • 根据测试结果,能熟练使用ChatGPT的面试者确实在技术面试中会取得更好成绩,而且几乎很难被面试官发现
  • 这里引发的思考是:大家在做研发招聘的时候的面试题要考虑更新一轮了,而不能像过往一样直接从LeetCode中取现成的问题

interviewing.io的测试逻辑和结果如下

  • 除了控制组外,另外有三组分别是:直接使用LeetCode的题目、使用修改过后的LeetCode题目、自定义的题目;
  • 最终的结果对比图如下,可以看到,控制组(也就是正常的面试者)的面试通过率是53%,而在使用了ChatGPT的三组中,无论是用原版的LeetCode题目还是修改版的LeetCode题目中,面试者都取得了明显更高的面试通过率(分别是73%和67%)。而在使用自定义题目这组中,面试者只获得了25%的通过率;

值得指出的是,在面试官对于面试者实际在用ChatGPT作弊不知情的情况下,绝大多数的面试官(这些很多就是在Meta、Google等大厂的在职面试官)并没有意识到面试者其实在用AI作弊… 同时从面试者的后续调研中,绝大部分的“作弊面试者”对于自己使用ChatGPT回答是否会被发现也显得毫不担心。

从这次实验引发的思考来说,如果你的公司在做研发相关的面试,尤其是线上面试,请认真考虑更换和优化现有的题目。因为从招聘的角度出发,你本来也不是想要一个只是死记硬背了LeetCode题目的面试者,而是一个真正能解决问题的人。

如何设计“自定义题目”?

interviewing.io提供了一个有效的办法来构思优秀且独特的面试题 - 和你的团队共同维护一个文档,每当团队中的某个人解决了一个他们觉得有意思的问题,不管问题大小,都在文档上留下简短的记录。这些记录不用写得太详细,但它们能成为设计出与众不同的面试题的起点,同时这样的问题也能够让候选人对贵公司的日常工作有所感知。

但要把这些零散的想法转变成面试题,需要下一番功夫 - 你得去掉很多不必要的细节,只保留问题的核心,使其简化到候选人无需大量准备就能快速把握的程度。你可能还需要对这些自创的题目进行多轮修改才能使它们变得完美 - 不过,最终的成果是值得的。

One more thing

针对使用AI来协助技术面试这点,有看到一个国内团队做了一款成型的产品 – interview.dog。团队的创始人说自己曾经深受面试时的八股文和刷题的困扰,觉得任何人的职业生涯都不应该被一个个拥有标准答案的无聊问题来定义,所以想做面试狗这款产品献给每一个不满此体系的人们。有点类似我之前那篇AI时代下教授们应该如何重新思考作业评估一样,HR和面试官们也需要重新思考如何调整面试评估以及到底我们现在需要什么样的人才这件事情了。