AI를 잘 쓰는 인재, 어떻게 평가할 수 있을까? : 사례로 보는 AI 역량 측정 방법

주최: 그렙, 오프피스트 

2026. 7.2 (목) 16:00~17:00 온라인 라이브 ZOOM

AI를 많이 쓰는 직원이 일도 더 잘할까? — 숫자가 알려준 뜻밖의 답

"저 사람 AI 진짜 잘 써요."

요즘 채용이나 평가 자리에서 심심찮게 나오는 말입니다. 그런데 막상 무엇을 근거로 "잘 쓴다"고 판단하냐고 물으면, 답은 대개 모호해집니다. 이력서에 적힌 "ChatGPT 활용 가능"이라는 한 줄, 혹은 면접에서 AI 이야기를 얼마나 유창하게 하는지 정도. 그렇게 뽑은 사람이 막상 실무에서는 기대만큼 성과를 내지 못해 고민하는 HR 담당자분들을 저희도 자주 만납니다.

그렇다면 질문을 바꿔야 합니다. AI 시대, 기업은 대체 무엇을 근거로 인재를 선발하고 평가해야 할까요? 눈에 보이지 않는 'AI 활용 역량'은 어떤 기준으로 측정할 수 있을까요?

지난 7월 2일 진행된 웨비나 [AI를 잘 쓰는 인재, 어떻게 평가할 수 있을까?]에서, 프로그래머스를 운영하는 그렙의 임성수 대표와 AI 역량 연구본부 윤성혜 본부장이 실제 평가 데이터를 공개하며 이 질문에 답했습니다. 그 핵심만 정리해서 전해드립니다.

📊 AI 사용 횟수와 성과의 상관관계, 단 '0.02'

가장 직관적으로 떠올리는 AI 역량 평가 기준은 '사용량'입니다. AI를 몇 번 호출했는지, 얼마나 많은 토큰을 썼는지, 대화를 얼마나 길게 나눴는지. 많이, 자주 쓸수록 성과도 높을 거라고 흔히 짐작하죠.

하지만 웨비나에서 공개된 실제 평가 데이터는 이 통념을 완전히 뒤집었습니다. AI 사용 횟수와 실제 결과물 성과의 상관관계는 단 0.02. 통계적으로 두 요인 사이에 사실상 아무런 관계가 없다는 뜻입니다. 질문의 길이나 응답의 길이 같은 정량 지표 역시 성과와 별다른 연결고리를 보여주지 못했습니다.

데이터가 말해주는 사실은 명확합니다. AI 활용 역량의 핵심은 '얼마나 많이 쓰냐(사용량)'가 아니라, '어떻게 활용하느냐(과정)'에 있다는 것입니다.

💡 결과 점수는 71점 동점, 과정을 뜯어보니 60점 vs 20점

이 차이는 실제 응시자 두 명의 사례를 비교하면 더 극명하게 드러납니다.

한 과제에서 동일하게 71점이라는 최종 결과 점수를 받은 두 지원자가 있었습니다. 결과물만 보면 우열을 가리기 어렵습니다. 그런데 이들이 AI를 사용해 문제를 풀어나간 '과정'을 세부적으로 정량 평가하자, 놀라운 차이가 드러났습니다.

• A 응시자의 과정 점수: 60점
• B 응시자의 과정 점수: 20점

같은 문제에서 우연히 비슷한 결과물을 만들어냈지만, AI에게 준 프롬프트의 맥락과 논리적 오류를 검증하는 설계 과정에서는 하늘과 땅 차이였던 것입니다.

실제로 여러 문제를 종합한 최종 평가에서 A 응시자는 73점의 고득점을 유지한 반면, B 응시자는 49점으로 성과가 급락했습니다. 한 번의 운 좋은 결과물이 아니라, 새로운 문제가 주어졌을 때도 지속적으로 좋은 성과를 재현해내는 능력이야말로 진짜 실력이라는 방증입니다.

그래서 AI 시대, 진짜 인재를 찾으려면 '결과물'이 아니라 '문제 해결 과정'을 들여다봐야 합니다.

🎯 그렇다면, 우리 조직은 무엇을 해야 할까

단순히 AI 툴 사용 경험이나 일회성 결과물만 보는 기존 채용·평가 방식으로는 지원자의 진짜 실력을 검증할 수 없습니다. 우리 조직에 필요한 '진짜 AI 역량'을 객관적인 데이터로 확인하고, 이를 채용과 교육에 적용하는 구체적인 로드맵이 필요한 시점입니다.