BLACKBOLD'S VIEW
AI를 얼마나 자주 쓰는지와 일이 얼마나 좋아졌는지는 다른 질문입니다. 같은 종류의 업무를 처음부터 끝까지 비교하고, 확인과 수정에 들어간 시간까지 포함해야 합니다.
고객지원 연구와 개발자 생산성 연구는 서로 다른 업무와 참여자를 다룹니다. 어느 한 연구의 평균을 회사 전체에 적용하기보다, 우리 업무에서 다시 측정할 필요가 있습니다.
AI 사용량이 늘어도 업무 성과가 좋아졌다고 볼 수는 없습니다
계정을 발급한 인원이나 한 달의 질문 수는 도구가 사용되고 있는지를 보여줍니다. 그러나 그 숫자만으로 고객 대응이 나아졌는지, 제품 출시가 빨라졌는지는 알기 어렵습니다. Blackbold는 활용 지표와 업무 결과 지표를 따로 두고 연결해 보는 방식을 제안합니다. 문서 초안 작성 시간이 줄었다면 검토 시간과 최종 승인까지 걸린 시간도 함께 측정해야 효과가 다음 단계에서 사라지는지 확인할 수 있습니다.
절약한 시간을 어디에 썼는지 확인해야 합니다
예를 들어 가상의 제안서 팀이 초안을 빨리 만들게 됐지만 검토자의 수정 부담이 늘었다면 팀 전체의 개선은 작을 수 있습니다. 반대로 확보한 시간을 고객 요구 파악에 사용하고 제안의 적합도가 높아진다면, 같은 시간 절약도 다른 사업 결과로 이어집니다. 도입 전에 ‘시간을 줄이면 무엇을 더 할 것인가’를 정해 두는 이유입니다. 감소한 작업 시간을 곧바로 인건비 절감액으로 계산하는 것은 실제 비용 변화가 없을 때 성과를 과장할 수 있습니다.

효과는 비교 가능한 작은 실험으로 검증해야 합니다
유사한 난이도의 업무를 골라 도입 전후의 소요 시간, 수정 횟수, 완료율을 함께 기록하세요. 동시에 업무량이나 담당자가 바뀌었다면 그 조건도 남겨야 합니다. 결과가 좋아졌더라도 모두 AI의 효과라고 단정하지 않고 다른 변화를 구분하는 편이 다음 투자 판단에 도움이 됩니다. 경영 보고에는 사용량 그래프 옆에 실제 개선된 업무와 아직 달라지지 않은 병목을 함께 보여주는 것이 좋습니다.
사용 기록과 업무 성과를 다른 표에 적습니다
로그인 수, 질문 횟수, 만든 문서 수는 사용 현황을 보여줍니다. 하지만 질문을 열 번 해야 한 건을 해결하는 시스템도 사용량은 높습니다. 성과 표에는 승인된 결과 수, 완료까지 걸린 시간, 되돌아온 업무 수를 적어야 합니다. 어떤 자료를 성공으로 셀지도 미리 합의합니다. 초안을 만들었다고 고객에게 전달할 수 있는 제안서가 완성된 것은 아닙니다.
Blackbold는 업무 한 건에 같은 번호를 붙여 접수, 생성, 검토, 완료를 이어 보는 방식을 제안합니다. 여러 도구를 오가더라도 한 건의 흐름을 따라갈 수 있어야 어디서 시간이 늘었는지 알 수 있습니다.

빠른 사람과 느린 사람의 차이도 함께 봅니다
AI가 익숙한 업무를 돕는 경우와 처음 하는 업무를 돕는 경우는 다를 수 있습니다. 팀 전체 평균만 보지 말고 업무 난도와 숙련 수준별로 결과를 나누어 봅니다. 다만 이 기록을 직원의 능력을 단정하는 점수로 쓰면, 어려운 일을 맡은 사람이 불리해지고 실패를 숨기기 쉬워집니다. 개선 대상은 우선 업무와 도구의 조합입니다.
비교 기간에는 가능한 한 같은 종류의 입력과 품질 기준을 유지합니다. 한쪽에는 쉬운 사례만 넣고 다른 쪽에는 예외를 몰아넣으면 결과를 해석할 수 없습니다. 적용 범위와 제외한 사례를 함께 남겨야 다음 팀에서도 판단할 수 있습니다.
절약한 시간과 실제 절감액을 구분합니다
가상의 월간 보고서 업무에서 사람이 쓰는 시간이 줄어도 급여가 같은 달에 줄어드는 것은 아닙니다. 그 시간으로 더 많은 고객을 대응했는지, 외주 지출이 줄었는지, 미뤄 둔 일을 끝냈는지를 별도로 확인해야 합니다. 이를 구분하지 않으면 생산성 개선을 비용 절감으로 두 번 계산하게 됩니다.
Blackbold의 성과 보고서는 시간, 품질, 현금 지출, 추가 처리 능력을 나누어 적는 방식입니다. AI 이용료뿐 아니라 검토자 시간과 운영 담당자의 수정 작업도 비용에 넣습니다. 숫자가 좋지 않을 때는 도구 사용을 늘리는 대신 업무 범위와 검토 구조를 다시 조정합니다.
적용 전에는 다음 항목을 확인해야 합니다
- 사용량과 완료된 업무량을 구분했는가?
- 검토·수정·실패 처리 시간을 포함했는가?
- 시간 절약을 실제 비용 절감으로 중복 계산하지 않았는가?
핵심 용어는 이렇게 이해하면 됩니다
- 기준선
- AI 도입 전에 측정한 현재 상태. 베이스라인이라고도 합니다.
- 재작업률
- 한 번 끝냈다고 본 업무가 오류나 누락 때문에 다시 처리되는 비율입니다.
참고 자료는 다음 범위에서 활용했습니다
- The state of AI in 2025: Agents, innovation, and transformation (새 창)McKinsey & Company · 2025.11.05
McKinsey의 2025년 조사에서는 AI 활용 확산과 기업 전체의 성과 실현 사이에 간극이 나타납니다. 응답자 기준의 조사이며, 개별 회사가 같은 효과를 얻는다는 보장이나 한국 기업 전체에 대한 통계는 아닙니다.
- Generative AI at Work (새 창)Brynjolfsson·Li·Raymond / NBER·arXiv · 2023.04.24
고객지원에서 AI 지원의 효과가 숙련도별로 달랐다는 점을 참고했습니다.
특정 고객지원 환경의 결과입니다. 다른 회사의 비용 절감률이나 인력 규모를 그대로 계산하는 기준은 아닙니다.
- We are Changing our Developer Productivity Experiment Design (새 창)METR · 2026.02.24
생산성 측정에서 참여자와 실험 방식의 한계를 함께 살핍니다.
과거 연구의 특정 결과를 현재 모든 개발자에게 적용하지 않아야 합니다. 최신 도구의 보편적인 속도 향상률을 확정한 자료가 아닙니다.
- State of AI-assisted Software Development 2025 (새 창)Google Cloud / DORA · 2025
AI 활용의 효과를 조직의 기존 업무 방식과 연결해 봅니다.
소프트웨어 개발 조직을 다룬 연구입니다. 다른 산업의 인과적 성과나 특정 기업의 예상 수익을 직접 계산할 수 없습니다.
공개 자료를 비교하고 Blackbold의 업무·조직·시스템 설계 관점으로 정리했습니다. 본문의 가상 예시는 적용 방법을 설명하기 위한 것이며 고객 실적이 아닙니다. 출처 기관과의 제휴나 승인을 의미하지 않습니다.
주간 회차 기준일 2026.06.15 · 실제 게시 및 자료 확인 2026.10.19
이 관점을 실제 업무로 연결하려면
AI 전략 컨설팅 알아보기


