AI 시스템 위험 평가를 실무에 적용하는 방법

이 강연은 AI 정책 검토 도구를 사례로, 위험 평가를 시스템 이해, 영향 분석, 위험 판단, 통제, 수용 단계로 나눠 따라가는 방법을 소개합니다. GRC 담당자는 모든 기술을 알 필요 없이 맥락을 파악하고 올바른 질문을 던지며 전문가를 조율하는 역할이 핵심이라고 설명합니다.

⏱ 00:01이 강연은 AI 위험을 말로만 논의하는 단계를 넘어 실제로 평가하는 방법을 다룹니다. 발표자는 AI를 단순한 기술로만 보지 않고, 통제되지 않은 혁신이 조직에 일으킬 수 있는 위험으로 봐야 한다고 강조합니다. 새로운 이론을 배우기보다 이미 쓰이는 평가 틀을 실제 사례에 적용해 보는 것이 목표입니다.

⏱ 02:12메시지를 보내기 전 내용과 수신자를 따져 보는 것처럼 사람은 이미 일상에서 위험을 판단합니다. 조직에서 AI를 도입할 때는 이런 판단이 여러 관점에서 빠짐없이 이루어져야 하므로, 여러 렌즈를 한데 모은 템플릿이 도움이 됩니다. 발표자는 이를 거창한 프레임워크가 아니라 놓치지 않기 위한 정리 도구라고 설명합니다.

⏱ 04:36사업부가 정책을 몇 분 만에 검토해 주는 AI 도구를 쓰자고 제안하면 대부분은 시간 절약에 긍정적으로 반응합니다. 그러나 GRC 담당자는 시스템이 정확히 무엇을 하는지, 누가 쓰는지, 추천이 틀리면 어떻게 되는지, 의도하지 않은 방식으로 쓰이면 어떻게 되는지를 묻기 시작합니다. 편의성보다 잘못되었을 때의 결과를 먼저 생각하는 것이 위험 평가의 출발점입니다.

⏱ 06:24전통적인 IT 인프라와 달리 AI는 내부가 잘 보이지 않아 가시성이 낮다는 문제가 제기됩니다. 발표자는 GRC 담당자가 모든 기술을 알 필요는 없고, 맥락을 이해하고 올바른 질문을 던지는 능력이 핵심이라고 말합니다. 보안, 개인정보, 클라우드 호스팅 같은 세부 기술은 해당 분야 전문가에게 맡기고, 전체 흐름을 조율하는 역할을 GRC가 맡습니다.

⏱ 09:49AI 위험을 살피는 관점으로 책임성, 투명성, 공정성, 개인정보, 안전, 설명가능성 등 여덟 가지 렌즈가 제시됩니다. 발표자는 시스템 성격에 따라 중요한 렌즈가 달라진다고 설명합니다. 정책 검토 도구는 안전 문제가 크지 않지만 자율주행이나 채용·매칭 서비스는 안전과 공정성이 훨씬 중요해집니다. 각 항목마다 담당자를 지정해 누가 무엇을 책임지는지 명확히 하는 것도 강조됩니다.

⏱ 12:12평가는 먼저 AI 시스템을 이해하는 것에서 시작합니다. 이어서 영향을 살펴보고 그것이 위험으로 이어지는지 판단합니다. 위험이 높으면 통제를 적용하고, 통제 후 남는 잔여 위험이 수용 가능한지 확인한 뒤 사용 여부를 결정합니다. 이 과정에서 ISO 42001과 NIST AI RMF 같은 표준을 참고할 수 있다고 언급됩니다.

⏱ 14:01템플릿 마지막에는 여러 평가 결과를 한눈에 보여 주는 대시보드가 있습니다. 실습 사례는 AI 정책 검토 보조 도구로, 사용 목적이 비교적 좁고 제한적인 소규모 사례입니다. 발표자는 이 사례를 처음부터 끝까지 따라가며 각 단계에서 무엇을 확인하는지 보여 주려 합니다.