Test Logo

기업의 AI 전환(AX)이 빨라지면서, AI를 얼마나 많이 도입했는지보다 AI의 판단과 행동을 통제하고 설명할 수 있는 체계를 갖추는 것이 중요하다는 지적이 나왔다.

​

최정윤 법무법인 디엘지 변호사는 지난 25일 법무법인 디엘지가 개최한 ‘인공지능기본법, 생성형AI부터 고영향AI까지, 컴플라이언스 실전 가이드’ 세미나에서 ‘AI 서비스 운영을 위한 AI 거버넌스 구축 실무’를 주제로 발표하며 이렇게 밝혔다.

​

그는 “AI 거버넌스를 단순한 법적 의무를 이행하기 위한 컴플라이언스 체계로 봐서는 안 된다”며 “기업의 비즈니스 연속성과 안정성을 위한 핵심 운영체계로 접근해야 한다”고 강조했다. AI 거버넌스는 조직과 정책을 만드는 데 그치지 않고 ‘조직→정책→점검→사고대응’이 실제 업무에서 작동하도록 하는 것이 핵심이다.

​

삼성전자·이루다·Zillow…AI 통제 실패가 기업 리스크로

​

최 변호사는 AI 거버넌스가 필요한 이유를 국내외 사례를 통해 설명했다. 삼성전자 DS부문의 사내 생성형 AI 사용 사례에서는 2023년 3월 ChatGPT 사용이 허용된 뒤 20일 만에 반도체 설비 관련 소스코드와 프로그램, 회의록 등 비밀 데이터가 외부 AI 서버에 입력된 경우를 소개했다. 당시 비인가 AI 사용을 차단하는 기술적 조치와 사업부별 사전승인 등 통제장치가 충분하지 않았고, AI 도입 속도가 통제체계보다 빠르면 기업의 핵심 정보가 위험에 노출될 수 있다는 사례다.

​

개인정보와 AI 윤리 문제를 보여주는 사례로는 스캐터랩의 ‘이루다’를 들었다. 이용자의 카카오톡 대화 94억건을 활용했지만, 기존 동의만으로 AI 학습까지 예상했다고 보기 어려웠고 비식별화와 윤리 검토에도 문제가 있었다. 특히 출시 이후 윤리 검토와 실시간 모니터링을 담당할 조직이 없었다는 점도 문제점으로 나타났다. AI는 개발 단계뿐만 아니라 출시 이후에도 지속적으로 관리해야 한다는 의미다.

​

미국 Zillow의 주택 매입 사업은 AI 판단을 사람이 검증하고 필요하면 중단할 수 있어야 한다는 점을 보여주는 사례로 소개했다. AI가 주택가치를 평가해 매입하는 과정에서 시장가격 변화에 대응할 검증과 인간 개입 절차가 제대로 작동하지 않았고, 결국 사업 철수로 이어졌다는 것이다.

​

최 변호사는 AI 위험을 ▲법률 ▲운영 ▲책임·거버넌스 ▲평판 등 4가지로 나눴다. 법 위반에 따른 제재부터 AI 오류로 인한 서비스 차질, 사고 발생 시 책임 소재 불분명, 기업 이미지 훼손까지 다양한 위험이 발생할 수 있는 만큼 하나의 사고가 여러 위험으로 확산되지 않도록 사전 통제체계를 마련해야 한다고 강조했다.

​

AI 윤리위원회, 형식적 조직 아닌 실질적 의사결정기구 돼야

​

최 변호사는 기업이 AI 위험을 체계적으로 관리하려면 AI 윤리위원회와 독립적인 위험관리 조직이 필요하다고 했다. 인공지능기본법 제28조의 민간 자율 인공지능 윤리위원회를 기업 거버넌스의 출발점으로 활용할 수 있다는 설명이다. 법상 설치는 임의규정이지만, AI 활용이 확대되는 만큼 기업의 AI 위험을 관리하는 핵심 조직으로 기능할 필요가 있다고 했다.

​

AI 윤리위원회는 윤리 원칙 준수 여부 확인, AI 안전성과 인권침해 조사, 관련 절차와 결과에 대한 감독, 윤리교육, 세부 윤리지침 마련 등을 담당할 수 있다고 설명했다.

​

중요한 것은 위원회가 형식적인 조직에 머물지 않는 것이다. 현장에서 발견한 문제가 교육과 사내 정책 개정으로 이어지고, 바뀐 정책이 다시 현장에 적용되는 구조를 만들어야 한다고 강조했다.

​

카카오는 외부 전문가가 참여하는 AI 기술·윤리 관련 소위원회와 자문단을 운영하고 있으며, IBM은 사내 AI 위원회의 권고를 받아 상당한 투자가 이뤄진 안면인식 소프트웨어 사업에서 철수한 사례가 있다. AI 거버넌스가 실제 사업 의사결정에 영향을 미칠 수 있다는 사례다.

​

개인정보·저작권·영업비밀…임직원이 지킬 수 있는 정책 필요

​

AI 거버넌스의 또 다른 축으로는 사내 정책과 리스크 점검체계다. AI는 인공지능기본법뿐만 아니라 개인정보보호법, 신용정보법, 저작권법, 부정경쟁방지법 등 여러 법률의 적용을 받는 만큼, 이를 기업이 공통으로 적용할 수 있는 원칙으로 정리할 필요가 있다는 것이다. 최 변호사는 투명성·준법성·공정성·설명 가능성·책임성을 5가지 핵심 원칙으로 제시했다.

​

개인정보와 관련해서는 “AI에 개인정보를 활용할 수 있는지는 그 정보를 어떻게 수집했느냐에 따라 달라진다”고 설명했다. 외부 AI에 고객 상담기록 등을 입력할 경우 개인정보 처리위탁에 해당할 수 있는 만큼 AI 사업자와 DPA(Data Processing Agreement)를 체결하고 목적 외 이용 금지, 안전성 확보조치, 재위탁 제한 등을 계약에 담아야 한다.

저작권도 프롬프트 입력 단계부터 관리해야 한다. 특정 작품이나 캐릭터 이름 대신 추상적인 표현을 사용하고, 생성 결과의 유사도를 확인하는 한편 프롬프트와 결과물, 편집 이력도 기록해야 한다.

​

실존 인물의 얼굴·목소리·성명 등을 AI로 생성·변형할 경우에는 초상권과 퍼블리시티권 침해 가능성도 살펴야 한다. 영업비밀 역시 AI 학습에 활용될 경우 비밀관리성이 문제될 수 있고, 이직자나 거래처의 자료가 입력되면 타인의 영업비밀을 침해할 가능성도 있다고 지적했다.

​

“AI 통제조직은 IT부서와 분리를”…3단 방어체계 제안

​

최 변호사는 AI 통제조직을 IT 부서가 아닌 리스크팀 등 독립적인 조직에 둘 것을 제안했다. AI 도입과 성과를 책임지는 조직이 통제까지 맡으면 충분한 ‘브레이크’ 역할을 하기 어렵다는 이유에서다.

​

따라서 사업부서 자체 통제→AI 윤리위원회 등 위험관리 조직→감사로 이어지는 3단 방어체계를 제시했다. 사업부서는 AI를 검수·승인하고, 위험관리 조직은 AI 솔루션과 활용 범위를 점검하며, 감사는 통제체계가 제대로 작동하는지 확인하는 방식이다.

​

또 회사가 사용하는 AI와 처리 데이터를 한눈에 파악할 수 있도록 ‘AI 자산 인벤토리’를 구축해야 한다고 강조했다.