생성형 AI가 처음 기업에 들어왔을 때 가장 큰 걱정은 정보 유출이었다. 직원이 챗봇에 회사 기밀을 입력하지 않는지, AI가 사실과 다른 답을 만들어내지는 않는지가 주요 관리 대상이었다. 하지만 AI가 질문에 답하는 도구에서 직접 업무를 수행하는 ‘에이전트’로 진화하면서 보안의 성격도 달라지고 있다. 이메일과 파일을 읽고 웹사이트에 접속하는 데 그치지 않고 코드를 실행하거나 기업 시스템을 조작할 수 있기 때문이다.
AI가 할 수 있는 일이 많아질수록 공격자가 노릴 수 있는 범위도 커진다. 사람이 일일이 명령하지 않아도 AI가 목표를 받아 여러 단계를 연속해서 실행할 수 있다는 것은 생산성을 높이는 장점인 동시에 새로운 위험이다. 공격자 역시 AI를 이용해 취약점을 찾고 공격 과정을 자동화할 수 있어 방어하는 기업에는 이전보다 빠른 판단과 대응이 요구된다.
유상윤 AIM Intelligence 대표가 ‘AI RISK Conference Seoul 2026’에서 오프닝 스피치를 하고 있다. 유 대표는 AI가 챗봇을 넘어 기업 데이터와 시스템에 접근해 판단하고 행동하는 에이전트로 진화하면서 기업이 관리해야 할 리스크 역시 달라지고 있다고 말했다.
7일 열린 ‘AI RISK Conference Seoul 2026’에서는 이처럼 AI가 ‘답변’에서 ‘행동’으로 넘어가면서 달라지고 있는 보안 환경이 주요 화두였다. AIM Intelligence가 주최하고 삼성화재가 후원한 이번 행사에는 서울대학교와 숭실대학교, 금융보안원, Microsoft, OpenAI 등 AI·보안 분야 전문가들이 참여해 에이전트 AI의 새로운 공격 방식부터 금융권의 대응, 기업의 권한 관리와 자율 방어, 피지컬 AI 안전까지 논의를 이어갔다.
행사를 연 유상윤 AIM Intelligence 대표는 기업이 마주한 AI 리스크가 기존 챗봇 시대와 달라졌다는 점부터 언급했다. AI는 이미 기업 데이터를 활용하고 시스템에 접근해 사람을 대신해 판단하고 행동하는 에이전트로 사용되고 있으며 로봇과 자율주행을 비롯한 피지컬 AI로도 영역을 확장하고 있다는 것이다.
“AI 리스크 관리는 AI 도입을 막기 위해서 있는 게 아니라 AI를 더 적극적으로, 더 안전하게 활용할 수 있도록 하는 기반입니다.”
유 대표는 정상적으로 설계된 기능도 공격의 경로가 될 수 있고 AI가 개발자가 예상하지 못한 방식으로 목표를 수행할 가능성이 있는 만큼 기존 보안 규정만으로 새로운 위험을 모두 다루기는 어렵다고 말했다. 이날 컨퍼런스가 ‘AI 시대에 무엇이 리스크인가’와 ‘그 리스크를 어떻게 통제할 것인가’라는 두 가지 질문을 중심으로 구성된 이유다.
‘AI RISK Conference Seoul 2026’ 1부 패널토크에서 연사들이 AI 에이전트 확산으로 새롭게 등장한 보안 위협과 기업의 대응 과제를 논의하고 있다. 이날 패널들은 프롬프트 인젝션과 금융권 AI 리스크, 에이전트의 권한과 실행 통제 등을 중심으로 AI 시대에 무엇을 새로운 리스크로 봐야 하는지 의견을 나눴다.
AI가 행동하기 시작하자 위험도 달라졌다
1부에서는 AI 에이전트가 기업 업무에 들어오면서 새롭게 생겨나는 위험을 기술과 금융, 권한 통제의 관점에서 얘기했다. 이병영 서울대학교 전기·정보공학부 교수는 AI가 웹과 이메일, 파일 등 외부 정보를 읽고 직접 행동하면서 발생하는 ‘프롬프트 인젝션’을 대표적인 위험으로 제시했다. 쉽게 말해 공격자가 웹페이지의 댓글이나 이메일, 코드 등에 몰래 명령을 심어 AI가 원래 사용자의 요청과 다른 행동을 하도록 만드는 공격으로 사용자는 상품 리뷰를 요약해달라고 했는데 AI가 댓글에 숨겨진 명령을 따라 구매 버튼을 누르는 식이다. 사용자의 명령과 외부에서 가져온 정보가 AI 안에서 함께 처리되는 구조가 원인인 만큼, 이 교수는 신뢰할 수 없는 외부 정보가 중요한 판단과 실행 영역으로 직접 들어오지 못하도록 분리하는 접근을 제시했다.
기업에서 AI가 갖는 권한이 커질수록 문제는 기술적인 공격을 넘어 조직의 책임과 통제로 확장된다. 김성웅 금융보안원 금융AI보안연구소장은 금융권에서도 AI가 업무 지원을 넘어 고객 심사와 리스크 관리 등으로 활용 범위를 넓히면서 AI 보안을 보안 담당자만의 과제로 다뤄서는 안 된다고 강조했다. 위험도가 낮은 업무는 AI가 자동으로 대응하더라도 결제·이체나 핵심 시스템에 영향을 미치는 조치는 사람이 최종 판단하는 식으로 권한을 나눌 필요가 있다는 설명이다.
최대선 숭실대학교 AI안전성연구센터장 역시 에이전트에게 어떤 권한을 줬는지뿐 아니라 그 권한으로 실제 무엇을 했는지를 추적하고 통제할 수 있어야 한다고 말했다. AI에게 ‘하지 말라’고 지시하는 것과 시스템에서 실제 행동할 수 없도록 막는 것은 다른 문제다. 결국 AI가 더 많은 업무를 맡을수록 접근 가능한 데이터와 실행할 수 있는 행동, 사람이 개입해야 할 지점을 처음부터 명확하게 설계하는 일이 중요해진다.
Wana Tun OpenAI Applied AI Security Specialist가 ‘AI RISK Conference Seoul 2026’에서 기업의 AI 보안 워크플로우와 통제 전략을 설명하고 있다.
AI가 막는 시대…방어도 사람의 속도를 넘어선다
2부의 초점은 확인된 AI 리스크를 실제 운영 환경에서 어떻게 통제할 것인가에 맞춰졌다. 박하연 AIM Intelligence CTO가 주목한 변화는 AI의 활동 범위다. 모델에서 에이전트, 다시 로봇과 자율주행 같은 피지컬 AI로 진화하면서 “AI의 실패가 더 이상 텍스트로 끝나지 않는다”는 것이다. 챗봇의 잘못된 답변과 달리 에이전트의 오류는 이메일 발송이나 코드 실행, 시스템 변경으로 연결될 수 있고 피지컬 AI에서는 사람과 시설의 안전에도 영향을 미친다. 어떤 AI가 조직 안에서 사용되고 무엇에 접근하는지 파악한 뒤 위험한 행동은 실행 직전에 차단하고 중요한 작업에는 사람의 승인을 거치도록 하는 통제 체계가 필요한 배경이다.
이런 변화는 보안의 속도에도 영향을 미치고 있다. 장광윤 Microsoft Korea Chief Security Advisor의 발표에서는 공격에 사용할 수 있는 코드가 소프트웨어 취약점의 공식 공개보다 중앙값 기준 약 15시간 먼저 등장한 분석 결과가 소개됐다. AI가 취약점 탐색과 공격 코드 작성에 활용되면서 취약점이 알려진 뒤 사람이 분석하고 보안 업데이트를 적용하는 기존 대응 방식만으로는 공격 속도를 따라가기 어려워지고 있다는 분석이다.
마이크로소프트가 이에 대응해 내놓은 개념이 ‘Agentic Security’다. AI가 방대한 보안 신호에서 위험을 찾아 판단하고 대응까지 지원하는 방식으로, 공격자의 관점에서 취약점을 찾는 레드팀과 공격을 탐지·분석하는 블루팀, 발견된 문제를 개선하는 그린팀의 역할을 여러 AI 에이전트가 나눠 맡는다. 수많은 경고를 사람이 하나씩 확인하는 대신 AI가 먼저 조사하고 대응안을 만들고, 보안 담당자는 AI의 권한과 목표를 관리하며 최종 결과를 검증한다. 직접 모든 작업을 처리하던 보안 인력의 역할도 여러 AI의 움직임을 조율하는 ‘오케스트레이터’로 달라지는 구조다.
OpenAI는 속도와 통제를 함께 가져가는 방법에 무게를 뒀다. Wana Tun OpenAI Applied AI Security Specialist가 소개한 ‘Daybreak’는 하나의 보안 제품이나 AI 모델이 아니라 AI를 사이버 방어에 적용하기 위한 프로그램이자 접근 체계다. 어떤 업무를 AI에 맡길지, 어떤 모델을 사용할지, 어디까지 직접 실행하도록 허용할지, 어느 단계에서 사람의 승인을 받을지를 하나의 업무 흐름 안에서 설계한다.
그 중심에는 ‘Human Gate’가 있다. AI가 보안 문제를 발견하고 관련 자료를 조사해 대응 방안을 만들더라도 중요한 조치를 실행하기 전에는 사람이 결과를 확인하고 결정하는 방식이다. 모델의 성능만큼이나 AI가 접근할 수 있는 데이터와 행동 범위, 승인 주체와 책임 소재를 함께 관리해야 한다는 의미다. 데이터 관리 역시 어느 국가의 서버에 저장되는지만 따지는 것이 아니라 AI에 입력된 순간부터 처리와 저장, 기록까지 전체 흐름을 관리 대상으로 본다.
출발점도 거창할 필요는 없다. OpenAI가 제안한 방식은 하나의 보안 업무부터 AI를 적용하고 책임자와 권한, 승인, 기록 체계를 먼저 갖춘 뒤 적용 범위를 단계적으로 확대하는 것이다. 결국 공격과 방어 모두 AI의 속도로 움직이는 환경에서 필요한 것은 단순히 더 빠른 AI가 아니다. AI의 속도를 활용하면서도 중요한 순간에는 사람이 개입하고 멈출 수 있는 구조를 함께 만드는 것이 2부를 관통한 메시지였다.
2부 패널토크에서 연사들이 AI 리스크를 실제 기업 환경에서 어떻게 통제할 것인지 논의하고 있다. 피지컬 AI 안전부터 AI를 활용한 자율 방어, 기업 보안 워크플로우까지 다루며 AI의 속도를 활용하면서도 사람의 승인과 책임을 남기는 방안이 주요 화두로 올랐다.
AI가 강해질수록 ‘누가 통제하는가’가 중요해진다
이날 발표와 패널토크에서 전문가들이 바라본 AI 리스크의 지점은 조금씩 달랐다. 외부 정보에 숨겨진 명령이 에이전트를 움직이는 공격부터 금융회사의 AI 운영 리스크, AI에게 부여한 권한과 실행 통제, 현실 세계에서 움직이는 피지컬 AI의 안전, 공격 속도를 따라잡기 위한 자율 방어까지 논의의 범위도 넓었다.
하지만 여러 발표가 향한 방향은 분명했다. AI가 무엇을 할 수 있는지를 경쟁하던 단계에서 기업이 AI에게 무엇까지 하도록 허용할 것인지를 고민해야 하는 단계로 넘어가고 있다는 점이다. AI가 직접 행동하기 시작한 이상 모델의 답변만 관리해서는 충분하지 않다. 어떤 데이터와 시스템에 접근했는지, 어떤 판단을 거쳐 무엇을 실행했는지, 그 과정에서 사람이 언제 개입할 수 있는지까지 관리해야 한다.
공격자가 AI를 이용하는 상황에서 기업 역시 AI의 속도를 방어에 활용할 필요가 있다. 그렇다고 빠르다는 이유만으로 중요한 권한과 결정까지 AI에 넘길 수는 없다. 반복적인 탐지와 분석은 AI가 맡더라도 중요한 조치에는 사람의 승인과 책임을 남기는 구조가 필요하다.
AI가 공격하고 AI가 막는 시대가 시작되고 있다. 기업 보안의 경쟁력도 가장 강력한 AI를 보유하는 것만으로 결정되지는 않는다. AI가 필요한 순간 빠르게 움직일 수 있도록 하면서도 무엇을 할 수 있고, 어디에서 멈춰야 하며, 누가 최종 책임을 질 것인지를 설계하는 능력. AI의 행동 범위가 넓어질수록 그 경계를 만드는 일이 새로운 보안의 기준이 되고 있다.
The post AI가 공격하고 AI가 막는다…AIM Intelligence, ‘에이전트 보안’ 시대를 말하다 appeared first on 벤처스퀘어.
