AI 에이전트 확산으로 공격 비용은 낮아지고 방어는 기계 속도 대응이 필요해진다.

01핵심 개요

• 박세준 티오리 대표는 AI 에이전트를 복제하기 쉬워지며 공격 비용이 0에 수렴하고, 공격 대상 범위도 크게 늘어난다고 말했다.
• 허깅페이스 침해사고에서 GLM은 실시간 방어가 아니라 로그·페이로드 분석 등 사고 조사 속도를 높이는 데 활용됐다고 설명했다.
• 보안 모델의 악용 가능성을 이유로 GPT·클로드 계열이 분석 요청을 거절할 수 있으며, 이는 선량한 방어자의 활용을 제한할 수 있다.
• AI 시대 방어 원칙으로 최소 권한, 짧은 수명의 자격 증명, 이그레스 제어, 이상징후의 신속한 차단·격리를 제시했다.
• 티오리의 젠트는 AI가 공격 시나리오를 만들고 취약점을 검증하며, 발견부터 우선순위 설정·수정·재검증 자동화를 지향한다.

02핵심 주장 / 논점 구조

• 과거 공격자는 인력·시간·비용 제약으로 100개 대상 중 ROI가 나오는 일부만 선택해야 했다고 설명했다.
• AI 시대에는 강한 공격 에이전트를 만든 뒤 1,000개로 복제하기 쉬워져, 이전에 제외된 대상도 공격 범위에 들어갈 수 있다고 봤다.
• 가까운 미래의 큰 위협은 악의적인 사람이 목표를 갖고 강력한 AI 에이전트를 활용하는 경우라고 진단했다.
• 방어도 사람의 속도로는 확장할 수 없어 AI를 활용해 기계 속도로 검증·탐지·대응해야 한다고 주장했다.

03허깅페이스 사고 조사와 GLM 활용

• 허깅페이스 팀은 침해 의심 상황에서 로그, 페이로드, 공격 코드의 연관관계를 분석해야 했다고 설명했다.
• 공격 측 에이전트가 난독화와 외부 서비스를 활용해, 코드와 페이로드를 복호화하고 이해하는 과정이 필요했다고 말했다.
• GPT와 클로드 모델은 악성코드가 포함된 보안 관련 요청을 공격·방어 목적에서 구분하기 어려워 거절했다고 전했다.
• 허깅페이스는 로컬 환경에서 GLM 5.2로 로그를 분석해 사고 파악과 조치를 빠르게 했으며, 이는 실시간 차단이 아닌 조사 지원이었다.

04보안 모델 접근 통제와 트러스트 액세스

• 화이트해커와 악성 해커의 구분은 기술 자체보다 사용자의 의도와 행동에 달려 있으며, 기술은 같다고 설명했다.
• 엄격한 보안 사용 제한은 공격자보다 규칙을 따르는 선량한 방어자의 손발을 묶을 수 있다는 주장이 커지고 있다고 말했다.
• 오픈웨이트 모델은 사용자가 명시적으로 해킹·피해 목적을 밝히지 않으면 보안 작업에 비교적 유연하게 쓰일 수 있다고 언급했다.
• 검증된 방어자에게 강력한 모델 접근을 허용하고 엄격히 관리하는 ‘트러스트 액세스’ 구조가 필요하다고 제안했다.

05에이전트 권한 관리와 즉시 차단

• 방어자에게는 사람이 했는지 AI가 했는지보다 악의적 영향을 빠르게 탐지하고 차단·조치하는 일이 중요하다고 설명했다.
• AI 에이전트에는 업무에 필요한 권한만 주는 최소 권한 원칙이 더 중요해졌다고 강조했다.
• 에이전트의 자격 증명은 평생 유지하지 않고 하루 또는 특정 작업 단위처럼 짧은 수명을 명시한 뒤 회수해야 한다고 말했다.
• 외부로 나가는 경로인 이그레스를 제어하고, 침해 인지 시 에이전트·네트워크를 강제 중단할 수 있어야 한다고 제시했다.
• AI 에이전트 공격은 몇 초·몇 분 안에 끝날 수 있어, 인지와 차단 속도가 보안 경쟁력이 될 수 있다고 봤다.

06편의성과 보안성의 트레이드오프

• 클로드 코드·클로드 코워크 등의 ‘항상 허용’이나 권한 무시 설정은 사용성을 높이지만 API 키와 폴더 접근 노출 위험을 키울 수 있다고 언급했다.
• 사용자가 긴 작업을 맡기며 반복 허용을 불편해하자, AI 서비스가 권한과 자격 증명을 대신 관리하는 방향으로 변하고 있다고 설명했다.
• AI가 정리 작업 중 회사 코드나 데이터베이스를 삭제하는 등 의도하지 않은 비가역적 사고 사례가 언급됐다.
• AI는 확률적 토큰 생성기여서 같은 질문에도 결과가 달라질 수 있으며, 여러 번 잘하다 한 번 잘못될 위험이 있다고 말했다.
• 주요 자산에는 불편하더라도 권한 분리와 권한 관리가 보안성을 지키는 마지막 선이라고 강조했다.

07상시 검증과 젠트의 자동화 방향

• AI 시대 보안의 첫 원칙으로 과도한 권한, 넓게 퍼진 자격 증명, 쉬운 메타데이터 접근을 줄이는 기본 보안을 꼽았다.
• 두 번째 원칙은 공격자의 시각으로 코드와 배포 환경을 상시 검증하는 것이며, 연 1~2회 모의해킹만으로는 변화하는 환경을 따라가기 어렵다고 말했다.
• 티오리의 젠트는 AI가 공격 시나리오를 만들고 자동 테스트해 취약성 증명 또는 안전하다고 판단한 근거를 보고서로 제시한다고 설명했다.
• 실행은 반복 점검, 새 코드 배포 시 트리거, 수동 실행 중 선택할 수 있다고 밝혔다.
• 발견한 취약점의 우선순위 선정, 수정, 수정 결과 재검증까지 기계 속도로 자동화해야 하며 패치는 장애를 내지 않아야 해 공격 탐지보다 어렵다고 말했다.
• 개인 피해 확산과 완전 자동화 전망: 대학이나 공공기관에서 유출된 비밀번호도 다른 서비스에 재사용됐다면 크리덴셜 스터핑으로 이어질 수 있다고 경고했다.
• 개인 피해 확산과 완전 자동화 전망: 병원 진료·수술 정보처럼 개인화된 정보를 이용하면 피해자가 속기 쉬운 2차·3차 피싱 공격이 가능하다고 설명했다.
• 개인 피해 확산과 완전 자동화 전망: 완전 자동화는 기술적으로 시도 가능한 단계지만, AI의 패치 오류나 취약점 미탐지 때 책임 소재가 불분명한 점이 병목이라고 진단했다.
• 개인 피해 확산과 완전 자동화 전망: AI가 생성한 코드는 기존 사람이 만든 취약한 코드의 패턴과 실수를 포함할 수 있어, 생성 후 취약점 탐지와 안전한 수정이 필요하다고 말했다.
• 개인 피해 확산과 완전 자동화 전망: 단기적으로 AI 공격의 확산과 피해 규모는 커질 수 있으나, 제도적 책임 문제가 해결되면 장기적으로 더 안전한 생태계가 가능하다고 전망했다.

08용어 사전