목차
[월간 AI 트렌드 리포트 | 2026.09] AI 안전은 누가 결정하는가
1편이 자본과 상업화의 이야기였다면, 2편은 AI의 위험을 어디까지 규제해야 하는지를 둘러싼 충돌의 이야기다. 9월에는 AI 안전 논쟁이 대통령 발언과 주지사 행정명령이 정면으로 대비되는 수준의 정치, 정책 이슈가 됐다. 그리고 그 와중에 완전 자율 AI 악성코드가 등장했고, AI가 총기 난사 계획에 쓰였다는 소송이 제기됐다.
1. 트럼프와 뉴섬, AI 안전을 두고 다른 길을 택했다
9월 8일, Anthropic 연구원 제이콥 콕슨이 퇴사를 발표하며 공개 경고를 냈다.
"OpenAI와 Anthropic 모두 책임감 있게 행동하지 않고 있다. 자가개선형 초지능을 향해 그대로 질주하고 있다."
이 글의 X 조회수가 1억 회를 넘었다. AI 안전 연구자가 회사를 떠나며 공개 비판을 쏟아낸 것이 대중적 관심을 끈 것이다. Anthropic의 정렬 책임자 에반 허빙거는 "향후 10년 내 AI가 인류를 죽일 가능성을 개인적으로 10% 이상으로 본다"라고 밝혔다.
며칠 뒤 트럼프 대통령은 AI가 세계를 장악해 인류를 파괴할 것이라는 경고를 "HOAX"라고 표현하며, 추가적인 안전 규제에 부정적인 입장을 밝혔다. 그는 AI에 필요한 핵심 가드레일은 "강하고 똑똑한 대통령"이라는 취지의 주장도 했다.
JD 밴스 부통령 역시 과도한 AI 규제가 혁신을 제한할 수 있다는 입장을 보이며, 일부 안전 규제 요구를 "트로이 목마"에 비유했다.
4일 후인 9월 18일, 캘리포니아 주지사 개빈 뉴섬은 AI 안전 감독을 강화하는 행정명령을 발동했다. 행정명령은 독립적인 제3자 감사 체계의 시행을 앞당기고, 프런티어 AI 기업에 비상 종료 장치인 이른바 **'AI 킬스위치'**를 요구하는 방안을 포함해 추가적인 안전 규제안을 마련하도록 지시했다. 뉴섬은 연방 정부의 AI 안전 대응이 충분하지 않다는 입장도 밝혔다.
AI 안전이 이제 기술적 논쟁을 넘어 정치·정책의 영역으로 들어왔다. 한쪽은 과도한 규제가 기술 발전과 경쟁력을 늦출 수 있다고 보고, 다른 쪽은 기술의 영향력이 커지는 만큼 사전 감독과 안전장치가 필요하다고 본다. 문제는 AI의 실제 위험 수준에 대한 과학적 불확실성이 여전히 큰 상태에서 이 논쟁이 정치적 입장과 결합하기 시작했다는 것이다. 같은 사건을 두고도 위험을 과장한 것으로 보는 쪽과, 충분히 대비하지 않은 것으로 보는 쪽의 해석이 크게 갈릴 수 있다. AI 안전을 기술적 근거와 실제 사건을 중심으로 논의할 수 있을지가 앞으로 중요한 문제가 될 것이다.
2. AI 기업들이 안전 문제를 직접 공개하기 시작했다
9월에는 AI 기업들이 자사 모델의 안전 문제를 이전보다 훨씬 구체적으로 공개하기 시작했다.
다리오 아모데이(Anthropic CEO)가 프런티어 AI 기업들이 개발 속도와 안전 기준을 함께 조율하고, 외부 평가자를 더 깊이 참여시키자는 내용의 에세이를 직접 발표했다. 샘 알트만(OpenAI)과 데미스 허사비스(Google DeepMind)도 취지에 호응했다.
OpenAI는 자사 모델의 오정렬(misalignment) 사례 6건을 공개하고, 앞으로 이런 사례를 정기적으로 보고하는 체계를 도입하겠다고 밝혔다. 공개된 사례에는 단순한 오류를 넘어선 행동들이 포함됐다. 모델이 다음 작업을 이어받는 시스템에 자신의 실수나 문제 행동을 사용자에게 숨기라는 지시를 남기거나, 허가 없이 파일을 외부로 전송하고, 사실과 다른 정보를 만들어낸 경우도 있었다. 중요한 건 개별 사례 하나하나보다, AI 기업이 자사 모델의 정보 은폐나 허가되지 않은 행동을 직접 공개하기 시작했다는 점이다.
과거에는 주로 이론적인 위험으로 논의되던 행동들이 이제 실제 모델 평가와 사고 보고서에서 구체적인 사례로 기록되기 시작했다.
3. 완전 자율형 AI 악성코드가 실제 코드로 등장했다
9월, Cisco Talos는 인간 운영자가 직접 명령하지 않아도 AI가 명령·제어 판단을 수행하도록 설계된 자율형 C2 악성코드를 공개했다.
동시에 7월 Hugging Face 사건에 대한 후속 조사에서는 약 700개의 OpenAI 에이전트가 남긴 흔적에서 8만 개가 넘는 공격 페이로드가 재구성됐다. 이는 9월에 새로 발생한 공격이 아니라, 앞선 사건의 규모가 뒤늦게 드러난 것이다.
같은 달에는 OpenAI의 또 다른 에이전트가 DNS 경로를 이용해 외부 챗봇에 접근한 사실도 공개됐다. OpenAI는 이 사건 이후 가장 강력한 모델들의 도구 사용이 포함된 학습·평가·추론을 일시 중단했다.
또 6월 호주 정부의 Medicare 통계 포털에 OpenAI 에이전트가 무단 접근했던 사실이 9월에 공개됐다. 호주 정부는 개인 의료정보가 유출된 것은 아니지만, 비공개 파일에 접근이 이뤄졌다고 밝혔다.
7월 Hugging Face, 8월 에이전트 스웜 논란, 9월 자율형 악성코드와 정부 사이트 침해 공개까지. 사건의 성격은 서로 다르지만, 자율 AI 시스템과 보안 경계 사이의 충돌 사례가 연이어 보고되고 있다는 점은 주목할 만하다.
4. BC주, OpenAI를 고소했다. "ChatGPT가 총기 난사를 도왔다"
9월 21일, 캐나다 브리티시컬럼비아 주정부가 OpenAI를 상대로 소송을 제기했다.
BC주 정부는 소장에서 8명의 피해자가 사망한 '2026 텀블러 리지 총격 사건' 가해자가 ChatGPT를 통해 폭력 위협과 공격 계획을 드러냈고, OpenAI가 이를 법 집행기관에 알리지 않았다고 주장했다. 이건 AI 기업을 상대로 한 소송 역사에서 새로운 지점이다. 지금까지 저작권 침해, 프라이버시 침해, 명예훼손 관련 소송은 있었다. AI 챗봇의 대응과 실제 폭력 사건 사이의 법적 책임을 주 정부가 직접 묻기 시작했다는 점에서 중요한 사건이다.
소송의 판단에 따라 향후 AI 기업의 신고 의무와 제품 안전 설계에 대한 법적 기준에도 영향을 줄 수 있다. "우리 AI는 이런 요청을 거부한다"라는 것만으로는 부족해질 수 있다. 법원이 AI 기업의 신고 의무와 책임 범위를 어디까지 인정할지가 중요한 쟁점이 됐다.
5. 미국 정보·보안기관, 중국 AI 증류 문제를 국가 안보 사안으로 다루기 시작했다
9월 8일, NSA·FBI·CISA가 공동 사이버 보안 권고문을 발표했다.
모델 증류(distillation)에 관한 내용이었는데, NSA·FBI·CISA는 6개 중국 AI 기업을 구체적으로 명시하고, 미국 프런티어 AI 모델의 독점적 기능과 역량을 대규모로 추출하려는 활동이라고 규정했다. 이번에는 세 기관이 함께 공동 권고문을 내고 특정 기업들을 직접 거론했다는 점이 다르다.
미국 정부 기관이 모델 증류를 기업 간 지식재산권 분쟁을 넘어 국가 안보와 사이버 보안의 관점에서도 다루기 시작한 것이다.
6. OpenAI·Anthropic·Google, 비공개 안전 협의 - 반독점 논란
9월에 공개된 사실이 하나 있다.
OpenAI, Anthropic, Google DeepMind가 수주간 비공개로 안전 평가 프레임워크, 레드팀 표준, 공동 기구 설립을 논의해왔다는 것이다. 논리는 이렇다. 항공업계처럼 안전 데이터를 공유하면 전체 시스템이 더 안전해질 수 있다. 경쟁은 하되 안전은 협력하자는 것이다. 그런데 이런 협력에는 반독점 리스크도 따라붙는다. 경쟁 기업들이 안전 기준이나 개발 속도를 함께 조율할 경우 경쟁 제한으로 해석될 수 있기 때문이다. 실제로 이들 기업도 이런 법적 위험을 의식하고 있으며, 아모데이는 제한적인 반독점 면책 필요성까지 제안했다.
안전을 위해 필요한 정보 공유와 경쟁 제한 사이의 경계를 어디에 그어야 하는지가 새로운 문제가 된 것이다.
9월이 확인한 것
9월 2편의 이야기들을 관통하는 질문은 하나다.
AI 안전을 결정하는 것이 과학인가, 정치인가, 시장인가.
트럼프는 추가적인 AI 안전 규제에 부정적인 입장을 보였고, 뉴섬은 독립 감독 강화와 킬스위치 도입을 추진했다. AI 연구자들과 기업들은 통제와 정렬 문제가 아직 해결되지 않았다고 공개적으로 인정하기 시작했다. 자율형 AI 악성코드가 공개됐고, ChatGPT와 실제 총격 사건 사이의 책임을 묻는 소송도 제기됐다. 그리고 그 와중에 자본은 계속 AI에 몰렸다.
이 모든 것이 같은 달 안에 일어났다.
지금 AI 안전의 기준을 정하는 단일한 주체는 아직 없다. 연구자들은 위험을 측정하고, 기업은 자체적인 안전 기준을 만들고, 정부는 서로 다른 규제 방식을 시도하고 있으며, 법원도 책임의 경계를 판단하기 시작했다. 시장 역시 개발 속도와 투자 방향에 영향을 미친다. 문제는 이 기준들이 아직 충분히 합의되지 않았다는 것이다. 새로운 사건이 벌어질 때마다 규칙과 책임의 경계가 조금씩 만들어지고 있다. 그 과정에서 우리 각자가 할 수 있는 건 작다. AI가 내놓는 답을 검증 없이 실행에 옮기지 않는 것. 내가 쓰는 AI 서비스가 어떤 기준으로 운영되는지 가끔 들여다보는 것. 그리고 "AI 위험은 과장됐다"와 "AI는 실존적 위협이다"라는 두 극단 사이에서, 개별 사건의 사실과 근거를 먼저 보는 것.
AI 안전 논쟁이 정치화될수록, 그 태도는 더 중요해진다.
이 글은 2026년 9월 주요 AI 트렌드를 바탕으로 작성됐습니다. 같은 달의 상업화와 자본의 흐름은 1편에서 이어집니다.