Zoom의 맞춤형 AI 아바타 도구는 위험을 초래할 수 있습니다

Zoom은 여러분을 사실적인 AI 애니메이션 아바타로 만들고 싶어하지만 내년까지는 그럴 수 없습니다.

오늘 Zoom의 연례 개발자 컨퍼런스에서 발표된 새로운 기능은 사용자가 자신을 녹화한 비디오 클립을 머리, 팔, 어깨가 포함된 디지털 클론으로 변환하는 것입니다. 사용자는 디지털 복제자가 말하고 싶은 내용에 대한 스크립트를 작성할 수 있으며 Zoom은 아바타의 입술 움직임과 동기화되는 오디오를 생성합니다.

Zoom의 최고 제품 책임자인 Smita Hashim은 TechCrunch에 맞춤형 아바타는 사람들이 동료와 “더 빠르고 생산적인” 방식으로 “비동기적으로” 채팅할 수 있도록 설계되었다고 말했습니다.

“아바타는 클립을 녹화할 때 사용자의 귀중한 시간과 노력을 절약하고 비디오 제작 규모를 확장할 수 있게 해줍니다”라고 Hashim은 말했습니다.

그러나 이는 딥페이크 위험을 초래할 수도 있습니다.

몇몇 회사는 사람의 얼굴을 디지털 방식으로 “복제”하고 해당 복제물을 합리적으로 자연스러운 합성 음성과 결합하는 인공 지능 기술을 개발했습니다. 예를 들어, tavus는 브랜드가 개인화된 비디오 광고를 위한 가상 페르소나를 만드는 데 도움을 주며, Microsoft는 작년에 개인을 위한 강력한 디지털 대리인을 생성할 수 있는 서비스를 출시했습니다.

그러나 이러한 도구 중 다수는 오용을 방지하기 위해 엄격하고 구체적인 보호 조치를 구현합니다. Tavus는 구두 동의서를 요구하며 Microsoft는 고객이 특정 아바타로부터 서면 허가 및 동의를 얻도록 요구합니다.

Zoom은 보안 조치에 대해 좀 더 모호했습니다.

오용을 금지하는 Zoom의 사용 정책에 대해 Hashim은 회사가 “고급 인증” 및 워터마킹을 포함하여 맞춤형 아바타 기능에 “수많은 보호 장치”를 구축하고 있다고 말했습니다.

하심씨는 “앞으로도 필요에 따라 안전장치를 계속 검토하고 추가할 것”이라고 말했다. “우리는 아바타로 클립이 생성될 때 이를 명확하게 하기 위해 (…) 기술을 사용하고 (…) 아바타 생성 콘텐츠의 무결성을 보장하는 데 도움을 줍니다.”

Zoom의 디지털 이미지는 언젠가 Zoom 회의에서 대신 말하고, 이메일에 답하고, 전화를 받을 수 있는 AI를 만들겠다는 CEO Eric Yuan의 광범위한 비전과 일치합니다.

그러나 이러한 유사점은 딥페이크가 점점 인기를 얻고 있는 시기에 나타납니다. 소셜 미디어에 산불처럼 퍼져 진실과 잘못된 정보를 구별하기 어렵게 만듭니다.

올해 들어 지금까지 조 바이든 대통령, 테일러 스위프트, 카말라 해리스 부통령이 등장하는 딥페이크는 수백만 건의 조회수와 공유수를 기록했습니다. 최근에는 허리케인 헬렌의 여파로 AI가 생성한 파괴와 인간의 고통에 대한 가짜 이미지가 웹에 넘쳐났습니다.

예를 들어, 딥페이크는 사랑하는 사람을 사칭하여 개인을 공격하는 데에도 사용되었습니다. 피싱 사기로 인한 손실액은 지난해 10억 달러를 넘어섰습니다. FTC에 따르면.

Zoom은 사기꾼들이 도구를 사용하여 사람들이 악의적인 목적으로 말하지 않은 내용을 말하는 동영상을 생성하는 것을 정확히 어떻게 막을까요? 아직 명확하지 않습니다. 회사에서 제공하는 모형은 사용자 정의 아바타 비디오의 오른쪽 상단에 눈에 보이는 워터마크를 보여줍니다. 그러나 이와 같은 워터마크는 화면 녹화 도구를 사용하여 쉽게 자를 수 있습니다.

Zoom은 사용자당 월 12달러의 프리미엄 추가 기능의 일부로 비동기 비디오 도구인 확장 비디오용 맞춤형 아바타를 출시할 계획인 2025년 상반기에 더 많은 정보를 얻을 수 있을 것으로 예상합니다.

Zoom이 어떤 조치를 취하는지 여부에 관계없이 딥페이크의 공격에 대응하기 위한 규제 노력이 진행 중입니다.

미국 연방 차원에서 딥페이크를 범죄로 규정하는 법이 없는 가운데, 10개 이상의 주에서 AI 지원 스푸핑에 대한 법령을 제정했습니다. 캘리포니아주 법은 현재 정체 상태입니다. 판사가 딥페이크 포스터를 게시 중단하거나 금전적 처벌을 받을 수 있도록 명령할 수 있는 권한을 최초로 부여하게 될 것입니다.