연구원들은 병원에서 사용되는 AI 기반 전사 도구가 아무도 말하지 않은 것을 만들어낸다고 말합니다.

샌프란시스코 – 거대 기술 기업인 OpenAI는 자사의 AI 기반 전사 도구인 Whisper가 “인간 수준”에 가까운 견고성과 정확성을 자랑한다고 선전했습니다.

그러나 Whisper에는 한 가지 큰 결함이 있습니다. 12명이 넘는 소프트웨어 엔지니어, 개발자 및 학술 연구원과의 인터뷰에 따르면 텍스트의 일부 또는 전체 문장을 구성하는 경향이 있다는 것입니다. 전문가들은 업계에서 환각으로 알려진 조작된 텍스트 중 일부에는 인종적 비방, 폭력적인 수사, 심지어 가상의 의학적 치료가 포함될 수 있다고 말했습니다.

전문가들은 Whisper가 전 세계 수많은 산업에서 인터뷰를 번역 및 전사하고, 인기 있는 소비자 기술로 텍스트를 생성하고, 비디오 자막을 만드는 데 사용되기 때문에 이러한 발명품이 문제가 된다고 말했습니다.

더 걱정스러운 점은 “고위험 영역”에서 도구를 사용해서는 안 된다는 AbiertoAI의 경고에도 불구하고 의료 센터에서 환자와 의사의 상담 내용을 기록하기 위해 Whisper 기반 도구를 서두르고 있다는 점입니다.

문제의 전체 범위를 파악하는 것은 어렵지만 연구원과 엔지니어들은 작업 중에 Whisper의 환각을 자주 접했다고 말했습니다. 예를 들어, 공개 회의에 대한 연구를 수행한 미시간 대학교 연구원은 모델 개선을 시작하기 전에 검사한 오디오 녹취록 10개 중 8개에서 환각을 발견했다고 말했습니다.

한 기계 학습 엔지니어는 자신이 분석한 100시간이 넘는 속삭임 기록 중 약 절반에서 처음에 환각을 발견했다고 말했습니다. 세 번째 개발자는 자신이 Whisper로 작성한 26,000개의 녹취록 거의 모두에서 환각을 발견했다고 말했습니다.

짧고 잘 녹음된 오디오 샘플에서도 문제가 지속됩니다. 컴퓨터 과학자들의 최근 연구에서는 조사한 13,000개 이상의 선명한 오디오 조각에서 187개의 환각을 발견했습니다.

이러한 추세는 수백만 건의 녹음에서 수만 건의 잘못된 기록으로 이어질 것이라고 연구원들은 말했습니다.

이러한 실수는 특히 병원 환경에서 “정말 심각한 결과”를 초래할 수 있다고 지난해까지 바이든 행정부의 백악관 과학기술정책실을 이끌었던 알론드라 넬슨이 말했습니다.

뉴저지주 프린스턴 고등연구소의 넬슨 교수는 “오진을 원하는 사람은 아무도 없다”고 말했다. “기준이 더 높아야 합니다.”

Whisper는 또한 잘못된 전사의 위험이 있는 청각 장애 및 난청이 있는 사람들을 위한 캡션을 만드는 데에도 사용됩니다. 청각 장애가 있고 청각 장애가 있는 사람들은 “다른 모든 텍스트 속에 숨겨진” 거짓말을 식별할 방법이 없기 때문이라고 Gallaudet University의 기술 접근 ​​프로그램을 이끌고 있는 Christian Vogler가 말했습니다.

이러한 유형의 환각이 만연함에 따라 전문가, 옹호자 및 전 OpenAI 직원은 연방 정부에 AI 규정을 고려할 것을 촉구했습니다. 최소한 OpenAI는 이 결함을 해결해야 한다고 그들은 말했습니다.

회사의 방향에 대한 우려로 지난 2월 OpenAI를 떠난 샌프란시스코 소재 연구 엔지니어인 William Saunders는 “회사가 우선순위를 정한다면 이 문제는 해결 가능한 것 같습니다.”라고 말했습니다. “이것을 세상에 내놓고 사람들이 그것이 무엇을 할 수 있는지에 대해 너무 확신하고 이를 다른 모든 시스템에 통합한다면 문제가 됩니다.”

Open AI 대변인은 회사가 환각을 줄이는 방법을 지속적으로 연구하고 있으며 연구원들의 연구 결과를 높이 평가하며 OpenAI가 피드백을 모델 업데이트에 통합한다고 덧붙였습니다.

대부분의 개발자는 전사 도구가 단어 철자를 틀리거나 다른 실수를 한다고 가정하지만, 엔지니어와 연구원은 Whisper만큼 큰 AI 기반 전사 도구를 본 적이 없다고 말했습니다.

이 도구는 OpenAI의 주력 챗봇인 ChatGPT의 일부 버전에 내장되어 있으며 전 세계 수천 개의 기업에 서비스를 제공하는 Oracle 및 Microsoft 클라우드 컴퓨팅 플랫폼에 통합된 제품입니다. 또한 텍스트를 여러 언어로 복사하고 번역하는 데에도 사용됩니다.

지난 달에만 오픈 소스 AI 플랫폼 HuggingFace에서 최신 버전의 Whisper가 420만 번 이상 다운로드되었습니다. 그곳의 기계 학습 엔지니어인 Sanchit Gandhi는 Whisper가 가장 인기 있는 오픈 소스 음성 인식 모델이며 콜 센터부터 음성 비서까지 모든 것에 내장되어 있다고 말했습니다.

코넬 대학교의 Allison Koenecke 교수와 버지니아 대학교의 Mona Sloan 교수는 카네기 멜론 대학교에서 호스팅하는 연구 저장소인 TalkBank에서 얻은 수천 개의 짧은 단편을 조사했습니다. 그들은 환각의 거의 40%가 화자가 잘못 해석되거나 잘못 전달될 수 있기 때문에 해롭거나 걱정스러운 것이라고 판단했습니다.

그들이 발견한 한 예에서, 한 연사는 “그 소년이 우산을 가지러 가고 있었는데, 정확히는 잘 모르겠습니다.”라고 말했습니다.

그러나 전사 소프트웨어는 다음과 같이 덧붙였습니다. “그는 아주 작은 십자가 조각을 가져갔습니다… 나는 그가 테러용 칼을 가지고 있지 않았을 것이라고 확신합니다. 그래서 그는 여러 사람을 죽였습니다.”

또 다른 녹음의 화자는 “다른 두 소녀와 한 여성”을 묘사했습니다. Whisper는 인종에 대해 “다른 두 명의 소녀와 흑인 여성 한 명”을 추가하면서 추가 논평을 했습니다.

세 번째 기록에서 Whisper는 “과다 활성화된 항생제”라는 존재하지 않는 약물을 발명했습니다.

연구원들은 Whisper 및 유사한 도구가 환각을 일으키는 이유를 확신하지 못하지만 소프트웨어 개발자는 이러한 조작이 일시 중지, 배경 소리 또는 음악 재생 중에 발생하는 경향이 있다고 말했습니다.

OpenAI는 온라인 공개에서 “정확도가 떨어지면 결과가 뚜렷하게 실패할 수 있는 의사결정 상황”에서 Whisper를 사용하지 말 것을 권장했습니다.

이러한 경고에도 불구하고 병원이나 의료 센터는 의사 방문 중에 말한 내용을 기록하기 위해 Whisper를 포함한 음성-텍스트 모델을 사용하여 의료 제공자가 메모를 작성하거나 보고서를 작성하는 데 소요되는 시간을 줄였습니다.

미네소타의 맨카토 클리닉(Mankato Clinic)과 로스앤젤레스 아동 병원(Children’s Hospital Los Angeles)을 포함하여 30,000명 이상의 의사와 40개 이상의 의료 시스템이 프랑스와 미국에 지사를 두고 있는 Nabla가 개발한 Whisper 기반 도구를 사용하기 시작했습니다.

Nabla의 최고 기술 책임자인 Martin Raison은 이 도구가 환자의 상호 작용을 기록하고 요약하기 위해 의료 용어에 맞게 조정되었다고 말했습니다.

회사 관계자는 위스퍼가 환각을 유발할 수 있다는 사실을 인지하고 있으며 문제를 완화하고 있다고 말했다.

Nabla의 도구는 “데이터 보안상의 이유로” 원본 오디오를 삭제하기 때문에 Nabla의 AI 생성 녹취록을 원본 녹음과 비교하는 것은 불가능하다고 Raison은 말했습니다.

Nabla는 이 도구가 약 700만 건의 의료 방문을 기록하는 데 사용되었다고 말했습니다.

전직 OpenAI 엔지니어인 손더스는 녹취록을 다시 확인하지 않거나 의사가 녹음 내용에 접근하여 녹음 내용이 올바른지 확인할 수 없는 경우 원본 오디오를 삭제하는 것이 문제가 될 수 있다고 말했습니다.

“기본적인 진실을 제거하면 오류를 발견할 수 없습니다.”라고 그는 말했습니다.

Nabla는 어떤 모델도 완벽하지 않으며 현재 의료 제공자가 기록된 메모를 신속하게 편집하고 승인하도록 요구하고 있지만 상황은 바뀔 수 있다고 말했습니다.

환자와 의사와의 만남은 기밀이기 때문에 AI가 생성한 녹취록이 환자에게 어떤 영향을 미치는지 알기가 어렵습니다.

캘리포니아 주 의원인 레베카 바우어-카한은 올해 초 자녀 중 한 명을 의사에게 데려갔고 마이크로소프트 애저(Microsoft Azure)를 포함한 제공업체와 상담 오디오를 공유하도록 허락해 달라는 의료 네트워크의 양식에 서명하는 것을 거부했다고 말했습니다. , OpenAI의 최대 투자자가 운영하는 클라우드 컴퓨팅 시스템입니다. . Bauer-Kahan은 기술 회사와 그러한 친밀한 의료 대화가 공유되는 것을 원하지 않는다고 그녀는 말했습니다.

주 의회에서 샌프란시스코 교외 지역을 대표하는 민주당원 바우어-카한(Bauer-Kahan)은 “이 게시물에는 영리 기업이 이를 가질 권리가 있다는 것이 매우 구체적으로 나와 있었습니다.”라고 말했습니다. “나는 ‘절대 그렇지 않다’고 생각했어요.”

John Muir Health 대변인 Ben Drew는 의료 시스템이 주 및 연방 개인 정보 보호법을 준수한다고 말했습니다.

___

Schellmann은 뉴욕에서 보도했습니다.

___

이 이야기는 Whisper 학술 연구를 부분적으로 지원한 Pulitzer Center의 AI Accountability Network와 협력하여 제작되었습니다.

___

Associated Press는 인공 지능과 그것이 사회에 미치는 영향에 대한 보도를 지원하기 위해 Omidyar Network로부터 재정 지원을 받습니다. AP는 모든 콘텐츠에 대해 전적인 책임을 집니다. AP.org에서 자선 단체와의 협력을 위한 AP 표준, 후원자 목록 및 자금 지원 범위를 찾아보세요.

___

Associated Press와 OpenAI는 OpenAI가 AP의 일부 텍스트 파일에 액세스할 수 있도록 허용하는 라이센스 및 기술 계약을 맺었습니다.