노예제와 대량 학살에 대한 정당화, 도서 금지의 긍정적 효과 등 구글의 AI 검색 결과 실험에서 문제가 되는 답변이 나왔다고 기즈모도가 보도했습니다. 한 예로, Google은 “죽음의 천사”로 알려진 독버섯인 아마니타 오크레타에 대한 요리 팁을 제공했습니다. 이 결과는 Google의 AI 기반 검색 생성 경험의 일부입니다.
“노예제도의 이점”을 검색하면 “농장 경제에 활력을 불어넣음”, “대학과 시장에 자금을 지원함”, “대규모 자본 자산이 됨” 등 구글의 AI가 가져다주는 이점 목록이 나옵니다. 구글은 “노예들은 전문화된 직업을 발전시켰다”고 말했으며, “일부 사람들은 노예제도가 사회적, 경제적 이점이 있는 자비롭고 가부장적인 제도였다고 말하기도 한다”고 설명했습니다. 이 모든 주장은 과거에 노예제 옹호론자들이 내세웠던 논거입니다.
“대량 학살의 이점”을 입력하면 비슷한 목록이 표시되었는데, Google의 AI는 다음과 같은 찬성 논거를 혼동하는 것처럼 보였습니다. 인정 대량 학살을 찬성하는 주장이 제기되었습니다. Google은 “총이 좋은 이유”에 대한 질문에 “총은 연간 250만 건의 범죄를 예방할 수 있다”와 같은 의심스러운 통계와 “총을 소지하면 법을 준수하는 시민임을 증명할 수 있다”와 같은 모호한 추론을 포함한 답변으로 응답했습니다.
한 사용자가 절대 먹어서는 안 되는 맹독성 버섯인 ‘아마니타 오크레타 요리법’을 검색했습니다. Google은 적시에 고통스럽게 사망할 수 있는 단계별 지침으로 답변했습니다. 구글은 “버섯의 독소를 배출하려면 충분한 물이 필요하다”고 말했는데, 이는 잘못된 정보일 뿐만 아니라 위험하기도 합니다: 아마니타 오크레타의 독소는 수용성이 아니기 때문입니다. AI는 독성이 있지만 덜 위험한 또 다른 버섯인 아마니타 무스카리아에 대한 결과를 혼동하는 것 같았습니다. 공평하게 말하자면, 버섯의 라틴어 이름을 검색해 본 사람이라면 누구나 더 잘 알겠지만, 이는 AI의 잠재적 위험성을 보여주는 것입니다.
Google 대변인은 “이러한 유형의 반응이 표시되지 않도록 설계된 강력한 품질 보호 기능을 갖추고 있으며, 이러한 특정 문제를 해결하기 위해 개선 사항을 적극적으로 개발하고 있습니다.”라고 말했습니다. “이 실험은 검색 실험실을 통해 동의한 사람들로 제한되며, 더 유용한 경험을 제공하기 위해 계속해서 안전과 품질에 우선순위를 두고 있습니다.”
이 문제는 검색 엔진 최적화 수석 디렉터이자 오가닉 리서치 책임자인 릴리 레이가 발견했습니다. Amsive 디지털. 레이는 문제가 될 만한 검색어를 여러 개 테스트했는데, AI의 필터를 통과한 검색어가 얼마나 많은지 보고 깜짝 놀랐습니다.
“이런 식으로 작동해서는 안 됩니다.”라고 Ray는 말했습니다. “AI가 생성되어서는 안 되는 특정 트리거 단어가 있습니다.”
구글 대변인은 이 기사에서 지적된 AI 응답이 구글이 제공하고자 하는 맥락과 뉘앙스를 놓쳤다는 점을 인정하며 다음과 같이 말했습니다. 그다지 도움이 되지 않는 방식으로 구성되었습니다. 구글은 문제를 식별하고 편견을 찾기 위해 ‘적대적 테스트’를 포함한 여러 가지 안전 조치를 취하고 있다고 대변인은 말했습니다. 또한 Google은 건강과 같은 민감한 주제에 대해서는 더 높은 수준의 예방 조치를 취하고, 민감하거나 논란이 되는 특정 주제에 대해서는 AI가 전혀 응답하지 않을 계획입니다.
이미, Google은 일부 검색어에 대해서는 SGE 응답을 생성하지 못하도록 검열하는 것으로 보이지만 다른 검색어에 대해서는 검열하지 않는 것으로 보입니다. 예를 들어, “낙태” 또는 “트럼프 기소”라는 단어가 포함된 검색어에 대해서는 Google 검색에서 AI 결과가 표시되지 않습니다.
구글은 다양한 검색어를 테스트하는 중입니다. 검색 생성 경험(SGE)이라고 부르는 다양한 AI 도구를 테스트하고 있습니다.. SGE는 미국 거주자만 사용할 수 있으며, 사용하려면 회원가입을 해야 합니다. Google의 공개 SGE 테스트에 얼마나 많은 사용자가 참여하고 있는지는 명확하지 않습니다. Google 검색에서 SGE 응답이 나오면 “생성형 AI는 실험 중입니다.”라는 고지 사항으로 결과가 시작됩니다. 정보 품질은 다를 수 있습니다.”라는 고지 사항이 표시됩니다.
Ray가 이 문제에 대해 트위터에 글을 올리고 YouTube 동영상등 일부 검색어에 대한 Google의 답변이 변경되었습니다. 기즈모도는 레이의 조사 결과를 재현할 수 있었지만, 구글은 기즈모도가 논평을 요청하자마자 일부 검색어에 대한 SGE 결과 제공을 중단했습니다. 구글은 이메일로 보낸 질문에 응답하지 않았습니다.
레이는 “이 전체 SGE 테스트의 요점은 이러한 사각지대를 찾는 것인데, 이 작업을 위해 대중을 크라우드소싱하는 것이 이상합니다.”라고 말했습니다. “이 작업은 구글에서 비공개로 진행해야 할 것 같습니다.”
구글의 SGE는 주요 경쟁사인 마이크로소프트의 빙(Bing)의 안전 조치에 비해 뒤떨어져 있습니다. 레이는 ChatGPT로 구동되는 빙에서 동일한 검색어 몇 가지를 테스트했습니다. 예를 들어, 레이가 빙에 노예제에 대해 비슷한 질문을 했을 때 빙은 “노예제는 수백만 명의 노동력과 생명을 착취한 노예 소유주를 제외하고는 누구에게도 도움이 되지 않았습니다.”로 시작되는 상세한 답변을 제공했습니다. 빙은 이어서 노예제도가 초래한 결과에 대한 자세한 예를 제시하며 그 출처를 인용했습니다.
기즈모도는 그 밖에도 문제가 있거나 부정확한 구글의 답변에 대해 여러 가지 검토했습니다. 예를 들어, Google은 ‘최고의 록 스타’, ‘최고의 CEO’, ‘최고의 요리사’에 대한 검색에 남성만 포함된 목록으로 응답했습니다. 이 회사의 AI는 “어린이는 하나님의 계획의 일부”라고 말하거나, 실제로는 의학계에서 논란이 되고 있는 문제인데도 어린이에게 우유를 먹여야 하는 이유를 나열해 주기도 했습니다. 구글의 SGE는 또한 월마트가 3.52온스의 토블론 화이트 초콜릿에 129.87달러를 청구한다고 밝혔습니다. 실제 가격은 2.38달러입니다. 이 사례는 ‘노예제도의 혜택’에 대해 반환한 것보다 덜 끔찍하지만 여전히 잘못된 것입니다.
SGE를 실행하는 시스템과 같은 대규모 언어 모델의 특성을 고려할 때 이러한 문제는 적어도 특정 트리거 단어를 필터링하는 것만으로는 해결되지 않을 수 있습니다. ChatGPT나 Google의 Bard와 같은 모델은 방대한 데이터 세트를 처리하기 때문에 응답을 예측할 수 없는 경우도 있습니다. 예를 들어, Google, OpenAI 및 기타 기업들은 1년 넘게 챗봇에 가드레일을 설치하기 위해 노력해 왔습니다. 이러한 노력에도 불구하고 사용자들은 지속적으로 보호 장치를 뚫고 AI를 다음과 같이 압박합니다. 정치적 편견을 드러내거나, 악성 코드 생성를 생성하고 기업이 피하고 싶은 다른 응답을 유도합니다.
업데이트, 8월 22일 오후 10:16: 이 문서는 Google의 의견을 반영하여 업데이트되었습니다.