계약자들은 새로운 구글 지침이 Gemini의 민감한 주제에 대한 정확성에 영향을 줄 수 있다고 경고했습니다.

구글의 내부 지침 변경이 최근에 이루어졌는데, 이로 인해 특히 민감하거나 전문적인 주제를 다루는 Gemini AI의 정확성에 대한 우려가 제기되고 있습니다.

제미니 프로젝트에 참여하는 계약자들은 이제 AI가 생성한 응답의 정확성을 평가하는 업무를 맡고 있습니다. 이들 계약자들은 이제 자신의 전문 분야를 벗어난 프롬프트를 건너뛸 수 없게 되었습니다. 이 변경사항은 처음으로 TechCrunch에서 보도하였으며, 이는 건강 관리와 같이 정확한 지식이 중요한 주제에 대한 AI의 정보 제공 신뢰성에 영향을 미칠 가능성이 있습니다.

TechCrunch는 이전에 Hitachi가 소유한 아웃소싱 회사인 GlobalLogic의 계약자들이 “진실성”과 같은 요소를 기반으로 AI 응답을 평가하는 작업을 맡았으며, 자신의 전문 분야를 벗어난 프롬프트를 건너뛸 수 있었다고 보도했습니다.

예를 들어, 심장병학에 관한 기술적인 질문을 평가하라고 요구받았을 때, 과학적 배경이 없는 계약자는 이를 건너뛸 수 있었습니다.

그러나 새로운 지침에 따르면, 계약자들은 이제 TechCrunch에서 보도한 바와 같이 전문 지식을 필요로 하는 프롬프트를 포함한 모든 프롬프트에 대한 응답을 평가하고, 전문 지식이 부족한 부분을 기록해야 합니다.

새로운 규칙은 복잡한 주제에 대한 평가의 품질에 대한 우려를 증폭시켰습니다. 종종 필요한 배경 지식이 없는 계약자들이 이제 희귀 질환이나 고급 수학과 같은 이슈에 대한 AI 응답을 판단하는 업무를 맡게 되었습니다.

한 계약자가 TechCrunch에게 내부 대화에서의 불만을 표현했는데, 이는 스킵 옵션을 없애는 뒤에 있는 논리에 대해 의문을 제기한 것입니다: “스킵하는 것의 목적이 더 나은 사람에게 주어 정확도를 높이는 것이 아니었나요?”

TechCrunch는 업데이트된 가이드라인이 계약자들에게 스킵 옵션을 사용할 수 있는 경우를 두 가지로 제한한다고 보도했습니다: 프롬프트나 응답이 불완전하거나, 평가를 위해 특별한 동의가 필요한 유해한 내용을 포함하는 경우에만 가능하다는 것입니다.

이 제한 사항은 Gemini의 작업자들 사이에서 경고음을 울리고 있으며, 그들은 AI가 매우 민감한 분야에서 부정확하거나 오해를 불러일으킬 정보를 생성할 수 있다는 우려를 표현하고 있습니다.

TechCrunch의 보도에 따르면, 구글은 계약자들이 제기한 이런 문제에 대해 세부적인 답변을 제공하지 않았다고 합니다.

그러나 한 대변인이 TechCrunch에게 회사가 “지속적으로 Gemini의 사실적 정확성을 개선하고 있다”고 강조했습니다. 그들은 또한 평가자들이 여러 요소에 대한 귀중한 피드백을 제공하지만, 그들의 평가가 알고리즘에 직접적인 영향을 미치지는 않고, 전체 시스템 성능을 측정하는데 사용된다고 명확히 하였습니다.

Mashable은 보고서가 Google이 Gemini의 정확성을 테스트할 때 주장하는 엄격함과 기준을 의문시킨다고 지적했습니다.

“책임감 있게 구축하기“란 Gemini 2.0 발표의 부분에서, 구글은 “신뢰할 수 있는 테스터들과 외부 전문가들과 함께 작업하고, 광범위한 위험평가와 안전 및 보증 평가를 수행하고 있다”라고 밝혔습니다.

민감하고 해로운 내용에 대한 반응을 평가하는 데에는 합리적인 강조가 있지만, Mashable에서 지적한 것처럼, 해로운 것은 아니지만 단순히 부정확한 반응에 대해서는 덜 주목하고 있는 것 같습니다.