캘리포니아 커뮤니티칼리지 AI챗봇, 엉터리 답변에 학생 불만 고조

캘리포니아주의 여러 커뮤니티칼리지(2년제 대학)들이 입학, 재정지원, 캠퍼스 서비스 안내를 위해 인공지능(AI) 기반 챗봇을 도입하며 수백만 달러를 투자하고 있다. 그러나 챗봇이 기본적인 질문에는 답하면서도 구체적인 질문에는 오류를 반복해 학생들이 오히려 비공식 SNS 채널에서 도움을 구하는 상황이 벌어지고 있다.

■ 수백만 달러 투자했지만…“대학 총장 이름도 틀려”

온라인 매체 CalMatters가 여러 대학 챗봇을 테스트한 결과, 일반적인 질문에는 비교적 정확했지만 세부적인 질문에는 일관성이 떨어졌다. 예를 들어, 이스트 로스앤젤레스 칼리지(ELAC)의 챗봇은 “현 총장이 누구인가”라는 질문에 이미 퇴임한 인물을 답하는 등 기본 정보조차 제대로 제공하지 못했다.

챗봇 도입 비용도 만만치 않다. CalMatters 설문에 응한 세 개 학군은 연간 15만 달러에서 최대 50만 달러에 이르는 계약 비용을 보고했다. 캘리포니아 최대 규모인 LA 커뮤니티칼리지 학군(LACCD)은 2021년 이후 승인된 계약 및 개정안을 기준으로 2029년까지 약 380만 달러를 지출할 예정인 것으로 나타났다.

■ FAQ 기반 챗봇, 정보 업데이트 늦어 오류 반복

여러 학군이 사용하는 Gravyty, Gecko 등 챗봇 플랫폼은 수천 건의 대화를 처리하며 업무 부담을 줄여준다고 홍보하지만, 많은 시스템이 수동으로 관리되는 FAQ 데이터베이스나 캠퍼스 웹사이트 정보에 의존한다. 이 때문에 정보가 오래되거나 데이터베이스에 없는 질문이 들어오면 잘못된 답변을 제공하는 일이 잦다.

■ 일부 대학은 ChatGPT 기반 시스템으로 전환… “정확도 개선 기대”

산타모니카 칼리지 등 일부 학군은 웹사이트를 실시간으로 스크래핑해 답변을 생성하는 ChatGPT 기반 챗봇으로 전환하며 정확도 향상을 기대하고 있다. LA 학군도 이르면 올봄 새로운 AI 챗봇 플랫폼으로 교체할 계획이라고 밝혔다.

그러나 학생들의 불편은 여전하다. ELAC 컴퓨터공학 전공 학생 파블로 아기레는 “챗봇이 오래되거나 부정확한 정보를 줄 때가 많아 거의 사용하지 않는다”며 “재정지원 정보를 찾으려 했지만 챗봇이 계속 질문만 되묻고 명확한 답을 주지 않아 결국 포기했다”고 말했다.

그는 필요한 정보를 찾기 위해 구글 검색, Reddit, 대학 웹사이트를 주로 이용한다고 했다. “웹사이트도 404 오류가 뜨거나 원하는 페이지를 찾기 어려울 때가 많다”며 “그럴 땐 그냥 Reddit을 본다”고 말했다.

■ “챗봇이 오히려 혼란 유발”… 학생들 불신 커져

프레즈노 시티 칼리지 학생회 부회장 리애나 칼슨도 비슷한 경험을 했다. 그는 학교 챗봇 ‘샘 더 램(Sam the Ram)’이 기본적인 캠퍼스 서비스 질문에도 부정확한 답변을 반복했다고 말했다.

그의 학군(State Center Community College District)은 Gravyty와 3년간 약 87만 달러 규모의 계약을 맺고 있다. 칼슨은 “챗봇이 너무 오래됐고 캠퍼스 서비스를 제대로 안내하지 못한다”며 “질문하기에 가장 좋은 도구라고 생각하지 않는다”고 말했다.

흥미롭게도, 칼슨은 질문에 일부러 오타를 넣었을 때만 무료 식품 제공처인 ‘Ram Pantry’ 정보를 정확히 얻을 수 있었다고 밝혔다. CalMatters의 반복 테스트에서도 같은 결과가 확인됐다.

■ 언어별 응답 불일치·잘못된 위치 안내 등 문제 지속

CalMatters 테스트에 따르면 ELAC 챗봇은 영어·스페인어·중국어·베트남어 등 여러 언어를 지원한다고 주장하지만, 스페인어 질문에는 엉뚱한 답변을 제공하는 등 언어별 일관성도 부족했다.

프레즈노 시티 칼리지 챗봇 역시 소셜번호(SSN) 필요 여부 질문에 부정확한 답변, 잘못된 사무실 위치 안내, 운영 시간 오류 등 유사한 문제가 나타났다.

■ 뉴욕시도 AI 챗봇 중단… “불법 조언 제공”

챗봇 문제는 다른 지역에서도 나타나고 있다. 뉴욕시에서는 시정부가 운영하던 AI 챗봇이 불법 행위로 이어질 수 있는 잘못된 조언을 제공한 사실이 드러나, 지난 2월 시장이 서비스를 전면 중단했다. <최수진 기자>