오픈 소스 프로젝트, AI 크롤러로 인해 시스템 과부하에 허덕이다

AI 기반 웹 크롤러가 주요 위협으로 떠오르며 오픈소스 소프트웨어 커뮤니티의 인프라에 대한 광범위한 혼란을 초래하였습니다.

AI 회사들이 언어 모델을 위한 학습 데이터를 수집하기 위해 배포한 이러한 봇들로 인해 인기 있는 저장소들은 리소스 부족에 직면하게 되었으며, 이로 인해 개발이 지연되고 있다. 이는 처음으로 ArsTechnica에서 보도되었다.

SourceHut의 Drew DeVault가 이러한 크롤러들에 대한 그의 관찰을 블로그 글을 통해 공유했습니다. 이 글에서는 이들 AI 봇들이 어떻게 파괴적인 효과를 불러오는지에 대해 설명하고 있습니다. 이 AI 봇들은 크롤러들이 특정 페이지를 피하도록 지시하는 robots.txt 파일 지침을 회피하여 SourceHut 플랫폼에서 큰 문제를 일으켰습니다.

크롤러들은 일반 사용자 트래픽으로 그들의 활동을 위장하기 위해 랜덤한 IP 주소를 통해 git 로그와 커밋과 같은 특정 엔드포인트를 공격했습니다. 이 봇들의 방법은 프로젝트 작업 지연과 사용자 서비스 중단을 초래하면서 효과적인 차단을 불가능하게 만들었습니다.

KDE의 GitLab 인프라는 Alibaba의 IP 범위에서 시작된 봇들로 인해 일시적인 중단을 겪었습니다. 오픈 소스 프로젝트인 GNOME 등 다른 프로젝트들도 동일한 공격을 받아서, 사이트 액세스를 허용하기 전에 봇들이 계산 문제를 해결해야 하는 시스템인 Anubis를 구현했습니다. 이 사실은 The LibreNews에서 보도했습니다.

Anubis가 도입한 “핵옵션”은 GNOME의 병합 요청에서 중요한 트래픽 증가를 경험한 실제 사용자들의 대기 시간을 증가시켰다고 LibreNews가 보도했습니다.

KDE의 시스템 관리자로 일하는 Ben은, 봇들이 실제 사용자를 모방하고 정당한 트래픽으로부터의 탐지를 피하기 위해 Microsoft Edge 사용자 에이전트를 이용해 자신의 신원을 위장하고 있다는 것을 발견했습니다. Fedora 팀은 더 이상의 혼란을 막기 위해 모든 브라질 웹 트래픽을 차단하는 방식으로 이 문제에 대응했다고 LibreNews가 보도했습니다.

LibreNews의 보고서에 따르면, 많은 오픈 소스 프로젝트들은 이제 웹 트래픽의 97%가 AI 회사의 크롤러들로부터 발생하고 있습니다. 대역폭 비용이 계속해서 증가하는 가운데 시스템 유지 관리자들은 원활한 운영을 유지하기 위한 압박이 점점 커지고 있는 상황이기 때문에, 오픈 소스 프로젝트들은 점점 더 많은 도전에 직면하고 있습니다.

현재 오픈 소스 프로젝트들은 긴급한 대책으로 차단 목록과 AI 특화 사용자 에이전트 필터링을 사용하고 있지만, 봇의 지속적인 적응력은 이러한 방법들을 무력화시키고 있습니다.

AI 크롤러의 증가하는 문제는 공공 인프라와 자원 봉사자 지원에 의존하는 오픈 소스 프로젝트가 어떻게 위협에 노출되는지를 보여줍니다.

오픈 데이터는 AI 회사에 이점을 제공하지만, 그들의 극단적인 데이터 스크래핑 방식은 오픈 인터넷 접근성을 가능하게 하는 시스템을 손상시키는 결과를 초래합니다.