Anthropic의 웹 크롤러인 ClaudeBot은 AI 모델 훈련 데이터를 위해 웹사이트 내용을 긁어오는데 이 과정에서 iFixit의 사이트에 거의 백만 번의 요청이 들어간 것으로 보이며, 이는 iFixit의 이용 약관을 위반하는 것처럼 보인다. iFixit CEO는 Anthropic의 채팅봇이 자신의 콘텐츠가 사용할 수 없다는 것을 알렸지만 ClaudeBot은 계속해서 긁어오고 있다. 이에 대해 Anthropic은 FAQ 페이지를 링크하여, 크롤러가 robots.txt 파일 확장으로만 차단될 수 있다고 말했지만 iFixit은 crawl-delay 확장을 추가했다. 다른 사이트도 Anthropic의 크롤러에 의해 공격적으로 긁어와진 것으로 보인다.
Anthropic 크롤러가 웹사이트의 AI 스크래핑 방지 정책을 무시하고 있다
—