크롤러 막기
크롤러 진짜 싫다
웹 기반 서비스를 제공하는 회사라면 크롤링에 대해 신경 써야 할 때가 온다. 그리고 내게도 그때가 왔다.
이전 회사에서도 크롤러 관련 이슈가 몇 가지 있었는데, json 파일로 공개한 데이터가 있음에도 사이트를 크롤링하는 이해할 수 없는 녀석들이 있었다. 그 외에도 데이터를 크롤링하더니 사이트를 클론 하는 중국 사이트도 있었다. API가 아닌 크롤링으로 판단한 이유는 사용하던 css class 이름을 회사 내부에서만 사용하던 용어로…