통계자료는 Akamai가 방어한 공격 관련 데이터를 기반으로 작성되었습니다.

제대로 코딩되지 않은 봇은 사이트 성능 저하와 웹 서버 부하 증가의 원인!

성능

서버 부하

사기모바일 앱

통계재무제표

메타 검색

봇은 어떤 일을 할까요?

GOOD BOTS & BAD BOTS

데이터 매쉬업포트폴리오 분석

경쟁력 있는 정보

위치 추적호텔 요금 및 항공료

https://www.akamai.com/kr/ko/our-think-ing/state-of-the-internet-report/index.jsp

1. 요청 건수2. 스크레이핑한

콘텐츠 유형3. 사용자 에이전트

정보

봇, 스파이더 스크레이퍼에 대한 평판을 확인하는

가지 방법3

필요성 높음 & 공격성 낮음

• 사용자에게 필요함• robots.txt 지원• 요청 건수가 많지 않음솔루션

• API 제공• 전용 데이터 피드

필요성 낮음 & 공격성 높음• 오류 처리 기능 미흡• GET 및 POST flood• 초당 수천 건의 요청

솔루션• 차단 리스트• 전송률 제어(Rate Control)• 봇 요청에 대한 응답 지연• 스파이더 트랩• 로그인 페이지 보호

필요성 높음 & 공격성 높음• 신흥 시장으로 진출• Baidu 봇• 열악한 요청 제한 기능

솔루션• 전송률 제어(높은 임계치) 제어• 사용자 우선순위 지정 애플리케이션

필요성 낮음 & 공격성 낮음• 재사용 목적으로 콘텐츠 스크레이핑• 사기 및 위조• 헤드리스(headless) 브라우저• Scraping-as-a-service

솔루션• Java Checker• CAPTCHA• 전송률 제어• 민감한 콘텐츠가 있는 페이지 검증• 의심스러운 IP 검증

필요성

공격

성

높음

높음

낮음

낮음

웹사이트 Copier

Baidu 봇

Googlebot

위치 스크레이퍼

제품 페이지 스크레이퍼

메타 검색 스크레이퍼

봇, 스파이더, 스크레이퍼:

&THE

GOODTHE

BADTHE

UGLY