구글 크롤링 예산 최적화 방법 7가지

구글의 크롤링 예산을 최적화하는 것은 구글봇이 한정된 크롤링 자원을 가장 가치 있는 페이지, 즉 인덱스화해야 할 페이지와 트래픽을 가져올 잠재력이 높은 페이지로 유도하는 것을 의미합니다. 실제로는 불필요한 URL를 줄이고, 사이트 속도와 서버 응답을 개선하며, XML 사이트맵을 깨끗하게 유지하고, robots.txt와 캐노니컬 태그를 올바르게 사용하는 것, 리디렉션 오류를 수정하고 정기적으로 로그 분석을 수행하는 것을 포함합니다. 특히 대규모 전자상거래 사이트, 뉴스 포털, 다국어 웹사이트 및 수천 개의 URL을 가진 기업 프로젝트의 경우 크롤링 예산 최적화는 SEO 성과에 직접적으로 영향을 미치는 중요한 기술적 과정입니다.

크롤링 예산은 대부분의 소규모 웹사이트에 있어 매일 모니터링해야 할 위기 요소는 아닙니다. 그러나 사이트에 수천 개의 제품, 필터, 카테고리, 태그, 검색 결과, 파라미터 URL 또는 자주 업데이트되는 콘텐츠가 있다면 구글이 어떤 페이지를 얼마나 자주 크롤링하는지가 순위 잠재력을 결정할 수 있습니다. 구글이 좋은 페이지를 늦게 발견하고, 새로운 콘텐츠의 인덱싱이 늦어지며, Search Console에서 '발견됨 - 현재 인덱스화되지 않음' 경고가 증가하거나 서버 로그에서 구글봇이 불필요한 URL에 시간을 소모하고 있는 모습을 확인한다면, 크롤링 예산을 최적화하는 것이 우선적인 기술 SEO 작업이 될 것입니다.

이 가이드에서는 크롤링 예산 개념을 간단히 설명한 후 2026년 SEO 표준에 맞춰 구글이 사이트를 더 효율적으로 크롤링할 수 있도록 적용할 수 있는 7가지 방법을 단계별로 살펴보겠습니다. 또한 예시 점검, 결정 테이블, Hostragons 인프라를 통해 고려할 수 있는 성능 포인트 및 자주 발생하는 실수도 공유하겠습니다.

크롤링 예산이란 무엇이며 왜 중요한가?

크롤링 예산은 구글봇이 특정 시간 동안 귀하의 사이트에서 크롤링하고자 하는 URL의 양을 나타냅니다. 이 예산은 기본적으로 두 가지 요소의 영향을 받습니다: 구글이 귀하의 사이트를 크롤링하고자 하는 의지와 서버가 이 크롤링을 처리할 수 있는 능력입니다. 구글은 가치가 있다고 판단하고 자주 업데이트되는 사이트를 더 자주 크롤링하는 경향이 있지만, 서버가 느리거나 오류가 잦거나 많은 저품질 URL이 존재한다면 크롤링 효율성이 떨어집니다.

예를 들어 500페이지로 구성된 기업 웹사이트의 경우 구글봇이 몇 개의 불필요한 URL를 크롤링하는 것은 큰 문제가 되지 않을 수 있습니다. 그러나 80,000개의 제품, 400개의 카테고리, 20개의 필터 및 사용자 맞춤형 매개변수를 생성하는 전자상거래 사이트에서는 상황이 다릅니다. 구글봇이 하루에 20,000개의 URL을 크롤링하고 그 중 12,000개가 재고가 없는 제품, 무한 필터 조합 또는 불필요한 검색 결과 페이지라면, 중요한 제품 페이지의 발견 및 업데이트가 지연될 수 있습니다.

크롤링 예산 최적화는 단순히 더 많은 페이지를 크롤링하는 것을 의미하지 않습니다. 진짜 목표는 올바른 URL이 올바른 빈도로 크롤링되는 것입니다. 구글이 품질이 낮거나 중복된 페이지 대신 수익을 가져오는 카테고리, 최신 블로그 콘텐츠, 중요한 제품 및 전환 중심의 랜딩 페이지에 시간을 투자하도록 하고 싶습니다.

크롤링 예산 최적화 전에 점검해야 할 사항

직접 robots.txt 또는 noindex 변경 작업을 시작하기 전에 현재 상황을 측정하는 것이 필요합니다. 그렇지 않으면 구글봇이 접근해야 할 페이지를 실수로 차단할 수 있으며, 인덱스 손실을 초래하거나 사이트 아키텍처를 더 복잡하게 만들 수 있습니다.

시작 체크리스트

• 구글 서치 콘솔에서 크롤링 통계 보고서를 검토하세요.
• 지난 30일 및 90일 간의 구글봇 요청 수를 비교하세요.
• 서버 응답 코드를 분석하세요: 200, 301, 302, 404, 410, 5xx 비율을 구분하세요.
• XML 사이트맵의 URL 수와 실제 인덱스 가능한 URL 수를 비교하세요.
• robots.txt 파일이 중요한 페이지를 차단하고 있지 않은지 확인하세요.
• 캐노니컬 태그가 자기 자신을 가리키는지 또는 다른 URL을 가리키는지 확인하세요.
• 파라미터 URL, 필터, 태그, 검색 결과 및 페이지네이션 구조가 어떻게 생성되는지 파악하세요.

이 단계에서 기술적 인프라도 중요합니다. 공유 호스팅에서 높은 트래픽과 많은 URL을 가진 사이트를 운영하고 있다면, 구글봇 요청이 집중적인 시간대에 서버 응답 시간을 증가시킬 수 있습니다. 보다 안정적인 자원을 위해 Hostragons 웹 호스팅 패키지 또는 성장하는 프로젝트를 위한 Hostragons VPS 서버 솔루션을 검토할 수 있습니다.

1. 저품질 및 중복 URL 줄이기

크롤링 예산을 최적화하기 위한 첫 번째이자 가장 효과적인 단계는 구글봇이 낭비하는 시간을 줄이는 것입니다. 저품질 URL은 검색 트래픽, 사용자 경험 또는 비즈니스 목표 측면에서 의미가 없는 페이지입니다. 이러한 페이지는 종종 필터 조합, 정렬 매개변수, 내부 검색 결과, 비어 있는 카테고리 페이지, 태그 아카이브, 세션 매개변수 또는 중복 콘텐츠 페이지입니다.

전자상거래 사이트에서 다음과 같은 URL을 고려해 보세요: /신발?색상=검정, /신발?색상=검정&사이즈=42, /신발?색상=검정&사이즈=42&정렬=저렴한-순으로. 이러한 조합 각각이 인덱스 가능하다면 구글은 수천 개의 유사한 페이지를 크롤링할 수 있습니다. 그러나 사용자에게 진정한 가치는 주요 카테고리와 특정 검색량을 가진 전략적 필터 페이지에 있을 수 있습니다.

적용 단계

• SEO 가치가 없는 매개변수를 식별하세요: 정렬, 보기, 세션, 캠페인 추적 매개변수.
• 유사한 콘텐츠를 생성하는 페이지에서 캐노니컬 태그로 주요 URL를 지정하세요.
• 내부 검색 결과는 일반적으로 noindex로 설정하세요; 필요한 경우 robots.txt로 크롤링을 제한하세요.
• 비어 있는 카테고리 및 재고가 없는 제품 페이지에 대한 지속 가능한 전략을 설정하세요.
• 태그 아카이브는 실제 검색 수요와 독창적인 콘텐츠가 있는 경우에만 인덱스 가능하게 유지하세요.

여기서 중요한 점은 noindex 태그가 페이지가 시간이 지남에 따라 인덱스에서 제외되는 데 도움을 줄 수 있지만, 구글봇이 그 페이지를 크롤링하는 것을 완전히 중단하지는 않는다는 것입니다. 반면 robots.txt는 크롤링을 차단하지만 잘못 사용될 경우 구글이 페이지의 noindex 태그를 인식하지 못할 수 있습니다. 따라서 먼저 인덱싱 목표를 정하고, 이후 크롤링 제어를 설정해야 합니다.

2. XML 사이트맵을 깨끗하고 최신 상태로 유지하기

XML 사이트맵은 구글에 어떤 URL이 중요한지를 전달하는 강력한 신호입니다. 하지만 많은 사이트에서 사이트맵 파일이 수년 동안 쓰레기로 변하는 경우가 많습니다: 404 오류가 발생하는 오래된 게시물, 리디렉션 되는 제품, 캐노니컬로 다른 페이지를 가리키는 URL, noindex 페이지 및 테스트 환경 링크가 동일한 파일에 남아 있게 됩니다. 이러한 상황은 구글에 혼란스러운 신호를 전달합니다.

잘 최적화된 XML 사이트맵에는 인덱스 가능하며, 200 상태 코드를 반환하고, 자신의 캐노니컬 태그를 가진 SEO 가치 있는 URL만 포함되어야 합니다. 대규모 사이트의 경우 단일 사이트맵 대신 카테고리별로 구분하는 것이 더 바람직합니다. 예를 들어 제품, 카테고리, 블로그 게시물, 정적 페이지 및 이미지가 각기 다른 사이트맵 파일에 저장될 수 있습니다.

사이트맵 품질 기준 예시

• 모든 URL은 200 OK 응답을 반환해야 합니다.
• noindex 태그가 있는 페이지는 사이트맵에 포함되어서는 안 됩니다.
• 301 또는 302 리디렉션 URL은 사이트맵에서 제외해야 합니다.
• 캐노니컬 태그가 다른 URL로 가리키는 페이지는 추가하지 말아야 합니다.
• lastmod 필드는 실제 업데이트 날짜를 반영해야 하며, 매일 자동으로 변경되어서는 안 됩니다.
• 50,000 URL 또는 50MB 제한을 초과하지 않아야 하며, 필요한 경우 사이트맵 인덱스를 사용해야 합니다.

예를 들어 블로그 게시물에서 작은 오타를 수정했다고 해서 lastmod 날짜를 매일 업데이트하는 것은 구글봇에 잘못된 신선도 신호를 보낼 수 있습니다. 반면 가격, 재고, 기술 사양, 제목, 콘텐츠 또는 중요한 이미지가 업데이트되었다면 lastmod 정보를 업데이트하는 것이 합리적입니다. 만약 WordPress를 사용하고 있다면 SEO 플러그인의 사이트맵 설정을 정기적으로 확인하세요. WordPress 성능 및 플러그인 관리를 위해 워드프레스 호스팅 가이드 콘텐츠와 연결할 수 있습니다.

3. robots.txt 및 메타 로봇 사용을 전략적으로 계획하기

robots.txt는 구글봇에게 어떤 영역을 크롤링하지 말아야 하는지를 알려주는 파일입니다. 메타 로봇 태그는 페이지가 인덱스화될지 여부를 결정하는 데 도움을 줍니다. 이 두 도구는 동일한 것이 아니며, 잘못된 조합은 심각한 SEO 문제를 초래할 수 있습니다.

예를 들어, 한 페이지에 noindex 태그를 추가하고 같은 페이지를 robots.txt로 차단하면 구글봇은 페이지에 접근할 수 없으므로 noindex 태그를 볼 수 없게 됩니다. 그 결과 URL은 콘텐츠 없이 인덱스에 남아 있을 수 있습니다. 따라서 인덱스에서 제거하고 싶은 접근 가능한 페이지에서는 먼저 noindex를 사용하고, 크롤링을 전혀 원하지 않는 저품질 영역에서는 robots.txt로 차단하는 것이 더 건강한 방법입니다.

비교 표: robots.txt, noindex 및 캐노니컬

robots.txt 파일에서 CSS 및 JavaScript 파일을 불필요하게 차단해서는 안 됩니다. 구글은 페이지를 현대 브라우저처럼 렌더링하며, 디자인 및 상호작용 파일에 접근할 수 없을 경우 사용자 경험을 잘못 평가할 수 있습니다. 또한 robots.txt 파일을 업데이트한 후 Search Console을 통해 테스트하는 것이 좋은 습관입니다.

4. 서버 성능 및 응답 시간을 개선하기

구글봇은 귀하의 사이트를 크롤링할 때 서버의 용량을 고려합니다. 요청이 느리게 응답되거나 5xx 오류가 증가하거나 크롤링이 집중되는 시간대에 서버가 과부하가 걸리면 구글은 크롤링 속도를 낮출 수 있습니다. 따라서 크롤링 예산 최적화는 SEO 플러그인뿐만 아니라 호스팅 인프라와도 관련이 있습니다.

실용적인 목표로 HTML 응답 시간을 가능한 한 200-500 ms 범위로 유지하는 것이 이상적입니다. 물론 이 값은 사이트 구조, 위치, 캐싱 및 동적 쿼리에 따라 달라지지만 1.5-2초를 초과하는 서버 응답은 사용자 경험과 크롤링 효율성 모두에 부정적인 영향을 미칩니다. 특히 WordPress, WooCommerce 또는 맞춤형 소프트웨어를 사용하는 사이트에서는 데이터베이스 쿼리, 플러그인 과다 및 이미지 최적화를 주의 깊게 다뤄야 합니다.

성능을 위한 적용 가능한 제안

• 서버 측 캐시를 사용하세요.
• 불필요한 플러그인을 제거하고 테마 코드를 간소화하세요.
• 이미지를 WebP 또는 AVIF 형식으로 압축하세요.
• CDN을 사용하여 정적 파일을 사용자와 구글봇에게 더 빠르게 전달하세요.
• 데이터베이스 테이블을 정기적으로 최적화하세요.
• PHP 버전을 최신의 지원되는 버전으로 유지하세요.
• HTTP/2 또는 HTTP/3 지원 인프라를 선택하세요.

Hostragons 측에서 적절한 패키지 선택이 이 시점에서 중요해집니다. 초보자와 적은 URL을 가진 프로젝트에는 Hostragons 저렴한 호스팅이 충분할 수 있지만, 높은 트래픽 전자상거래 사이트에는 고성능 호스팅 솔루션이나 전용 리소스를 가진 VPS 옵션이 더 안정적인 결과를 제공합니다. 또한 안전한 연결을 위해 SSL 인증서 구매하기 페이지로 리디렉션 할 수 있습니다; HTTPS는 사용자 신뢰와 현대 웹 표준을 위해 필수적입니다.

5. 리디렉션 체인, 404 및 5xx 오류 정리하기

구글봇의 크롤링 예산을 소모하는 가장 일반적인 기술적 문제 중 하나는 잘못된 상태 코드입니다. 단일 301 리디렉션은 정상적이지만, URL A가 URL B로, URL B가 URL C로, 그 후 URL D로 가는 경우 리디렉션 체인이 형성됩니다. 이는 크롤링 시간을 늘리고 신호 전송을 약화시킬 수 있습니다.

404 오류는 항상 나쁜 것은 아닙니다. 실제로 삭제되어 돌아오지 않을 페이지는 404 또는 더 분명한 신호로 410을 반환할 수 있습니다. 문제는 내부 링크가 지속적으로 404 페이지로 연결되거나 사이트맵에 404 URL이 포함되는 경우입니다. 5xx 오류는 더 심각한 문제입니다; 이는 서버가 요청을 처리할 수 없음을 나타냅니다. 구글봇이 자주 5xx 오류를 보게 되면 사이트를 더 조심스럽게 크롤링할 수 있습니다.

오류 정리를 위한 5단계

• Screaming Frog, Sitebulb 또는 유사한 도구로 전체 사이트를 크롤링하세요.
• 301 리디렉션 체인을 단일 최종 URL로 전환하세요.
• 내부 링크에서는 리디렉션 URL 대신 직접 최종 URL을 사용하세요.
• 사이트맵에서 404, 410 및 5xx를 반환하는 URL을 제거하세요.
• 가치 있는 백링크가 있는 삭제된 페이지를 가장 관련성 높은 페이지로 301 리디렉션하세요.

예를 들어 이전 서비스 페이지가 /web-hosting-old 주소에 있었다면 새 주소가 /web-hosting로 업데이트되었을 때 모든 메뉴, 블로그 및 바닥글 링크를 직접 새 URL로 업데이트하세요. 단순히 301 리디렉션에 의존하는 것은 단기적으로는 효과가 있을 수 있지만 장기적으로는 크롤링 효율성을 떨어뜨립니다.

6. 사이트 아키텍처 및 내부 링크를 구글봇을 위해 명확히 하기

구글봇은 귀하의 사이트에서 링크를 따라 이동합니다. 따라서 중요한 페이지가 홈페이지나 카테고리 구조에서 얼마나 많은 클릭으로 도달하는지가 크롤링 예산 측면에서 중요합니다. 가치 있는 제품이나 가이드 콘텐츠가 홈페이지에서 6-7 클릭 거리에 있다면 구글은 이를 덜 중요하게 인식하거나 더 늦게 발견할 수 있습니다.

좋은 사이트 아키텍처에서는 홈페이지가 주요 카테고리로, 카테고리가 하위 카테고리로, 하위 카테고리가 제품이나 콘텐츠 페이지로 규칙적으로 연결됩니다. 블로그 콘텐츠도 관련 제품, 서비스 또는 카테고리 페이지에 자연스러운 내부 링크로 지원을 제공합니다. 예를 들어 Hostragons 블로그에서 이 기사에서 도메인이란 및 어떻게 구입하나요, 호스팅이란? 및 웹사이트 속도 개선 방법과 같은 관련 콘텐츠로 링크를 제공하는 것은 사용자 여정과 구글봇 탐색을 개선합니다.

내부 링크를 위한 실용적인 규칙

• 중요한 페이지는 홈페이지에서 최대 3 클릭 이내에 접근 가능하도록 만드세요.
• 고립된 페이지를 식별하고; 아무런 내부 링크도 받지 않는 페이지를 사이트 아키텍처에 연결하세요.
• 링크 텍스트는 설명적으로 사용하세요; '여기를 클릭하세요'보다는 웹 호스팅 패키지와 같은 의미 있는 표현을 선호하세요.
• 매우 유사한 페이지에 무작위로 링크를 제공하는 대신 주제 그룹을 생성하세요.
• 풋터에 수백 개의 링크를 추가하는 대신 전략적이고 제한된 링크를 사용하세요.

주제 그룹은 2026년 SEO 접근 방식에서 여전히 강력합니다. 예를 들어 기술 SEO의 주요 주제 아래 크롤링 예산, robots.txt, 사이트맵, 사이트 속도, 구조화된 데이터 및 인덱싱 문제 콘텐츠를 서로 연결할 수 있습니다. 이러한 구조는 E-E-A-T 신호를 생성하고 구글이 귀하의 사이트에서 전문 분야를 더 쉽게 이해할 수 있도록 도와줍니다.

7. 로그 분석으로 구글봇 행동 측정하기

서치 콘솔은 유용하지만 실제 크롤링 행동은 가장 명확하게 서버 로그에 나타납니다. 로그 파일은 어떤 봇이 어떤 URL을, 언제, 어떤 상태 코드로, 얼마나 많은 데이터를 전송했는지를 보여줍니다. 대규모 사이트에서 크롤링 예산을 최적화하고 싶다면 추정이 아닌 로그 분석을 수행해야 합니다.

로그 분석에서는 다음과 같은 질문에 대한 답을 찾아야 합니다: 구글봇은 가장 많이 어떤 디렉토리를 크롤링하고 있는가? 중요한 페이지는 얼마나 자주 방문되는가? 404 및 301 요청이 전체 크롤링의 몇 퍼센트를 차지하는가? 파라미터 URL이 구글봇 요청의 대부분을 차지하는가? 모바일 구글봇과 데스크탑 봇의 행동에 차이가 있는가?

간단한 로그 분석 시나리오

예를 들어 마지막 7일 동안 구글봇이 50,000개의 요청을 했다고 가정해 보겠습니다. 이 중 18,000개는 필터 매개변수 URL에, 9,000개는 301 리디렉션에, 4,000개는 404 페이지에, 단지 12,000개만이 제품 및 카테고리 페이지로 갔습니다. 이 테이블에서 가치 있는 페이지의 비율은 단지 24%입니다. 첫 번째 목표는 필터 및 리디렉션 부담을 줄여 제품-카테고리 크롤링 비율을 50% 이상으로 올리는 것입니다.

로그 분석 결과에 따라 조치를 우선순위에 따라 정리하세요. 먼저 가장 많은 크롤링 예산을 소모하지만 가치를 생성하지 않는 디렉토리를 처리하세요. 그 후 사이트맵 정리, 캐노니컬 조정, robots.txt 규칙 및 내부 링크 개선을 통해 구글봇의 행동을 몇 주간 관찰하세요. 크롤링 예산 최적화는 단 한 번의 작업이 아니라 측정 및 개선의 주기입니다.

크롤링 예산 최적화에서 자주 발생하는 실수

기술 SEO에서 선의의 의도로 한 잘못된 작업은 심각한 결과를 초래할 수 있습니다. 가장 흔한 실수는 모든 저품질 페이지를 동시에 robots.txt로 차단하는 것입니다. 만약 이러한 페이지가 이미 인덱스화 되어 있다면 구글은 noindex 태그를 볼 수 없기 때문에 인덱스에서 빠져나오는 것이 예상만큼 빠르지 않을 수 있습니다. 또 다른 실수는 재고가 없는 모든 제품을 자동으로 홈페이지로 리디렉션하는 것입니다. 이는 사용자 경험 측면에서 약하고 관련 없는 리디렉션 신호를 생성합니다.

또한 모든 파라미터 URL을 캐노니컬로 주요 카테고리에 연결하는 것이 항상 올바른 것은 아닙니다. 일부 필터 페이지는 높은 검색량을 가질 수 있습니다. 예를 들어 검은색 러닝화를 필터링하는 것처럼, 독창적인 설명, 제품 선택 및 수요가 있다면 SEO 랜딩 페이지로 평가될 수 있습니다. 즉, 모든 변형을 제거하는 것이 아니라 가치 있는 것들을 선택하고 강화하는 것이 목표입니다.

요약 체크리스트

결론: 구글봇에게 더 명확하고, 더 빠르며, 더 질 높은 사이트 제공하기

구글의 크롤링 예산을 최적화하는 것은 불필요한 URL 줄이기, 깨끗한 사이트맵 사용, robots.txt 및 noindex 결정 정확하게 하기, 서버 성능 강화, 오류 코드 수정, 내부 링크 구조 명확히 하기 및 로그 분석을 통한 측정 과정입니다. 소규모 사이트에서는 이러한 작업이 기본적인 위생을 제공하지만, 대규모 사이트에서는 인덱스화 속도, 유기적 가시성 및 전환 잠재력에 현저한 차이를 만들어낼 수 있습니다.

기술 SEO가 잘 작동하기 위해서는 탄탄한 인프라가 필요합니다. 사이트가 빠르고 안전하며 중단 없이 작동하는 것은 크롤링 예산 효율성을 지원합니다. 프로젝트의 규모에 맞는 호스팅, 도메인 및 SSL 솔루션을 고려하고 싶다면 Hostragons 제품을 검토할 수 있으며, 현재 사이트에서 먼저 사이트맵, 속도 및 로그 분석 점검을 통해 작은 그러나 효과적인 개선에 착수할 수 있습니다.

자주 묻는 질문

크롤링 예산은 소규모 사이트에 중요합니까?

소규모 및 적은 URL을 가진 사이트에서는 일반적으로 크롤링 예산이 중요한 문제는 아닙니다. 그러나 사이트가 느리거나, 많은 404 오류를 발생시키거나, 불필요한 파라미터 URL을 생성하고 있다면 소규모 사이트에서도 크롤링 효율성이 떨어질 수 있습니다.

구글의 크롤링 예산을 어떻게 늘릴 수 있습니까?

크롤링 예산을 늘리는 가장 건강한 방법은 서버 성능을 개선하고, 양질의 최신 콘텐츠를 생산하며, 잘못된 URL을 줄이고, 구글봇을 중요한 페이지로 유도하는 것입니다. 목표는 단순히 더 많은 크롤링이 아니라 더 정확한 페이지가 크롤링되는 것입니다.

robots.txt 사용이 인덱스를 차단합니까?

robots.txt는 크롤링을 차단하지만, 인덱스를 직접적으로 차단하지는 않습니다. URL이 외부 링크로 발견되었고 robots.txt로 차단된다면 구글은 콘텐츠를 보지 못한 채 제한된 정보로 인덱스에 유지할 수 있습니다. 인덱스에서 제거하기 위해서는 대부분의 경우 noindex가 더 적합합니다.

XML 사이트맵에 어떤 페이지가 포함되어야 합니까?

XML 사이트맵에는 오직 200 OK를 반환하는, 인덱스화 가능한, 캐노니컬 태그가 자신을 가리키는 SEO 가치 있는 페이지만 포함되어야 합니다. noindex, 리디렉션, 404 또는 저품질 페이지는 사이트맵에서 제외되어야 합니다.

로그 분석 없이 크롤링 예산을 최적화할 수 있습니까?

기본적인 개선 작업은 로그 분석 없이도 수행할 수 있지만 대규모 사이트에서는 구글봇의 실제 행동을 보기 위해 로그 분석이 매우 중요합니다. 어떤 URL 그룹이 크롤링 예산을 소모하는지를 가장 명확하게 보여주는 것은 로그 파일입니다.