광고 크롤러 오류가 있으며, 이 때문에 수익 손실이 발생할 수 있습니다. 해결방법
구글애드센스 광고 크롤러 오류가 있으며, 이 때문에 수익 손실이 발생할 수 있습니다.
해결방법
구글 애드센스를 운영하는 웹사이트에서 “광고 크롤러 오류”가 발생하면 광고 수익이 감소할 가능성이 큽니다. 이 오류는 주로 구글의 크롤러가 사이트의 특정 페이지를 제대로 수집하지 못할 때 발생하며, 광고 게재가 제한되거나 수익이 줄어드는 결과를 초래할 수 있습니다. 크롤러 오류는 다양한 원인으로 발생할 수 있으며, 이를 해결하려면 원인을 정확히 분석하고 적절한 조치를 취해야 합니다.
⸻
1. 구글 서치 콘솔에서 크롤링 오류 확인
애드센스 광고 크롤러는 사이트의 콘텐츠를 분석하여 광고를 게재하는데, 크롤링이 차단되거나 오류가 발생하면 광고가 제대로 표시되지 않을 수 있습니다.
✅ 확인 방법:
1. Google Search Console에 접속
2. “페이지” 또는 “크롤링” 항목에서 오류 확인
3. “색인 생성됨 - 크롤링 허용되지 않음” 등의 메시지가 있다면 크롤링 차단 문제를 해결해야 합니다.
✅ 해결 방법:
• robots.txt 파일을 확인하고 User-agent: Googlebot 또는 User-agent: Mediapartners-Google이 차단되지 않았는지 확인
• robots.txt 파일이 있다면 다음 코드를 추가:
User-agent: Mediapartners-Google
Disallow:
• 구글 서치 콘솔에서 “URL 검사” 기능을 이용해 페이지가 크롤링 가능한지 확인
⸻
2. robots.txt 및 ads.txt 문제 확인
애드센스 광고 크롤러가 사이트를 방문하지 못하면 광고가 제대로 게재되지 않습니다.
✅ robots.txt 파일 점검
1. robots.txt 파일이 있다면 아래 항목이 추가되어 있는지 확인:
User-agent: Mediapartners-Google
Disallow:
• Disallow: / 라는 규칙이 있으면 애드센스 크롤러가 차단될 수 있으므로 제거해야 합니다.
✅ ads.txt 파일 확인
• https://도메인.com/ads.txt 경로에 접속하여 구글 애드센스 발행자 ID(PUB-xxxxxxxxxxxx) 가 정상적으로 등록되어 있는지 확인
• ads.txt 파일이 없다면 아래 내용을 추가:
google.com, pub-0000000000000000, DIRECT, f08c47fec0942fa0
※ pub-0000000000000000 대신 본인의 애드센스 퍼블리셔 ID를 입력
⸻
3. 사이트 속도 및 오류 확인
사이트 속도가 느리거나 오류가 많으면 크롤러가 정상적으로 작동하지 않을 수 있습니다.
✅ 해결 방법:
• PageSpeed Insights를 사용해 사이트 속도를 확인하고 최적화
• Google Chrome DevTools (F12 → 네트워크 탭)에서 로딩 속도 및 HTTP 오류 확인
• 서버 오류(5XX) 또는 속도 저하 문제가 있으면 웹호스팅 환경을 점검
⸻
4. 콘텐츠 접근 제한 해제
비공개 또는 로그인이 필요한 페이지에서는 광고가 게재되지 않습니다.
✅ 확인 방법:
1. 애드센스 크롤러는 로그인 없이 콘텐츠를 확인해야 함
2. 워드프레스 등 CMS를 사용 중이라면, 콘텐츠가 비공개로 설정되지 않았는지 확인
3. 특정 페이지가 noindex, nofollow 태그로 설정되지 않았는지 점검
해결 방법:
• noindex 태그를 제거 (<meta name="robots" content="noindex"> 등)
• 애드센스 설정에서 비공개 콘텐츠에 광고 게재 설정 활성화
⸻
5. 애드센스 설정에서 크롤러 오류 확인
애드센스 대시보드에서 광고 크롤러 오류가 발생한 페이지를 직접 확인할 수 있습니다.
✅ 확인 방법:
1. 애드센스 계정 로그인
2. “정책 센터” 또는 “문제 해결” 메뉴 확인
3. “광고 크롤러 오류” 관련 경고가 있는지 점검
⸻
6. 사이트맵 제출 및 색인 재요청
크롤러가 정상적으로 작동하지 않으면 색인 문제가 발생할 수 있습니다.
✅ 해결 방법:
1. Google Search Console에서 sitemap.xml 제출
2. “URL 검사” 기능을 사용해 개별 URL을 색인 요청
⸻
7. Cloudflare, CDN, 보안 플러그인 확인
✅ Cloudflare 사용 시 해결 방법:
• Cloudflare 설정에서 “크롤링 차단” 옵션을 확인
• Security Level을 Medium 이하로 설정
• 방화벽(WAF)에서 Googlebot이 차단되지 않았는지 확인
✅ 보안 플러그인 (워드프레스 등) 확인:
• iThemes Security, Wordfence 같은 플러그인이 크롤링을 차단하는지 점검
⸻
마무리
위 방법을 적용한 후 24~48시간 기다리면서 구글 서치 콘솔과 애드센스 정책 센터에서 문제 해결 여부를 확인하세요. 만약 계속 문제가 지속된다면, 애드센스 고객센터에 문의해 도움을 받을 수도 있습니다.