2012. 6. 23. 14:00웹이야기/웹/HTML
메타 태그(Meta tag)를 사용하여 사이트 검색 로봇 액세스 차단 방법
페이지가 다른 사이트에 연결되어 있더라도 페이지의 콘텐츠가 Google 웹 색인에 열거되지 않도록 완전히 차단하려면 no index 메타 태그를 사용합니다. 그러면 Googlebot이 페이지를 가져오는 즉시 no index 메타 태그를 보게 되고 해당 페이지가 웹 색인에 표시되지 않습니다.
메타 태그(Meta tag) 코드
이 방법은 서버에 대한 루트 액세스 권한이 없을 때 페이지별로 사이트에 대한 액세스를 제어할 수 있어 유용합니다. 어떤 로봇도 사이트의 페이지에 대해 색인을 생성하지 못하게 하려면 페이지의 <head> 섹션에 다음 메타 태그를 추가합니다.
<meta name="robots" content="noindex">
Google 로봇을 제외한 다른 모든 로봇이 사이트의 페이지에 대해 색인을 생성하도록 허용하려면 다음 메타태그를 추가합니다.
<meta name="googlebot" content="noindex">
다른 페이지에 연결되어 있는 경우에도 페이지에 noindex 메타 태그가 있으면 Google은 검색결과에 해당 페이지를 표시하지 않습니다. 하지만 다른 검색엔진에서는 이 태그가 다르게 해석될 수도 있으며, 이 경우 해당 페이지에 대한 링크가 검색결과에 표시될 수 있습니다.
페이지를 크롤링해야 noindex 메타 태그가 있는지 알 수 있으므로 Googlebot이 크롤링하지 않은 경우 noindex 메타 태그를 확인하지 못해 올바르게 처리하지 못할 수도 있습니다. 페이지가 계속 검색결과에 표시된다면 태그를 추가한 이후 Google에서 사이트를 아직 크롤링하지 않았기 때문일 가능성이 큽니다. 또한 robots.txt 파일을 사용하여 해당 페이지를 차단할 경우에도 태그를 확인할 수 없습니다.
| 내용 출처/참고 자료 | Google 웹마스터 도구: 도움말 |
|---|
'웹이야기 > 웹/HTML' 카테고리의 다른 글
| [JavaScript] 웹 브라우저의 즐겨찾기 추가 스크립트 (1) | 2012.05.08 |
|---|---|
| [CSS] 초기화(Reset) 코드 (0) | 2012.03.13 |
| [HTML] Google 크롬을 활용한 HTML5 웹사이트 확인 (0) | 2011.11.17 |
| [HTML] HTML5 설명 및 기본 마크업 (0) | 2011.11.15 |
| 인터넷 익스플로러(Internet Explorer)의 교차 사이트 스크립팅(XSS) (4) | 2011.09.15 |
Comment, Trackback