.
robot.txt 에 대한 자세한 내용은
http://www.robotstxt.org 중 http://www.robotstxt.org/wc/robots.html 에 나와 있습니다.
간략하게 말씀 드리면 웹상에서 자동으로 검색을 하는 프로그램 - 로봇 - 들이 검색을 하고간 흔적 입니다. 현재 로봇데이타베이스에 등록된 검색 로봇은 280 여개 입니다.
이 검색을 배제하려면 robot.txt 라는 텍스트 파일을 아래의 내용으로 만들어 놓으면 됩니다.
User-agent: *
Disallow: /
다른 예를 보면
User-agent: webcrawler
Disallow:
*. webcrawler 라는 검색 로봇에 허용을 하는 경우 입니다.
User-agent: lycra
Disallow: /
*. lycra 라는 검색 로봇에 전부 허용하지 않는 경우 입니다.
User-agent: *
Disallow: /tmp
Disallow: /logs
*. 모든 검색 로봇에 대해 /tmp, /log 디렉토리를 허용하지 않는 경우 입니다.
또, 웹 페이지에 아래와 같은 메타 태그를 넣는 방법도 있습니다.
ROBOTS meta-tag
<META NAME="ROBOTS" CONTENT="ALL | NONE | NOINDEX | NOFOLLOW">
default = empty = "ALL"
"NONE" = "NOINDEX, NOFOLLOW"
의 형태 인데
<META NAME="ROBOTS" CONTENT="NOINDEX">
; 검색 로봇에 인덱스를 허용하지 않는 경우
<META NAME="ROBOTS" CONTENT="NOFOLLOW">
; 페이지에 파싱을 허용하지 않는 경우
와 같이 사용 해도 됩니다. 그런데 이런 robot.txt를 만드는 방법이나 메타 태그를 이용하는 경우는 표준을 따르는 검색 로봇들에 대해서만 해당 합니다.
>아파치의 에러로그를 보면 아래와 같은 robots.txt 를 못찾는 다는 로그가 계속 쌓입니다.
>이 로그가 무엇입니까 ?
>
>Sun Jan 25 06:49:43 2004] [error] [client 216.88.158.142] File does not exist: /www/robots.txt
>
>아파치의 에러로그를 보면 아래와 같은 robots.txt 를 못찾는 다는 로그가 계속 쌓입니다.
>이 로그가 무엇입니까 ?
>
>Sun Jan 25 06:49:43 2004] [error] [client 216.88.158.142] File does not exist: /www/robots.txt |
|
|
|
|
|
