robot.txt 에 대한 자세한 내용은  http://www.robotstxt.org  중 http://www.robotstxt.org/wc/robots.html 에 나와 있습니다.  간략하게 말씀 드리면 웹상에서 자동으로 검색을 하는 프로그램 - 로봇 - 들이 검색을 하고간 흔적 입니다. 현재 로봇데이타베이스에 등록된 검색 로봇은 280 여개 입니다.  이 검색을 배제하려면 robot.txt 라는 텍스트 파일을 아래의 내용으로 만들어 놓으면 됩니다. User-agent: * Disallow: / 다른 예를 보면  User-agent: webcrawler Disallow: *. webcrawler 라는 검색 로봇에 허용을 하는 경우 입니다. User-agent: lycra Disallow: / *. lycra 라는 검색 로봇에 전부 허용하지 않는 경우 입니다. User-agent: * Disallow: /tmp Disallow: /logs *. 모든 검색 로봇에 대해 /tmp, /log 디렉토리를 허용하지 않는 경우 입니다. 또, 웹 페이지에 아래와 같은 메타 태그를 넣는 방법도 있습니다. ROBOTS meta-tag <META NAME="ROBOTS" CONTENT="ALL | NONE | NOINDEX | NOFOLLOW"> default = empty = "ALL" "NONE" = "NOINDEX, NOFOLLOW" 의 형태 인데  <META NAME="ROBOTS" CONTENT="NOINDEX"> ; 검색 로봇에 인덱스를 허용하지 않는 경우 <META NAME="ROBOTS" CONTENT="NOFOLLOW"> ; 페이지에 파싱을 허용하지 않는 경우  와 같이 사용 해도 됩니다. 그런데 이런 robot.txt를 만드는 방법이나 메타 태그를 이용하는 경우는 표준을 따르는 검색 로봇들에 대해서만 해당 합니다.  >아파치의 에러로그를 보면 아래와 같은 robots.txt 를 못찾는 다는 로그가 계속 쌓입니다. >이 로그가 무엇입니까 ? > >Sun Jan 25 06:49:43 2004] [error] [client 216.88.158.142] File does not exist: /www/robots.txt > >아파치의 에러로그를 보면 아래와 같은 robots.txt 를 못찾는 다는 로그가 계속 쌓입니다. >이 로그가 무엇입니까 ? > >Sun Jan 25 06:49:43 2004] [error] [client 216.88.158.142] File does not exist: /www/robots.txt