웹모아
웹모아[가입] 로그인 / 회원가입   검색        



  
질문&답변
 

[RE] 아파치 에러로그 중에서 robots.txt error이 무엇 인가요 ?
2008-10-04 14:32:32 댓글:(0)   조회:3206
. 
robot.txt 에 대한 자세한 내용은 
http://www.robotstxt.org  중 http://www.robotstxt.org/wc/robots.html 에 나와 있습니다. 

간략하게 말씀 드리면 웹상에서 자동으로 검색을 하는 프로그램 - 로봇 - 들이 검색을 하고간 흔적 입니다. 현재 로봇데이타베이스에 등록된 검색 로봇은 280 여개 입니다. 

이 검색을 배제하려면 robot.txt 라는 텍스트 파일을 아래의 내용으로 만들어 놓으면 됩니다.

User-agent: *
Disallow: /

다른 예를 보면 

User-agent: webcrawler
Disallow:
*. webcrawler 라는 검색 로봇에 허용을 하는 경우 입니다.

User-agent: lycra
Disallow: /
*. lycra 라는 검색 로봇에 전부 허용하지 않는 경우 입니다.

User-agent: *
Disallow: /tmp
Disallow: /logs
*. 모든 검색 로봇에 대해 /tmp, /log 디렉토리를 허용하지 않는 경우 입니다.

또, 웹 페이지에 아래와 같은 메타 태그를 넣는 방법도 있습니다.

ROBOTS meta-tag
<META NAME="ROBOTS" CONTENT="ALL | NONE | NOINDEX | NOFOLLOW">

default = empty = "ALL"
"NONE" = "NOINDEX, NOFOLLOW"
의 형태 인데 

<META NAME="ROBOTS" CONTENT="NOINDEX">
; 검색 로봇에 인덱스를 허용하지 않는 경우

<META NAME="ROBOTS" CONTENT="NOFOLLOW">
; 페이지에 파싱을 허용하지 않는 경우 

와 같이 사용 해도 됩니다. 그런데 이런 robot.txt를 만드는 방법이나 메타 태그를 이용하는 경우는 표준을 따르는 검색 로봇들에 대해서만 해당 합니다. 

>아파치의 에러로그를 보면 아래와 같은 robots.txt 를 못찾는 다는 로그가 계속 쌓입니다.
>이 로그가 무엇입니까 ?
>
>Sun Jan 25 06:49:43 2004] [error] [client 216.88.158.142] File does not exist: /www/robots.txt

>
>아파치의 에러로그를 보면 아래와 같은 robots.txt 를 못찾는 다는 로그가 계속 쌓입니다.
>이 로그가 무엇입니까 ?
>
>Sun Jan 25 06:49:43 2004] [error] [client 216.88.158.142] File does not exist: /www/robots.txt
. 




 
댓글쓰기는 회원(로그인 하신분) 이상 가능합니다.


댓글 (0)


질문&답변
페이지: 2 / 9   

    페도라 웹설치는 안되나요? 2361
    리눅스오픈소스 다운로드 경로 2192
    여러분의 robots.txt 2872
   [RE] 아파치 에러로그 중 3207
    페도라를 개인적으로 사용중인 2964
    리눅스 팁 8031
    삼바관련질문 : 리눅스 -> 2741
    리눅스 checking fi 2402
    리눅스 디스켓(설치디스켓)으 2177
    리눅스 AS커널에서 SMP로 3371
      [RE] 리눅스 AS커널에서 3142
    리눅스에서 듀얼cpu 확인은(1) 3703

  [1]  [2]  [3]  [4]  [5]  


복수단어 검색은 공백(space)로 구분해 주세요. 1



 
최근 글 [손님]




 
인기 글 [손님]
[홈마스타] 중보입력 방지 루틴
[깊은연못] 24시간 Classical Radio
[홈마스타] [RE] input type=\\
[홈마스타] (1) oledb 접근 오류
[홈마스타] setinterval 사용과 중지