네이버 서치콘솔 robots.txt 수집요청방법 (블로그 최적화)

 

 

티스토리 블로그를 네이버 서치콘솔에 등록하고 웹페이지 최적화 진단을 돌려보면 'robots.txt 가 존재하지 않습니다.'라는 내용으로 robots.txt 부분이 부적합 판정이 나는 경우가 있습니다. robots.txt는 웹사이트의 데이터를 수집하는 로봇들의 접근을 제어하기 위한 규약입니다. 국제적으로 강제는 아니고 권고안이지만 해서 나쁠 건 없습니다.

 

네이버 서치콘솔해서 한 항목만 부적합이 뜨는 게 찜찜하기도 하고 로봇들이 사이트 내 정보를 올바르게 긁어갔으면 하는 마음에서 바로 수정작업에 돌입했습니다.

 

이 포스팅에서는 티스토리 블로그의 네이버 서치콘솔 진단에서 robots.txt 부분에서 부적합 하다고 나오는 항목을 robots.txt에 수집요청하여 수정하는 방법을 말하고자합니다.

 

 

네이버 서치콘솔 사이트에 접속하여 우측 상단의 웹마스터 도구를 클릭합니다. 웹마스터 도구는 네이버 아이디로 로그인을 해야 이용할 수 있는 서비스입니다.

 

 

사이트 목록해서 등록된 사이트를 클릭하여 사이트를 분석하고 진단할 수 있는 관리자 페이지로 이동합니다.

 

 

관리자 페이지 좌측의 검증의 웹페이지 최적화 메뉴를 클릭하고 사이트 메인페이지의 웹페이지 최적화 진단을 진행합니다. 항목별로 진단내용이 나오는데 'robots.txt 가 존재하지 않습니다.'라는 내용으로 부적합 상태가 뜬 것을 확인할 수 있습니다.

 

 

자세한 내용을 확인해보면 robots.txt가 수집되지 않았다고 합니다. 수집되지 않아서 존재하지 않는 상태라고 보면됩니다.

 

 

관리자 페이지 좌측 메뉴에서 검증의 robots.txt를 클릭합니다. robots.txt 정보가 수집된 적이 없어서 아무것도 없는 빈칸으로 뜹니다. 수집요청을 클릭합니다.

 

 

수집요청이 완료되면 브라우저 상단에 알림창이 듭니다. 일부 시간이 소요된다고 안내하고 있습니다. 정확한 시간은 따로 안내가 되어있지 않습니다.

 

 

다시 좌측 메뉴에서 검증의 웹페이지 최적화에 가서 사이트 메인페이지 진단을 진행합니다. 이번에는 robots.txt 부분에도 정상적으로 수집되고 있음이 확인되고 적합하다고 나옵니다. robots.txt 수집신청 시간은 거의 바로 되는 것으로 확인됩니다.