Robots.txt를 입력해서 네이버 봇을 차단해서 네이버에서 이 블로그가 검색되지 않게 처리해 보았다. 실제로 네이버에서 검색이 될지 안 될지는 모르겠다. 네이버는 워낙 이상한 회사라서....

그리고 이번에 Robots.txt를 수정하면서 서비스형 블로그 사이트 등의 주소를 서브도메인을 주는 방식으로 운영해야 한다는 것을 알게 됐다. 네이버나 다음 블로그처럼 '/' 뒤에 ID를 붙이는 방식은 각각의 블로그에 Robots.txt를 둘 수 없기 때문에 각 사용자마다 크롤링을 막을 수 없기 때문이다.

-----------------------------------------------------

User-agent: Cowbot
Disallow: /