NHN, Naver의 성장 이유는

http://kin.naver.com/robots.txt
http://cafe.naver.com/robots.txt
http://blog.naver.com/robots.txt

네이버의 3대 컨텐츠라고 할 수 있는 지식iN, 카페, 블로그가 굉장히 커진 것에 비해 외부 검색로봇의 활동을 막고 있기 때문이다. 물론 자체의 노력으로 지금의 수준에 올라왔다고 해도 웹 정신에 전혀 맞지 않게 혼자서만 놀고 있다. 현재 네이버 블로그의 경우에도 외부에서의 검색 결과는 일반적인 검색로봇이 결과를 끌어오는 것이 아니라 rss를 통해 긁어오는 형태라고 하니 (그래서 열이 받은 다음-티스토리-은 robots.txt가 설정이 되어있지 않다. 덕분에 제발 설정 좀 하게 해달라고 원성이다.) 할 말이 없다. 그렇게 자체 컨텐츠의 개방은 막으면서 일본 검색 시장 도전할 때는 Naverbot이 DoS 공격 급으로 홈페이지에 접근해서 로봇을 돌리고 있었다. 지금 찾아보니 싸이월드도 검색로봇의 활동을 disallow, 구글은 매쉬업 가지고 쿵짝 떠는데 한국 웹 시장은 알아서 우물 안에 모여 사네;; 그렇게 실리만 챙기면서 살겠다는 건가?