robots.txt는 웹사이트에 방문하는 웹 로봇(크롤러 또는 스파이더라고도 함)에 대한 접근 규칙을 정의하는 텍스트 파일입니다.
웹 사이트의 루트 디렉터리에 위치하여, 검색 엔진 봇이 사이트를 크롤링 할 때 어떤 페이지를 인덱싱하거나 인덱싱하지 말아야 하는지 알려주는 역할을 합니다.
robots.txt
robots.txt 사용방법
파일은 간단한 문법 구조를 사용하며, 주로 아래와 같은 구성으로 되어 있습니다.
User-agent: 어떤 웹 로봇에 대한 지침인지를 식별합니다. 예를 들어, 구글의 웹 크롤러는 ‘Googlebot’입니다.
Disallow: 웹 로봇이 접근하거나 크롤링할 수 없는 페이지나 디렉터리를 열거합니다.
Allow (선택사항): 웹 로봇이 접근하고 크롤링을 허용하는 페이지나 디렉터리를 지정합니다.
이 지시문은 일반적으로 ‘Disallow’와 함께 사용되어 예외 규칙을 제공합니다.
robots.txt의 예시:User-agent: * Disallow: /private/ Disallow: /temp/
이 예시는 모든 웹 로봇(*)이 ‘/private/’ 및 ‘/temp/’ 디렉터리에 대한 크롤링을 금지하도록 지시합니다.
주의할 점은 robots.txt는 웹 로봇이 자발적으로 따르는 규칙이기 때문에, 악의적인 웹 크롤러가 이를 무시하여 접근할 수 있습니다.
그러므로 중요한 민감한 정보는 다른 보안 수단을 사용하여 보호하는 것이 좋습니다.
2. 워드프레스 robots.txt를 사용해야 하는 이유
워드프레스 robots.txt를 사용하는 주요 이유는 웹 로봇(크롤러 또는 스파이더)에게 웹사이트 내 특정 영역의 접근을 허용하거나 제한함으로써 웹사이트를 효율적으로 관리하기 위함입니다.
이 파일을 사용하면 다음과 같은 이점이 있습니다.
워드프레스 robots.txt 사용방법
리소스 사용 최소화
웹 로봇은 웹사이트에 많은 서버 자원을 사용하며, 대역폭을 소모할 수 있습니다.
robots.txt 파일을 통해 웹 로봇이 크롤링하지 않아야 할 영역을 제한하여, 서버 리소스와 대역폭을 절약할 수 있습니다.
중요하지 않은 컨텐츠 숨기기
웹사이트의 모든 페이지가 검색 결과에 표시돼야 하는 건 아닙니다.
가령 관리자 페이지, 개발 중인 페이지 등은 일반 사용자가 볼 필요가 없습니다. robots.txt를 이용해 이러한 페이지를 검색 엔진에서 숨길 수 있습니다.
중복 컨텐츠 문제 해결
검색 엔진은 중복된 컨텐츠를 나쁜 사용자 경험으로 보기 때문에 웹사이트의 순위에 영향을 줄 수 있습니다.
robots.txt를 이용해 웹 로봇이 중복 컨텐츠가 있는 영역을 크롤링하지 못하게 할 수 있습니다.
검색 엔진 최적화(SEO) 강화
크롤링 우선순위를 조절함으로써, 웹 로봇이 웹사이트의 중요한 페이지에 더 많은 자원을 할애하게 할 수 있습니다.
이로 인해 웹사이트의 검색 결과 순위가 향상될 수 있습니다.
필수적인 요소는 아니지만, robots.txt 파일을 사용하면 웹사이트의 효율적인 관리와 검색 엔진 최적화에 도움이 됩니다.
그러나 워드프레스 robots.txt 파일은 웹 로봇이 자발적으로 따르는 지침이므로, 민감한 정보를 보호하는 데에는 추가적인 정보 확인 하기 보안 방법이 필요합니다.
3. 검색엔진이 robots.txt를 사용하는 이유
robots.txt 사용방법
웹사이트 소유자의 의도를 존중
웹사이트 소유자가 특정 영역의 크롤링을 원하지 않을 수 있으며, robots.txt를 통해 이 의도를 검색 엔진과 공유할 수 있습니다.
크롤링 효율성 향상
검색 엔진은 웹 로봇을 통해 인터넷 전체의 페이지를 크롤링하고 인덱싱하는 데 많은 노력이 듭니다. robots.txt를 통해 웹사이트에서 중요하지 않은 페이지나 중복되는 컨텐츠를 제외하여 크롤링 효율을 높일 수 있습니다.
좋은 사용자 경험 제공
robots.txt를 활용하여 중요한 페이지를 강조하고 원치 않는 컨텐츠를 숨기면, 사용자에게 좋은 검색 결과를 제공할 수 있습니다.
4. 워드프레스 robots.txt 사용방법
robots.txt 사용방법 (파일을 만드는 방법)
텍스트 편집기(Notepad, 메모장 등)를 실행합니다.
웹사이트의 크롤링 제한 규칙을 작성합니다. 예를 들어
User-agent: * Disallow: /private/ Disallow: /images/
이 파일을 “robots.txt”로 저장합니다.
웹사이트의 루트 디렉터리에 업로드합니다. (예: www.example.com/robots.txt)
robots.txt 파일이 없으면 다음과 같은 결과가 발생할 수 있습니다.
웹 로봇이 웹사이트의 모든 영역을 크롤링하게 되며, 원하지 않는 페이지까지 검색 결과에 나타날 수 있습니다.
서버에 부담이 가해질 수 있습니다. 웹 로봇이 웹사이트 전체를 크롤링하려고 시도하기 때문에, 서버 자원이 소모되고 대역폭이 줄어들 수 있습니다.
중요하지 않은 페이지나 중복된 컨텐츠가 크롤링되어, 검색 엔진 최적화에 영향을 줄 수 있습니다.
따라서 웹사이트의 효율적인 관리와 검색 엔진 최적화를 위해 robots.txt 파일을 사용하는 것이 좋습니다.
5. robots.txt로 내 웹 사이트 최적화 하는방법
워드프레스 robots.txt 파일을 최적화하는 방법은 웹사이트의 특성과 목표에 따라 다소 다를 수 있지만, 다음과 같은 일반적인 팁이 도움이 될 수 있습니다.
워드프레스 robots.txt
명확한 User-agent 지정: 웹 로봇별로 구분하여 규칙을 적용하고 싶다면, 명확한 User-agent를 지정하세요.
예를 들어 구글의 크롤러에만 규칙을 적용하려면 “User-agent: Googlebot”으로 지정할 수 있습니다.
중요한 컨텐츠를 포함하는 디렉터리 허용: 중요한 컨텐츠가 있는 디렉터리나 페이지는 로봇이 접근할 수 있도록 허용하세요.
이렇게 하려면 Allow 지시문을 사용하거나 해당 디렉터리를 Disallow 지시문에서 배제하세요.
숨겨야 할 페이지 제외: 관리자 페이지, 개별 사용자의 개인정보, 민감한 데이터를 포함하는 페이지 등은 Disallow 지시문을 사용하여 웹 로봇의 접근을 차단하세요.
중복된 컨텐츠가 있는 디렉터리 차단: 중복된 컨텐츠나 검색 엔진에 인덱싱할 필요가 없는 내용들을 Disallow를 이용해 차단하세요.
이렇게 하면 검색 엔진 최적화에 도움이 됩니다.
사이트맵 위치 제공: robots.txt 파일에서 Sitemap 지시문을 사용하여 XML 사이트맵의 위치를 명시해 주세요.
이렇게 하면 웹 로봇이 사이트 구조를 더 잘 이해하고 효율적으로 크롤링할 수 있습니다. 예시:
Sitemap: https://www.example.com/sitemap.xml
명령어 구문과 대소문자 주의: 잘못된 문법을 사용하면 웹 로봇이 혼동할 수 있으므로, 명령어 구문이 올바른지 확인하고 대소문자를 정확하게 사용하세요.
변경 사항 테스트: robots.txt 파일을 웹사이트에 적용하기 전에 몇 가지 검색 엔진에서 제공하는 검사 도구(예: 구글 웹마스터 도구)를 이용하여 변경 사항이 올바르게 적용되었는지 테스트하세요.
적절하게 최적화된 워드프레스 robots.txt 파일은 웹 로봇이 웹사이트를 효율적으로 크롤링할 수 있게 하고, 검색 엔진의 성능을 향상시키는 데 기여할 수 있습니다.
면밀한 계획과 적절한 전략을 통해 웹사이트 별로 robots.txt를 최적화할 수 있습니다.
6. 워드프레스 robots.txt 사용방법 더 알아보기
robots.txt 10분 안에 끝내는 총정리 가이드
robots.txt 사용방법
7. 워드프레스 robots.txt 외에 더 많은 정보 알아보기