robots.txt란 무엇인가요?

robots.txt는 사이트 최상위에 두는 파일로, 어떤 크롤러가 어떤 경로에 접근할 수 있는지를 지정합니다.

병원 실무에서 왜 중요한가요?

GPTBot·ClaudeBot·PerplexityBot·Google-Extended 같은 AI 크롤러도 여기서 제어됩니다. 이미지 도용을 막으려다 AI 접근까지 함께 차단된 경우가 있으므로, 도메인 뒤에 /robots.txt를 붙여 현재 상태를 직접 확인하는 것이 좋습니다.

함께 보면 좋은 용어

AI 크롤러

AI 크롤러는 생성형 AI 서비스가 학습이나 실시간 답변에 사용할 웹 문서를 수집하기 위해 운영하는 자동 수집 프로그램입니다.

llms.txt

llms.txt는 사이트 최상위에 두는 텍스트 문서로, 생성형 AI에게 해당 조직의 핵심 사실과 주요 문서를 정리해 알려주는 용도로 제안된 형식입니다.

이 용어를 다룬 글

• 병원 홈페이지 203곳 실측 — 가장 준비가 안 된 곳은 종합병원이었다

  국내 병원·의원 홈페이지 203곳을 실제로 크롤링해 AI 준비도를 채점했습니다. 종합병원 26곳은 평균 63점으로 다섯 진료과 중 가장 낮았고, 성형외과·피부과·척추관절은 72점, 치과는 71점이었습니다. 규모가 큰 병원이 오히려 뒤처져 있었습니다.

• SEO·AEO·GEO는 무엇이 다른가 — 병원 관점에서 정리

  SEO는 검색 결과 목록에서 위로 올라가는 일, AEO는 질문에 대한 하나의 답으로 뽑히는 일, GEO는 생성형 AI가 만든 답변 안에 인용되는 일입니다. 세 개념의 목표·측정 방법·작업 내용이 어떻게 다른지, 병원은 무엇부터 해야 하는지 정리했습니다.

• 원장이 5분 만에 직접 확인하는 법 — AI는 우리 병원을 뭐라고 설명하나

  대행사에 맡기기 전에 원장이 직접 해볼 수 있는 확인 절차입니다. 넣어볼 질문 문장, 답변에서 볼 것, 자바스크립트를 끄고 홈페이지를 여는 법, robots.txt 확인법까지 순서대로 정리했습니다.

• 우리 병원은 AI를 막고 있을까? robots.txt로 확인하는 법

  홈페이지 주소 뒤에 /robots.txt를 붙이면 우리 병원이 AI 크롤러를 막고 있는지 1분 안에 확인할 수 있습니다. 주요 크롤러 User-Agent가 각각 무엇을 하는지, Allow와 Disallow를 어떻게 읽는지 정리했습니다.