반응형
robots.txt 로봇파일
user-agent:Googlebot
Allow: /
user-agent:Yeti
Allow: /
User-agent: Cowbot
Allow: /
User-agent: NaverBot
Allow: /
User-agent: Daumoa
Allow: /
User-agent: Slurp
Allow: /
User-agent: Bingbot
Allow: /
User-agent: Msnbot
Allow: /
user-agent:*
Allow: /
user-agent:*
Disallow:
반응형
'아이들의 교육 > HTML' 카테고리의 다른 글
| 타이틀, title (0) | 2019.06.29 |
|---|---|
| 검색로봇 종류 (0) | 2019.06.29 |
| 구글 크롤링 site:해당사이트명 (0) | 2019.06.29 |
| [html] 라디오(radio) 버튼 만들기-초간단 소스 (0) | 2017.06.13 |
| [css] CSS class Selector (0) | 2015.06.12 |
