![](http://i1.daumcdn.net/thumb/C148x148/?fname=https://blog.kakaocdn.net/dn/T0L1M/btr2wuqJrPM/45ZXhADMSpb9VJcdKS0mH0/img.jpg)
robots.txt ? web 서버를 뒤적이다가 robots.txt란 파일을 발견했다. 파일을 열어보니 별 내용이 없었는데 User-agent: * Disallow: / 이런식으로 단 두줄만 작성되어 있었다. 대체 무슨 의미일까? 로봇 배제 표준(robots exclusion standard), 로봇 배제 프로토콜(robots exclusion protocol)은 웹 사이트에 로봇이 접근하는 것을 방지하기 위한 규약으로, 일반적으로 접근 제한에 대한 설명을 robots.txt에 기술한다. 이 규약은 1994년 6월에 처음 만들어졌고, 아직 이 규약에 대한 RFC는 없다. 이 규약은 권고안이며, 로봇이 robots.txt 파일을 읽고 접근을 중지하는 것을 목적으로 한다. 따라서, 접근 방지 설정을 하였다고..
개발/개념공부
2023. 3. 7. 01:19
공지사항
최근에 올라온 글
최근에 달린 댓글
- Total
- Today
- Yesterday
링크
TAG
- openAI API
- awskrug
- cache
- AWS EC2
- Elastic cloud
- jenkins
- Kotlin
- JWT
- serverless
- AWS
- chat GPT
- springboot
- GIT
- 람다
- Spring
- 코딩테스트
- CloudFront
- Log
- 스프링부트
- MySQL
- AOP
- OpenAI
- S3
- EKS
- ChatGPT
- java
- elasticsearch
- lambda
- docker
- terraform
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | 6 | |
7 | 8 | 9 | 10 | 11 | 12 | 13 |
14 | 15 | 16 | 17 | 18 | 19 | 20 |
21 | 22 | 23 | 24 | 25 | 26 | 27 |
28 | 29 | 30 | 31 |
글 보관함