This model's maximum context length is N tokens. However, you requested N tokens 에러

"error": {
    "message": "This model's maximum context length is 4097 tokens. However, you requested 7869 tokens (3773 in the messages, 4096 in the completion). Please reduce the length of the messages or completion.",
    "type": "invalid_request_error",
    "param": "messages",
    "code": "context_length_exceeded"
}

Open AI의 chat API를 쓸 때,

 

답변이 짧은 질문을 해도 무조건 토큰허용량이 초과했다고 뜨는 경우가 있다.

 

이유는 모르겠는데, max_tokens를 최대치로 잡아 놓으면 발생하는 문제다.

 

예를 들어, gpt-3.5-turbo의 경우 max_tokens의 크기가 4096개이다.

 

답변을 최대한 길게 받고 싶어서 max_tokens를 4096을 설정하고 질문을 보내면, 위 에러가 발생한다. 

 

아마도 [4096 + 질문의 대한 답변] 의 토큰 수가 gpt로 발송되서 그런거 같다.

 

버그인지는 모르겠는데  2023.4.28일 현재까지는 에러를 뱉는다.

 

그냥 max_tokens를 null로 쓰거나, 따로 입력하지 않으면 에러는 해결된다. 

 

웃긴건 max_tokens의 default 값은 inf다. 최대치로 잡으면 왜 안되는걸까?