개발과 일상

6월 16일에 OpenAI가 업데이트 되었다. function call 기능과 함께 토큰 수가 증가 되었다. 무려 4k에서 16k로 4배나 증가 되었다. GPT-4도 GPT-3.5와 마찬가지로 16k 업데이트 되었다. 토큰 수가 업데이트되면서, 이전 대화를 기억하게 하는 기능을 적극적으로 활용할 수 있게 되었다. (기존 4천개로는 너무 적었음...) 구현 방식은 여러가지가 있을 것 같다. 가볍게 떠오르는건 두 가지정도인데, 1. FE는 질문만 전달, BE가 이전 질문과 답변을 저장하고 있다가 답변 생성 2. FE가 어차피 화면에 그려줘야하니까, 질문과 답변을 모두 보내주기 상용화될 앱이라면 1번이 맞다고 생각되어 1번으로 구현해봤다. 시작! chat API 연동 먼저 fegin client로 chat A..

"error": { "message": "This model's maximum context length is 4097 tokens. However, you requested 7869 tokens (3773 in the messages, 4096 in the completion). Please reduce the length of the messages or completion.", "type": "invalid_request_error", "param": "messages", "code": "context_length_exceeded" } Open AI의 chat API를 쓸 때, 답변이 짧은 질문을 해도 무조건 토큰허용량이 초과했다고 뜨는 경우가 있다. 이유는 모르겠는데, max_tokens를 최대치..