개발과 일상

오랜만에 GPT 관련 글을 쓰는 것 같다. 마지막 글이 2월이니 넉달만에 쓰게 됐다. 이 사이 GPT4o가 나오고, assistant가 v2로 업데이트되었고, 여러 모델들이 업데이트 되었다. AI가 천천히 일상에 스며들고 있는데, 개발하는 입장에서는 좋은 소식이 4월 중 몇가지 들렸다. 사실 GPT4 Model은 API 사용료가 꽤 비싼데, GPT4o 모델을 제공한다는 것과 Batch API를 통해 훨씬 저렴하게 API를 사용할 수 있게 됐다.  하지만 Batch API는 사용 방법이 복잡하고, 제한적이라 정리가 필요할 것 같아서 정리를 하고 가려고 한다. 그렇지만 못할 정도는 아니고 API 개수가 몇 개 안되니가 스텝별로 진행해보자. 1. Create Batchhttps://platform.openai..

해당 기능을 쓰기 위해서는 GPT 유료 버전을 사용해야 합니다. 11월 6일 GPT 리뉴얼 이후로 GPT를 커스터마이징해서 쓸 수 있는 기능을 제공한다. GPT Builder라는 기능인데, 프롬프트를 미리 작성해 원하는 형식의 답변을 받거나 파일을 통해 대규모 지식을 미리 넣어두고 답변을 하도록 만들 수도 있다. 좌측에 Explore를 클릭하면 My GPTs라는 화면이 나오는데 여기서 Create a GPT를 선택한다. 페이지에 진입하면 위와 같은화면이 나온다. 요약하면, 내가 원하는 GPT를 만들어 줄게라는 뜻인데 간단하게 요청사항을 넣으면 거기에 맞는 프롬프트를 자동으로 생성해서 넣어주겠다는 뜻이다. 아래와 같은 요청사항을 넣었다. GPT가 자체적으로 내가 원하는 기능을 제안하고 그게 맞다고 응답했다..

6월 16일에 OpenAI가 업데이트 되었다. 몇 가지 모델이 업데이트 되었고, 토큰 수 증가와 함께 Function calling이란 기능도 함께 추가되었다. 이전 포스팅에서 토큰 수 증가로 대화 유지를 원활하게 할 수 있다는 것에 대해 다뤘으니, 이번에는 Function calling에 대해 알아보자. Function calling이란? Open AI reference에서 Function calling의 일부를 발췌했다. API 호출에서, 사용자가 gpt-3.5-turbo-0613, gpt-4-0613 모델에 함수를 설명할 수 있습니다. 모델이 이러한 함수를 호출하기 위한 인수가 포함된 JSON 개체를 출력하도록 지능적으로 선택하도록 할 수 있습니다. Chat Completions API는 함수를 호..

6월 16일에 OpenAI가 업데이트 되었다. function call 기능과 함께 토큰 수가 증가 되었다. 무려 4k에서 16k로 4배나 증가 되었다. GPT-4도 GPT-3.5와 마찬가지로 16k 업데이트 되었다. 토큰 수가 업데이트되면서, 이전 대화를 기억하게 하는 기능을 적극적으로 활용할 수 있게 되었다. (기존 4천개로는 너무 적었음...) 구현 방식은 여러가지가 있을 것 같다. 가볍게 떠오르는건 두 가지정도인데, 1. FE는 질문만 전달, BE가 이전 질문과 답변을 저장하고 있다가 답변 생성 2. FE가 어차피 화면에 그려줘야하니까, 질문과 답변을 모두 보내주기 상용화될 앱이라면 1번이 맞다고 생각되어 1번으로 구현해봤다. 시작! chat API 연동 먼저 fegin client로 chat A..

이전 글에서 https://api.openai.com/v1/chat/completions API에 대해 간단히 다뤄보았다. 그런데 앞선 글이 너무 겉핥기라 정작 중요한 부분을 몇 가지를 놓친 것 같아서 추가적으로 정리해보려고 한다. 크게 두 가지 부분이 아쉬워서 내용을 보강해보려고 한다. 첫 번째는 GPT 프롬프트(Prompt)라고 알려진 메시지 프롬프트가 들어가는 message 배열 부분과 두 번째는 현재 GPT가 답변을 주는 것처럼 한 글자씩 내려주는 stream 부분이다. 하나씩 알아보자. 1. message 배열 먼저, user는 일반적인 사용자를 의미한다. 우리가 평소에 GPT를 사용할 때처럼 아래와 같이 작성하고 보내도, GPT는 정상적으로 답변을 보내준다. "messages": [ { "ro..

Chat API란? https://platform.openai.com/docs/api-reference/chat 정확히는 OPEN API에서 제공하는 GPT 모델과 chat을 할 수 있게끔 요청하는 API다. 얼마전만해도 completion만을 이용해서 GPT에게 질문하고 결과를 받아올 수 있었는데, 조금 더 다양한 기능을 제공하는 API가 생겼다. 기존에 제공하던 completion보다 더 많은 파라미터를 전달 받고, 조금 더 다양한 데이터를 response에 담아준다. 이전에는 GPT와 메시지를 주고 받는 API로는 Completion만 제공했었다. 그런데 Completion API는 간단한 질답은 가능하지만, 바로 직전의 대화도 기억하지 못한다는 단점이 있었다. 웹에서 제공하는 ChatGPT는 이전..

12월 초에 chatGPT를 처음 안 이후 꾸준히 써왔는데, 최근 갑자기 주목받으면서 특정 시간대 사람들이 몰려서 접속하기도 힘들고 자주 연결이 끊어지기 시작했다. 편하게 쓰고 싶은 마음에, 무슨 방법이 없을까 하다가 OpenAI에서 제공하는 API를 찾게 되었고, 바로 사용해봤다. 이런 저런 문제가 있어 오래걸렸지만, 결과도 괜찮게 나오고, EC2에 배포했는데도 생각보다는 응답이 빨랐다. 처음 설계는 AWS EC2 + Docker로 배포하려고 했지만, 어떤 이유에서인지 Docker에 코드를 올린 후, Tomcat에서 배포가 안됐다. 그래서 일단 AWS EC2만으로 배포해 사용해봤다. 제목에는 ChatGPT API라 작성했지만, 정확히는 OpenAI에서 제공하는 통합 API다. 때문에 학습 관련 API도..