ChatGPT를 이용한 데이터 시각화 및 데이터 분석

 

 

해당 기능을 쓰기 위해서는 GPT 유료 버전을 사용해야 합니다.

 

GPT-4에만 탑재된 기능인 Code Interpreter로 csv파일이나 엑셀파일을 읽어와 데이터를 분석 및 시각화 할 수 있다.

 

본래 기능은 코드 컴파일러 같은 역할을 시키려고 했는지 이름이 Code Interpreter다.

 

나온지는 한달? 정도 된 기능인데, 정말 대단하다고 밖에 생각이 들지 않는 기능이라 공유해보려고한다.

 

이전 기능들과는 다르게 2023.7.24 기준 API는 제공하지 않는다.

(Beta 버전의 API를 제공한다. 아래의 링크에 Java/Spring으로 구현한 API를 확인할 수 있다.)

ChatGPT Assistants API 사용하기 (with. SpringBoot)

1. Code Interpreter 기능 선택

일단 베타 기능이라 그런지 위치를 살짝 숨겨놨다.

아래 코드 interpreter를 클릭하면 바로 사용 가능하다.

 

1. Advanced Data Analysis 기능 선택

9월말 Advanced Data Analysis로 기능명이 변경되었다.

 

이 탭을 선택 하면,

 

그럼 하단 send a message라는 인풋 박스에 + 버튼이 생성된다.

 

 

클릭하면 upload file이라는 메시지박스가 나오는데, 버튼을 클릭한 후 데이터를 직접 입력하거나 드래그로 가져와서 사용할 수 있다.

 

1. 시각화할 파일 업로드하기

2023.11.27 업데이트

아마 11월 첫재 주(6일) 쯤 업데이트 된거로 기억하는데, chat GPT 사이트의 UI가 변경되면서 사용법이 또 바뀌었다.

 

 

좌측 상단 셀렉트 박스에서 chatGPT4를 선택하고 본인이 원하는 파일을 드래그 해서 올려주면, 알아서 분석해준다.

 

혹은 채팅을 치는 input 박스 좌측의 클립으로 파일을 넣어주면 된다.

 

바로 쓸 수 있어서 편하다고 생각이 들지만, 어떻게 보면 기능이 있는지도 모르게 되버렸다.

 

2. 빅? 데이터 가져오기

테스트를 위해서 크기가 있는 데이터를 구해와야되는데, 이런 데이터들은 공공데이터 포털을 가면 많다.

 

테스트를 위해서 전국농어촌민박업소표준데이터를 가져왔다.

 

이 csv 파일에는 43881개의 데이터가 있다.

 

 

일부만 캡쳐했는데, 컬럼도 많아서 테스트하기에 충분한 데이터라 판단했다.

 

아래는 컬럼 종류이다.

 

번호,개방서비스명,개방서비스아이디,개방자치단체코드,관리번호,인허가일자,인허가취소일자,영업상태구분코드,영업상태명,상세영업상태코드,상세영업상태명,폐업일자,휴업시작일자,휴업종료일자,재개업일자,소재지전화,소재지면적,소재지우편번호,소재지전체주소,도로명전체주소,도로명우편번호,사업장명,최종수정시점,데이터갱신구분,데이터갱신일자,업태구분명,좌표정보(x),좌표정보(y),용도지역,건물형태구분명,객실수,주택면적,방면적비율,소화기개수,단독경보형감지기개수,자동확산소화기대수,휴대용비상조명등대수,피난구유도등개수,유도표지개수,완강기대수,가스누설경보기대수,일산화탄소감지기대수,조식재공여부,오수처리시설용량,화장실수,화장실종류명

 

2. 파일 업로드 후 데이터 분석

이제 분석 및 시각화를 하기 위해서 데이터를 업로드하자.

 

데이터 업로드 중

간단한 질문부터 시작했다.

정말 신기한게 직접 코드를 생성하면서 테스트를 진행한다.

 

하다가 오류가 발생했는데 스스로 알아내고 고쳐간다.

 

중간에 에러가 났는데스스로 발견하고 수정한다.

위 에러는 데이터가 UTF-8 인코딩이 되어있지 않아서 발생한 에러라고 한다.

 

한글 데이터에 일반적으로 사용되는 cp949 인코딩을 진행하겠다고 한다.

 

다시 코드를 재생성한 후 결과를 보여준다.

 

분석 후 견해까지 넣어주는게 정말 신기한 부분인거 같다.

 

일단 간단한 분석을 해봤으니 다른 시각화를 해보자.

 

3. 데이터 시각화

이번에도 간단한 질문으로 시작해보자

 

컬럼에는 있어서 분석을 요청했는데 없어서 안된다고 한다.

 

인허가 일자로 데이터를 바꿔서 다시 질문했다.

 

있는데 없다고 하길래 재질문함

 

왜 실패했는지도 알려준다.(폐업일자도 사실은 있었는데, 데이터 변환 실패로 없다고 한 것 같다)

 

Show work를 눌러보면 gpt가 생성한 파이썬 코드도 확인할 수 있다.

 

결과를 확인해보면

 

갑자기 튀는 데이터 들이 있는데, 그 데이터들에 대한 견해까지 남겨준다.

 

단순 그래프 말고 다른 차트로도 가능할지 질문해봤다.

 

파이 차트

바 차트

기억나는게 두 개밖에 없어서 각각 차트를 만들어 달라고했는데, 역시나 잘 만들어준다.

 

마지막으로 상대적으로 어려운 질문을 해봤다.

 

인터넷이 연결되지 않아 외부 지도를 가져오지는 못하지만, 있는 데이터를 기반으로 시각화를 해보겠다고한다.

 

알아서 컬럼명을 찾더니 아래와 같은 결과값을 가져왔다.

 

 

솔직히 마지막 질문 결과를 보고 헛웃음이 나왔다.

 

이정도 기능이면 진짜 미친거 아닌가?

 

마치며

이 정도 데이터 분석 및 시각화 기능이면 진짜 활용도는 무궁무진할 것 같다.

 

아직 API를 제공하지 않아서, gpt 페이지에서밖에 사용할 수 없지만.. 곧 제공하지 싶다.

 

이 정도 기능이면, 데이터 분석가란 직무가 사라질 가능성도 보이는 것 같다.

 

앞으로 개발자도 과연 안전할까...