NVIDIA Korea Inception Meetup 참석 후기

 

토스, 우형, 당근 등등 올해 연달아 개발 세미나가 있었는데, 어찌된게 한번도 당첨이 되지 않았다.

 

유튜브로 올려주는 것들만 짬짬이 보고 있는데 이번에 Nvidia 인셉션 밋업이 있어서 들으러 왔다. 

 

먼저 Nvidia Inception이 뭔지에 대한 설명부터 하고 넘어가야한다.

https://www.nvidia.com/ko-kr/startups/?ncid=no-ncid

NVIDIA Inception은 최첨단 기술과 NVIDIA 전문가에 대한 액세스, 벤처 투자자와의 연결 기회, 기업 인지도를 높이기 위한 공동 마케팅 지원 등을 통해 스타트업이 더욱 빠르게 성장할 수 있도록 설계된 무료 프로그램입니다.

 

우리회사는 Nvidia Inception 회사로 선정되어 구성원인 나도 첨석할 수 있었다.

 

세션이 영어로 시작되는 빅 이슈가 있었다. 그래서 PPT와 약간의 단어로 무슨 말을 하는지 유추해서 들었다.

 

1. 인셉션 프로그램 및 기술 업데이트

엔비디아 하드웨어/소프트웨어는 다양한 분야에서 사용되고 있다.

 

인셉션 프로그램은 23년에 비해 26% 성장했고, 100개의 나라에서 2만개의 회사들이 지원받고 있다. AI 뿐만아니라 AR/VR, 게임, 그래픽스 등의 분야에 지원 중.

 

인셉션이 제공하는 것들

1. 웨비나나 워크샵 할인, 강연 무료

2. 150개의 sdk 제공, aws gcp 크레딧 제공, hw/sw 엔비디아 할인, 엔지니어 가이드라인 제공

3. vc 커뮤니티에 노출시켜줌, nvida 인셉션 뱃지 줌 등

 

엑셀러레이트 시키기 위해 엔비디아가 지원하는 것들 설명...

홈페이지에 있는 거 설명한거 같은데?

 

https://blogs.nvidia.co.kr/blog/2024-gtc-keynote/

2025년 GTC에서 하는 것과 할 수 있는 것 알려줌.. 산호에세 열리고 젠슨황 오니까 참석하면 좋을거라고 함 

 

홈페이지에서 충분히 찾을 수 있는 정보들을 알려줌..

 

2. 카카오 엔터프라이즈 로켓런쳐 프로그램

갑자기 한글 세션의 시작... 

카카오 엔터프라이즈가 하는 일

클라우드 서비스 사업(CSP로 확장), 데이터 센터 사업, AICC 미래로는 AI 서비스를 진행하려고한다.

 

카카오 클라우드 소개 

퍼블릭, 프라이빗, 소버린 클라우드를 제공하는 작업을하고 있고 GPU 서비스들은 엔비디아와 파트너십으로 제공하고 있음. 서비스를 점차 확대해 나가고 있음

 

카카오 클라우드는 정말 후발 주자 : 한국은 CSP가 많은 국가인데 어떻게 경쟁력을 가져갈 것인가? 오래된 클라우드 서비스는 가격이 비싼 경우가 있지만, 카카오는 최신 vm 장비를 제공해 더 나은 성능 더 저렴하게 제공하는 방식으로 시장에 진입해보려고 함

 

차별화된 기술 요소? 스마트NIC, 고집적 하드웨어 도입, 클라우드 피닝 기술 적용 등등 기술적 요소에 많은 투자를 기울이고 있음 -> 기술적으로 발전된 부분을 요구하는 분들도 있다...

 

카카오 클라우드는 안정적으로 제공하기 위해 Hypervisior를 중간에 둬서 하나의 하드웨어가 죽었을 때 전체 장애가 가지 않도록 처리되어있음.

 

클라우드 피닝(하나의 인스턴스는 하나의 cpu만을 사용)을 통한 성능 차이를 최소화함

 

SmartNIC : CPU 외부에서 보안, 저장, 네트워크 레이어를 거쳐서 코어에만 접근하도록 구성함, 고전적 NIC은 모든걸 CPU에 맡겨서 여러 문제가 있음  

 

트랜짓 게이트웨이는 다른 벤더를 한번에 연결해주는 게이트웨이 네트워크 구조

 

카카오 게임즈에서 이전했을 때 퍼포먼스 17% 향상 가격 50~60퍼 절감하는 효과를 얻었다.

 

스타트업을 위한 카카오 클라우드 서비스 소개

1. 카카오 클라우드 GPU 서비스 : 빠른 속도와 안정성, 원활한 GPU 수급, 가격 경쟁력, 해외 벤더를 쓰면 실제 GPU가 해외에 있는 경우가 많기 때문에 레이턴시가 생기는 경우가 많아서 장점이 있음, 가격 경쟁력도 있음

- 확장성 있는 GPU 서비스 : 초거대 모델 학습을 위한 GPU 클러스터링 구성 및 AI Data Center에 이르기까지 다양한 AI 인프라 수요를 유연한 확장성으로 지원함 - 운영하는 것 까지 제공

- 국내에 있는 GPU들을 활용해서, 성능부분에서 많은 이점을 얻게 지원해주려고 노력함

 

2. 데이터 분석 및 ML 파이프라인을 위한 카카오 클라우드 서비스

haddop, hbase, trno, ruid, kafka, spark 등 다양한 컴포넌트 기능을 제공

kubeflow - AI/MLOps 기능 제공, 별도의 admin 없이도 k8s 엔진과 파일 스토리지를 생성해줌

 

3. SaaS형 AI 컨택 센터

가볍게 시작하고 원하는 만큼늘릴 수 있는 합리적이고 유연한 구독형 컨택 센터, 필요한 기능만 모듈 구성 가능

 

스타트업 지원 프로그램

https://kakaoenterprise.com/press/kakaoenterprise-rocket-launcher/

카카오엔터프라이즈, 스타트업 상생 프로그램 ⌜로켓런처⌟ 오픈 | 카카오엔터프라이즈

 

최대 2년간 3500만원 크레딧 지급, 협업툴 카카오 워크 6개월 무료 이용

 

프로그램 안에 Launch, Boost, Grow 로 나누어 500만, 2000만, 3500만 크레딧을 제공해 줌

 

사전 논의가 안된건가? 조금 세션 진행도 어수선하긴 했는데 카카오 엔터프라이즈에서 하는 클라우드 광고만 하다 가심

 

스타트업 지원 프로그램은 정말 좋아보였는데, 이미 짱짱한 클라우드 벤더들 사이에서 카카오가 얼마나 버틸 수 있을지 모르겠다. 카카오 엔터프라이즈 이미 한번 인원 정리 하셨잖아요..

3. 인셉션 솔루션 쇼케이스

총 다섯개의 회사가 하고 있는 일과 엔비디아에서 어떤 지원을 받았는지 발표하는 시간을 가졌다.

 

Nota AI(https://www.kr.nota.ai/) : 인공지능 원천기술인 딥러닝 모델 경량화 기술을 기반으로 AI 모델 개발 프로세스를 자동화 하는 AI 최적화 플랫폼, 넷츠프레소(NetsPresso)

 

오케스트로 : 클라우드 sw 시장 점유율 1위. 모든 기술력을 하나로 쉽게 쓸 수 있게 해주는 마에스트로가 되자.

레거시를 클라우드에 올려서 이것을 ai를 통해 나오게 하고 그런것이 최종적으로 디지털 튜닝화를 하는것이 목표

이런 엄청나게 많은 데이터를 기반으로 ai 서비스에 대한 최적화를 가능케 하겠다

대화형 인공지능 ai 서비스를 출시하였음.

 

휴런 : 뇌질환을 AI 기술을 통해 탐지하는 기술을 개발 중. 응급실로 보내기 전에 어떤 조치가 필요하고 어떤 전문병원으로 보내야하는지 알려주는 AI도 개발 중

 

모라이 ai : 자율주행 ai 기술을 만들고자 함.

 

Trillion Labs : 한국어에 특화된 LLM 파운데이션 모델을 만드는 스타트업이다. 대규모 한국어 데이터로 사전 훈련된 모델로 한국 문화와 관습을 정확히 이해하는 생성형 AI를 만들고자한다.

 

다른 회사들이 AI 기술을 어떻게 쓰고 있나 볼 수 있었던 가장 재미있던 세션들이었다. 한국어로 해줬으면 정말 좋았겠다 싶었다.

 

4. 개발자프로그램 리더들과 대화

시간이 얼마 남지 않아서 10분정도 Q&A 시간을 가지고 끝났다. 너무 정신없이 달려와서.. 다들 집중력을 잃은상태처럼 보였다.

마치며

일단 실무 개발자를 위한 밋업은 아니었다. 

 

정말 소규모, 이제 시작하려는 단계의 스타트업에서 인프라 결정권자들에겐 큰 도움이 될만한 내용이었다.

 

그리고 정말 인프라 구성 자금이 말라가는 기업들에겐 단비가 될만한 지원들이었다.

(카카오를 선택한다면 클라우드 벤더를 옮기긴 해야겠지만)

 

그래도 다른회사들이 어떤것들을 하고 있는지 한번씩 볼 수 있었다는 점은 도움이 됐다.

 

다만 준비하는 측에서 제대로 준비가 안된듯한 세션 구성이 너무 아쉬웠다.

 

그리고 한글 세션이었으면 꽤 재밌게 봤을지도 모르겠다.