노센스와 함께하는 데이터 분석

데이터과학자, '현장에서 바로 써먹는' 시리즈 저자

ChatGPT 2

ChatGPT의 파라미터 수 의미

ChatGPT가 쏘아올린 초거대(Super-Giant) AI에 대한 관심이 뜨겁습니다. GPT는 Generative Pre-trained Transfomer의 약자로 생성적(Generative)이라는 의미는 모델이 새로운 텍스트를 생성할 수 있다는 것을 의미하며, 사전학습(Pre-trained)이라는 의미는 모델이 대량의 텍스트 데이터를 사용하여 사전에 학습이 되었다는 것을 의미합니다. 그리고 Transformer는 모델의 기본 구조를 의미합니다. 생성형 모델의 성능 향상을 위해서는 매우 복잡한 신경망이 요구되고, 복잡한 신경망에는 엄청난 수의 파라미터가 존재합니다. 이렇게 파라미터 수가 엄청나게 많은 AI 모델을 초거대 AI라고 부르고 있으며 주요기업의 초거대 AI 현황은 아래와 같습니다. 가장 뛰어난..

이슈 2023.03.22

OpenAI의 ChatGPT-4 공개

서비스(GPT-3.5) 실시 후 단 5일만에 100만명의 사용자를 끌어낸 ChatGPT 열풍이 가시지 않고 있습니다. 그리고 불과 몇 일 전인 2023.03.15. GPT-4의 기술을 공개했고, ChatGPT Plus 요금제($20/month)를 통해 미리 사용해볼 수 있는 기회를 제공하고 있습니다. OpenAI 측에서 공개한 GPT-4 Technical Report에 따르면 GPT-4는 아래 그림과 같이 다양한 시험에서 매우 우수한 성적을 거뒀습니다. 특히 미국 통합 변호사 시험(Uniform Bar Exam)에서 3.5의 경우 하위 10% 수준이었지만 4의 경우 상위 10%를 차지할 정도로 높은 성능 변화를 나타내고 있습니다. 그리고 체감이 컸던 한국어 질의 응답의 수준이 3.5 대비 크게 향상되었습..

이슈 2023.03.21