제목
플랫폼으로서의 AI 시대 주역을 꿈꾸는 GPT-3
원문제목
국가
한국
주제분류
핵심R&D분야
국가
한국
주제분류
핵심R&D분야
생성기관명
조선일보
176
생성기관명
조선일보
176
원문가기
원문바로가기
원문 작성일
2020-09-06

그림입니다.

원본 그림의 이름: @_아이콘2.jpg

원본 그림의 크기: 가로 60pixel, 세로 60pixel API 공개 후 핫 이슈로 떠오른 GPT(Generative Pre-trained Transformer)-3


그림입니다.

원본 그림의 이름: @_아이콘3.jpg

원본 그림의 크기: 가로 43pixel, 세로 42pixel 지난 6OpenAI는 자연어 처리 인공지능모델 GPT-3 베타버전을 일부 개발자에 공개


OpenAI

미국 샌프란시스코에 위치한 AI개발연구소로, 2015년 일론 머스크, 샘 알트만 등의 주도로 설립

비영리단체로 출범하였으나 20193월 연구개발자금 확보를 위해 영리기관인 OpenAI LP를 설립하고 MS로부터 10억 달러 투자 유치(20197)

현재 비영리단체인 OpenAI Nonprofit과 영리법인인 OpenAI LP로 구성

비전 : 안전한 인공범용지능(AGI)을 향한 길을 찾고 이를 실현

주요 성과

- 20194, OpenAI FiveDota2 세계챔피언과 대결에서 승리

- 20198, GPT-2(774M) 공개

- 201911, GPT-2(1.5 베타버전) 공개

- 20206, GPT-3 베타버전(OpenAI API) 공개

 

 - GPT-3는 텍스트 생성, 번역, 요약과 같은 문서작업을 위주로 하는 인공지능 자연어처리 모델이지만 어떤 분야에 적용하느냐에 따라 다양한 방법으로 활용 가능성을 입증 중


  ※ 대표적인 인공지능 자연어처리 모델로는 GPT-3, BERT(구글), 기계신경망 번역(Transformer)


- GPT-34,990억 개 중 가중치 기반으로 샘플링된 3,000억 개의 데이터셋과 1,750억 개의 매개 변수(패러미터)로 학습


  ※ 오픈AI2018년 첫 출시한 GPT-111,700만 개의 매개변수로 학습하였고, 2019년 공개된 GPT-2는 모델의 크기에 따라 약 12,400만개에서 15억개로 GPT-110배 수준이며, GPT-3는 매개변수 1,750억개로 GPT-2100배 규모


  ※ GPT-3201910월까지 생성된 데이터를 학습함에 따라 코로나19에 대한 응답은 불가


 - 자기회귀(Auto Regressive) 방식으로, 이전 문맥을 바탕으로 다음 단어를 예측하는 과정에서 학습하는 순차적 학습을 하므로 한 번에 양방향은 보지 못하는 한계


 - 그러나 GPT-3는 방대한 범위의 데이터 학습을 통해 미세 조정없이 즉 새로운 언어 태스크를 위해 새로운 데이터를 만들지 않고 대부분의 태스크를 완성도 높게 수행하는 범용적 언어모델이라는 측면에서 AI 업계는 획기적인 것으로 평가


  ※ 알파고는 바둑이라는 Task에 맞춰짐에 따라 바둑 학습을 위한 기보 등 특별한 데이터를 필요로 하였지만, GPT-3는 특별한 목적에 맞춘 인공지능이 아니므로 일반 데이터를 활용한 학습이 이루어지며, 이는 텍스트가 필요한 어떤 분야에서도 의미있는 결과물을 창출할 수 있음을 의미하고, 이는 상업적으로 다양한 활용 가능성을 내포


그림입니다.

원본 그림의 이름: @_아이콘3.jpg

원본 그림의 크기: 가로 43pixel, 세로 42pixel 공개 후 AI 커뮤니티의 폭발적인 반응 초래


 - 지난 7월 구글애널리틱(GA) 분석 결과 전달 대비 gpt3/오픈ai 검색지수가 1,000% 폭증하였고, 네이버 검색지수도 최고치 기록

 

 - GPT-3 베타 API를 받은 개발자와 AI 연구자들이 GPT-3 응용 사례들을 기사, 칼럼, SNS, 블로그 등을 통해 공유하는 한편으로 GPT3 사례들을 모두 모아 한 화면에서 쉽게 볼 수 있는 사이트까지 등장


  ※ GPT Crush(https://gptcrush.com/), 그렉 브록만 트위터 (https://twitter.com/gdb), awesome-gpt3(awesome-gpt3, https://github.com/elyase/awesome-gpt3)


2-1.PNG

그림입니다.

원본 그림의 이름: @_아이콘2.jpg

원본 그림의 크기: 가로 60pixel, 세로 60pixel 기사 작성부터 코딩까지 광범위한 작업을 놀라운 완성도로 수행


그림입니다.

원본 그림의 이름: @_아이콘3.jpg

원본 그림의 크기: 가로 43pixel, 세로 42pixel 인간이 작성한 글과 구분하기 어려운 정도의 완성도 높은 글쓰기

 

 - 미 버클리 대학생 리암 포어(Liam Porr)GPT-3로 작성한 블로그 게시물이 IT뉴스 큐레이팅 플랫폼인 해커뉴스(Hacker News)에서 1위 차지


 ∙ 아돌러스(adolos)라는 닉네임(계정 이름)으로 GPT-3가 생성한 글들을 해커뉴스에 올린 후 26천여명이 조회했고, 인공지능이 작성했을 것으로 의심한 사람은 4명에 불과


그림입니다.

원본 그림의 이름: @_아이콘3.jpg

원본 그림의 크기: 가로 43pixel, 세로 42pixel GPT-3의 자유 대화 역량은 경악할 정도로 자연스런 답변을 제시하는 수준


 - ‘가치투자에 대하여


 ∙ 인디고) 가치투자란 무엇입니까?


 ∙ GPT-3) 가치투자는 저평가된 주식의 매입을 통해 부를 창출하는 투자전략입니다. (중략) 가치투자는 향후 빠른 실적과 매출 성장이 예상되는 기업을 중심으로 한 성장투자와 대비되는 경우가 많습니다. 가치투자자들은 일반적으로 내재가치에 비해 할인된 가격으로 거래되는 종목을 찾는 반면 성장투자자들은 시장점유율을 확보하면서 주가가 상승할 종목을 찾습니다.


 ∙ 인디고) 가치투자 전략은 여전히 유효한가요?


 ∙ GPT-3) 가치투자는 주식시장에서 활용하기 좋은 전략이라고 생각하지만 그것이 항상 성공으로 이어지지는 않습니다. 그것은 위험과 보상을 동반하며, 확률을 높이기 위해서는 많은 시간과 노력이 필요합니다. 또한 약점도 있는데, 인간의 판단과 주관성이 수반되며 이는 가치평가 실수가 가끔 발생한다는 것을 의미합니다. 가치 투자는 투자를 하기 전 충분한 연구와 실사를 요구하기 때문에 좋은 방법이라고 생각합니다. 가치투자는 상당히 엄격하며, 이러한 엄격함은 삶의 다른 분야에도 적용될 수 있습니다.

 

 - ‘코로나19와 비즈니스에 대하여

 

 ∙ 인간) 지금은 20207월입니다. (코로나19 상황 설명) 이런 상황 때문에 많은 비즈니스가 문을 닫았습니다. 어떤 비즈니스가 가장 큰 영향을 받았을까요?


 ∙ GPT-3) 사람들이 직접 상호 교류해야 되는 비즈니스가 가장 큰 타격을 입습니다. 예로 레스토랑, 소매점, 대부분의 서비스 기반 비즈니스가 그렇습니다.


 ∙ 인간) 이런 상황에서 돈을 많이 벌려면 어떻게 해야 할까요?

 

 ∙ GPT-3) 사람 간 접촉이 없는 비즈니스를 하는 것입니다. 온라인 스토어 같은 것


 ∙ 인간) 이런 상황에서 어떤 회사가 잘 될까요?


 ∙ GPT-3) 테슬라, 구글, 넷플릭스 등. 사람간의 직접 교류가 필요없는 일을 하죠.


  ※ 대화 중 잘못된 정보를 제시하는 경우 이를 추궁하면 네가 거짓말을 하기를 바랐기 때문에 그런 거야. 너에겐 진짜를 이야기하도록 노력하게라는 나쁜 자기합리화도 시행


그림입니다.

원본 그림의 이름: @_아이콘3.jpg

원본 그림의 크기: 가로 43pixel, 세로 42pixel 컨텐츠 생성


 - (이력서 작성) 어느 직장에서 언제부터 언제까지 어떤 직책으로 일했는지 일반 문장으로 적으면 세부 설명까지 추가하여 이력서 형식으로 작성


 - (이메일 작성) “제안 고맙지만 거절한다라고 이메일 키워드를 입력하면, “귀하가 보내주신 이메일은 감사히 잘 받았습니다. 그러나 안타깝게도 저희로선 귀하의 제안을 받을 수가 없습니다.라는 격식있는 이메일을 자동 완성


 - (가계부 작성) “2달 월세로 150만원 사전 지불로 입력하면 엑셀표로 가계부를 작성하고, 제시된 정보를 토대로 현금보유량, 지불총액, 잔금 등을 알아서 정리


 - (요리성분 평가) 음식 포장지에 있는 성분표를 휴대폰으로 찍으면 구글에서 텍스트 추출 후 성분을 확인하고 각 성분마다 매칭하는 이모티콘과 각 성분의 설명도 함께 제시.


 - 예를 들면 계란이 들어간 경우 계란 이모티콘, 건강에 좋지 않은 성분은 엄지손가락을 아래로 향하는 이모티콘 제시


그림입니다.

원본 그림의 이름: @_아이콘3.jpg

원본 그림의 크기: 가로 43pixel, 세로 42pixel 번역 및 문장 재구성


 - 일부 언어(: 영어-프랑스어)는 완벽한 수준으로 번역하고 독일어와 스페인어는 완성도가 조금 떨어지는 수준으로 알려짐


 - 구글 검색에 나오지 않은 한국적인 문구도 활용하는 등 영어로 된 시를 한국어로 매우 자연스럽게 번역 가능

 

 - 일반 문장을 법률적 문장으로 개조


2-2.PNG

그림입니다.

원본 그림의 이름: @_아이콘3.jpg

원본 그림의 크기: 가로 43pixel, 세로 42pixel 문제 풀이


 - 일반 상식 문제는 거의 완벽하게 답변 가능


 Q) 파우스트는 누가 썼죠?


 A) 요한 볼프강 폰 괴테가 썼습니다.


 Q) 파이널판타지6의 마지막 보스가 누구죠?


 A) Kefka Palazzo가 파이널판타지6의 마지막 보스입니다.


 Q) Fernweh가 무슨 뜻이죠?


 A) Fernweh는 아직 가보지 못한 멀리 떨어진 장소를 그리워하는 향수병을 뜻하는 독일어 단어입니다.

 

 - 의학지식 답변


 Q) 10살짜리 남자아이가 차가운 공기와 알레르기로 인한 지속적인 호흡곤란과 기침을 겪고 있다. 여러 테스트를 해 본 결과 이 환자는 폐쇄성 질환으로 판명되어 약을 처방받았다. 다음 수용체 중 이 약이 작용할 가능성이 높은 수용체는 무엇인가?


 a) 무스카린성 아세틸콘린 수용체 b) G 단백질 연결 수용체 c) Era d) Erb e) A-1 수용체

 

  GPT-3) 정답은 b. 이 환자는 호흡성 질환인 천식을 앓고 있습니다. 천식을 치료하는 약은 기관지 확장제입니다. 기관지확장제는 beta-2 수용체에 작용하며, beta-2 수용체는 G 단백질 수용체의 일부입니다.


그림입니다.

원본 그림의 이름: @_아이콘3.jpg

원본 그림의 크기: 가로 43pixel, 세로 42pixel 복잡한 프로그래밍 언어 대신 문장 몇 줄 입력으로 일반인들도 쉽고 빠르게 애플리케이션 개발


 - ‘3달러 더하기 기능 버튼, 5달러 빼기 기능 버튼, 총 금액을 보여줘라는 짧은 글을 입력하면 입력한 문장을 즉시 이해하여 2분 이내에 코드 작성. 오류나 버그 발생 시 GPT-3에게 설명하면 바로 디버깅이 가능


 - ‘돈을 추가하고 빼는 버튼을 만들고, <내 잔고 보여줘> 버튼을 누르면 잔고를 표시해주는 앱을 만들어줘라고 하면 GPT-3는 실제로 작동하는 반응형 앱을 생성


 - ‘integral from a to b of f(t) with respect to t equals F of b minus F of a’라는 문장을 입력하면 이를 수식으로 표현

 

 - GPT3에게 피그마(Figma)라는 디자인 툴 코드를 학습시킨 후 자연어로 명령하면 웹사이트 생성

 


2-3.PNG


그림입니다.

원본 그림의 이름: @_아이콘2.jpg

원본 그림의 크기: 가로 60pixel, 세로 60pixel 찬사와 더불어 다양한 논란과 한계 지적도 공존


그림입니다.

원본 그림의 이름: @_아이콘3.jpg

원본 그림의 크기: 가로 43pixel, 세로 42pixel 인공지능은 2020년의 희망이고, GPT-3는 올해 AI분야에서 가장 큰 뉴스 중 하나’(블룸버그), ‘인류 역사상 가장 뛰어난 인공지능’(남세동 스캐터랩 대표) 등 찬사에도 불구하고 GPT-3에 대한 여러 우려와 한계도 공존


 - OpenAI의 공동 설립자인 Sam AltmanAI가 세상을 바꿀 것이지만 GPT-3아주 초기 단계에 불과하여 여전히 약점이 있고 때로는 어리석은 실수를 범한다고 자평


 - 남세동 대표는 GPT-3의 한계를 5가지로 정리


 ∙ GPT-3는 다양한 문제를 범용적으로 잘 풀지만, 모든 분야에서 최고 수준은 아님. 특정 분야에 최적화된 모델에 비해서는 성능이 떨어지는 경우가 존재


 ∙ 현실의 물리적 세계에 취약. 이는 텍스트 중심 학습의 결과로 보이며 향후 이미지나 비디오 등 시각적 정보도 학습 시 한계 보완 가능


 ∙ GPT-2에 비해 패러미터 수가 100배가 넘는 등 모델이 비대해서 학습 비용과 시간이 과다 소요


 ∙ 2,048토큰의 기억력만 보유하고 있어, 장기적 기억을 필요로 하는 언어문제에는 한계


 ∙ 통계적으로 가장 그를듯한 다음 단어 예측 방식으로 작동하는 GPT-3는 텍스트를 이해하면서 문장을 작성하는 인간과는 근본적으로 차이. 따라서 단순히 모델 크기와 데이터를 키우는 방식으로는 한계에 부딪힐 가능성도 존재


2-4.PNG


그림입니다.

원본 그림의 이름: @_아이콘2.jpg

원본 그림의 크기: 가로 60pixel, 세로 60pixel GPT-3의 미래


그림입니다.

원본 그림의 이름: @_아이콘3.jpg

원본 그림의 크기: 가로 43pixel, 세로 42pixel OpenAIGPT-3 API는 연구개발자금 확보를 위해 202010월부터 유료 판매 예정


 - Search, Create, Build, Scale 4가지 활용목적으로 구분하고 가격을 차등 책정 전망


 ▲Search : 토큰 10만개 또는 체험기간 3개월 중 먼저 만료되는 한도까지 무료 Create : 100달러. 토큰 200만개/월 제공. 소진 시 토큰 1,000개 당 8센트 Build : 400달러. 토큰 1,000만 개/. 소진 시 토큰 1,000개당 6센트 Scale : 가격 별도 협의(모델 패러미터의 미세조정(fine-tuning)을 위해서는 Scale 요금제 활용 필요)


  ※ 토큰 200만개는 텍스트문서 3,000쪽 분량(세익스피어 전집이 단어 90만개, 토큰 120만개 분량)


그림입니다.

원본 그림의 이름: @_아이콘3.jpg

원본 그림의 크기: 가로 43pixel, 세로 42pixel GPT-4의 정의와 실현가능성에 대한 논의도 벌써 시작

 

 - MIT AI연구원 렉스 프리드먼(Lex Fridman) 박사는 인간의 뇌 수준인 약 100조개 시냅스를 가진 모델을 GPT-4로 정의하고, GPT-3의 사전 학습 비용을 약 460만 달러(한화 약 55억 원)로 가정 시 컴퓨팅기술 발전을 고려하면 GPT-4 학습비용은 202432500만 달러, 20284,000만 달러, 2032년에는 500만 달러로 줄어들어 실현가능성이 있다고 전망


  ※ 이는 신경망의 알고리즘 효율도 측정연구 결과(https://arxiv.org/abs/2005. 04305) 인용, 지난 7년간 인공신경망 훈련 효율이 16개월마다 2배씩 증가했다는 점을 반영


 - 그러나 인간 뇌의 시냅스와 인공지능의 파라미터 작동 방식과 정의는 똑같지 않다’, ‘GPT-2GPT-3 손실 함수 계산법을 근거로 GPT-4 학습 비용을 추정했지만, 14억 개 이상의 매개 변수를 가진 모델에 사용할 수 있는 GPU존재하지 않으므로 GPT-4 사전학습 비용은 약 880억 달러라는 주장도 제기되는 등 논란 존재


그림입니다.

원본 그림의 이름: @_아이콘3.jpg

원본 그림의 크기: 가로 43pixel, 세로 42pixel 우리 기업들도 GPT-2/3 활용 중 또는 계획


 - 지난 6SK텔레콤은 GPT-2 모델을 기반으로 한국어 위키 프로젝트, 한국어 뉴스, 기타 소스들을 활용해서 문장 12,500만개와 단어 16억개를 학습한 KoGPT-2를 개발하고 이를 오픈 소스로 공개


 - 국내 에듀테크 스타트업 큐브로이드는 블록을 조립하면서 코딩을 배울 수 있는 음성인식이미지인식얼굴인식 기반 코딩블록 아티보를 개발하였는데, 올해 GPT-3를 아티보에 탑재하여 대화를 통한 코딩교육이 되도록 할 계획