티스토리 뷰

테크경제

가장 뛰어난 언어인공지능 GPT-3의 한계는 무엇일까?

§△⊙†♡, 2023. 3. 2. 21:33

인류 역사상 가장 뛰어난 언어 인공지능이라고 일컫는 OpenAI의 3세대인 GPT-3는 요즘 가장 떠오르는 대세이기도 하다. 요즘 인공지능 AI커뮤니티는 물론이거니와 일반인엑 세도 최고의 이슈이다 과연 한계는 무엇일까? 알아보도록 하자.

최근 AI 커뮤니티는 물론이거니와 일반인들 사이에서도 단연 최고의 이슈는 언어인공지능 GTP관련된 내용일 것이다. 특시 텍스트와 코드까지 작성하는 직관적이고 직설적인 내용들에게 대해서 서술하는 능력을 구성하고 갖추고 있다고 긍정적인 반응을 보여주고 있다.

놀라운 것은 이런 긍정적인 반응과 놀라운 결과를 보여주는 가운데 GTP는 아직까지 완성이 아닌 실험단계에 있다는 것이다. 여러 가지 다양한 스타일의 언어를 만들어 낼 수 있는 활용도 높은 유연한 능력을 가지고 있지만 여러 전문가들이 지적한 문제점 또한 있었다고 한다.

GPT가 워낙 다범위적으로 활용성 높은 언어 능력을 보여주기 때문에 처음 사용하는 유저들에게는 실제로 인간 수준의 AI가 머지않은 미래에 실생활에 사용할 수 있겠다는 의견이 나오고 있지만 전문가들은 다소 의견이 틀리다는 것이다.

모든 면에서 월등히 잘하는 것은 아니다.
GTP의 놀라운 점은 하나의 모델이 여러 문제를 다양한 시각적 범위로 풀어낸다는 의미로써 놀랍다는 것이며 그것이 질높은 수준의 대답으로 풀어내는 것은 아니라고 한다. GPT-3보다 더 업그레이드된 언어 모델이 나온다면 모든 문제에서 최고성능을 선보일 수 있을지도 모를 것이다.

실제상황의 물리적인 상식에 다소 부족하다
모든 이론과 세상을 글로 습득하는 인공지능이기에 직접 눈으로 보거나 경험해야 알 수 있는 것들과 관련된 지식들은 학습할 기회가 없는 인공지능으로써는 약점이라고 할 수 있다.단순히 텍스트뿐만 아니라 이미지나 비디오, 영상 등 시각, 3D, 4D 등 시각적인 정보도 혼용하여 습득하면 이런 문제들을 극복할 것으로 보이고 있다. 실제 로봇의 경우 세상을 경험하면서 학습할 수 도 있을 것이라고 한다. 글로 물리적인 세계에 관해 상당히 많은 데이터를 학습할 수 있다고 한다.

모델이 너무나 크다
GTP 는 현재 가장 큰 언어처리 모델로써 1750억 개의 파라미터라고 한다. 구글의 T5나 마이크로소프트의 튜링 NLG보다도 10배 이상 크다. 이런 많은 파라미터는 높은 성능을 자랑하는 대신 학습이나 활용면에 있어서 단점이 부각될 수 도 있기 마련이다. 모델이 크다는 것은 그만큼 시간과 비용은 정비례하게 된다. 정확히 추산할 수는 없겠지만 대략 50억 원 정도가 소요되는 것으로 추정된다고 한다. 이는 단순히 최종 모델을 학습시키는 데만 드는 비용을 계산한 것이고 그 과정 속에서 부가적으로 드는 비용들을 계산한다면 그 환산가치는 어마어마할 것이다.
모델을 서버에 올려놓고 사용할 때마다 부가되는 시간과 비용 또한 만만치 않을 것이다.
물론 시간이 흐름에 따라 재학습시간이 증가함에 따라 학습 비용이 줄어줄 수는 있겠지만 시간이 얼마나 추산될지에 관해서는 현재로서는 추정되지 않을 수도 있다.

GTP의 트랜스포머 구조에는 기억이라는 개념이 없다고 한다. 문맥을 입력하고 출력을 얻는 구조.
입력을 넣어줄 요소가 필요하겠지만 문제를 어떻게 풀어갈 것인지 구조적인 한계가 있을 것이라고 예상된다.

엄청난 양의 텍스트로 단어를 예측하는 방법으로 학습하는 것에 대한 한계
사람은 학습을 할 때의 방식과 GTP의 학습방법은 매우 다르다. 물론 GTP는 인공지능이기 때문에 사람과는 다른 구조라서 그럴 수 있지만 이런 단순구조의 단어를 예측하는 방법으로 하는 학습에 한계는 없을까 하는 의문이 들곤 한다.