• ChatGPT
• 샘알트먼
• OpenAI
• LLM

ChatGPT 에 미래는 있는가?

ChatGPT 4 가 출시된지 1년이 다되어가는 이 시점에서, 샘 알트먼이 9천조 드립을 칠 정도로 LLM 의 미래가 밝은지에 대해서 한번 이야기해보고자 한다. AI 에 급격하게 돈이 몰리고 있는 덕분에 투자도 집중적으로 이루어지고 있는데 이 부분에 대한 반성이 필요하다고 생각한다.  기술과 프로덕트 라는 두 관점에서 이야기해보고 싶다. 1. 기술 LLM 은 기본적으로 1) 수 많은 텍스트 컨텐츠를 학습하여 2) 질문에 맞는 답변을 통계학적으로 그럴싸한 거짓말을 만들어내는 것이다. 때문에 헐루시네이션은 버그라기 보다는 기능에 가깝고, 이를 제한하면 오히려 성능이 떨어질 수 있다. 모델을 만든 뒤에 추가 학습이 불가능하다는 점 또한 미래를 암울하게 한다. 이를 부분적으로 해결하기 위해 Embedding 을 사용하지만, 이 역시 메모리의 한계를 가지고 있으니 근본적인 문제 해결이라고 보긴 어려울 것 같다. 2. 프로덕트 관점 GPT4 의 학습비용이 약 3조에 달하는 것으로 추정되고 있는데, 엄청난 돈을 쏟아 부어도 모델을 만든 이후 추가 학습도 어렵고, 성능을 위해서 계속해서 더 많은 돈을 태워 학습을 하는 수 밖에 없다. 칩의 개선을 통해 당연히 학습 성능이 점점 나아지겠지만, 사람들의 요구사항은 커질테고, 다른 AI 와의 경쟁도 심해질것이니 가격 압박도 무시하지 못할 일이다. 이에 반해 컨텐츠 업계들은 본격적으로 AI 봇의 접근을 막고 있다. 결국 OpenAI 가 증명한 것은 엄청난 데이터를 LLM 에 쏟아부으면 그럴듯한 답변을 하더라 이건데, 앞으로 데이터 크롤링은 더 큰 비용을 요구할 것이고, 법적 문제에서도 여러 소송에 휘말릴 수 있다. AI 가 만든 컨텐츠를 학습하면 더 성능이 떨어지다보니, 더 좋은 모델을 만들기위한 비용이 지속적으로 상승할 것은 주지의 사실이다. --- 어쨌든 앞으로도 수십조원 이상이 ChatGPT 성능을 개선하기 위해 들어가고 있다. 그런데 그 결과로 우리가 갖게될 부가가치가 얼마가 되는지도 고민해 볼 일이다. ChatGPT 가 어떤 산업을 바꾸고 있을까? B2C 에서의 ChatGPT 의 활용성은 초기의 기대에 비해 점차 축소되고 있는게 사실이고, (성능 자체도 줄어들고 있는 "기분"이 든다) B2B 에서도 전화 상담과 같은 분야에서 크게 비용을 절감했다는 부분을 제외하고는 별다른 소식이 들려오지 않는다. 게임 같은 곳에 활용하자니 비용 부분이 너무 큰 부담이고, (막상 게임과 같은 폐쇄된 경험을 제공하는 컨텐츠에 LLM 이 맞는지도 모르겠지만) 경량 모델들을 게임에 탑재(?)하자니 성능이 너무 떨어져서, 실험적인 게임을 제외하고는 크게 활용되지 않는 것이 현실이다. ChatGPT 를 유료로 1년 넘게 사용하고 있지만, 점점 더 활용도는 축소되고 있다. LLM 의 한계는 명확해 보이고, 이걸 근본적으로 개선하기 상당히 어려워 보인다. LLM 보다는 새로운 모델을 개발하는데 노력해야 할 것 같다.

Fortune

Sam Altman’s $7 trillion AI chip dream has him rounding on critics: ‘You can grind to help secure our collective future or you can write Substacks about why we are going [to] fail’