 |
(커넥트 데일리=장산곶매 칼람니스트) 2000년대 초반, 텍스트마이닝을 연구하던 시절의 이야기다. 그때 나는 언어모델에 분명한 한계가 있다고 꽤나 확신했다. 단어의 빈도를 세고 규칙을 짜맞추는 방식으로는 인간 언어의 복잡하고 미묘한 맥락을 영원히 이해할 수 없을 것 같았다. 특히 한글은 더 그랬다. 조사가 붙고 어미가 변하고 띄어쓰기 하나로 의미가 달라지는 이 언어를, 통계로 다루는 데는 구조적인 벽이 있어 보였다.
그런데 그 예측은 보기 좋게 빗나갔다. 스케일링 법칙이 모든 것을 뒤집어 놓았다. 2020년 OpenAI의 연구가 보여준 것처럼, 모델 크기와 데이터, 연산량을 키우면 성능이 예측 가능하게 좋아진다는 사실이 실증되면서, 업계 전체가 모델을 키우는 방향으로 달려가기 시작했다. 그렇게 커진 모델들은 한글이든 영어든 상관없이, 예전 같으면 상상도 못 했을 수준의 언어 이해를 보여주기 시작했다.
이 대목에서 꼭 짚고 넘어가야 할 게 있다. 흔히 이걸 "모델이 어느 순간 스스로 맥락을 추론하는 창발적 능력을 갖게 됐다"는 극적인 서사로 이야기한다. 그런데 2023년 스탠퍼드 연구진은 이 "창발"이라는 현상 자체가 사실은 측정 방식이 만든 착시일 수 있다는 논문을 냈다. 불연속적인 평가 지표를 쓰니 급격한 도약처럼 보였을 뿐, 연속적인 지표로 다시 재보면 그냥 점진적인 향상이었다는 것이다.
이 얘기를 굳이 초반부터 꺼내는 이유가 있다. 화려한 주장일수록 한 번 더 의심해봐야 한다는 것, 이게 앞으로 이어질 세 편을 관통하는 태도이기 때문이다.
💬 "그때는 진짜 그렇게 될 줄 몰랐다면서, 그럼 지금 우리가 지오FM에 대해 하는 예측도 또 틀리는 거 아니야?"
정확한 지적이다. 그래서 이 연재는 "이렇게 될 것이다"라고 장담하는 대신, 지금 시점에 정확히 무엇을 알고 무엇을 모르는지부터 짚고 가려 한다. 예측이 틀리는 건 어쩔 수 없어도, 무엇을 모르는지조차 모른 채 틀리는 것과 알고도 신중하게 틀리는 건 다르니까.
파운데이션 모델의 진짜 정체
언어모델의 성공을 목도한 지금, 세상은 온통 '지오 파운데이션 모델'에 대한 기대로 부풀어 있다. 공간정보 분야에서도 거대한 AI 하나가 등장해 자율주행부터 도시계획까지 모든 걸 해결해줄 거라는 막연한 기대감이다.
이 환상을 걷어내려면 '파운데이션 모델'이 정확히 무엇인지부터 짚어야 한다. 파운데이션 모델은 누군가 그려낸 '설계도(아키텍처)'가 아니다. 거대한 데이터와 막대한 연산량을 동원해 "다음에 올 것은 무엇인가"라는 질문을 수십억 번 반복해서 풀며 얻어낸, 실제로 학습된 '가중치'의 덩어리다.
비유하자면, 도면 위에 그려진 청사진이 아니라 수많은 벽돌과 시멘트가 실제로 굳어져 완성된 건물 그 자체다.
💬 "그럼 챗지피티랑 지금 내가 쓰는 거(Claude)랑 똑같은 거 아니야?"
둘 다 Transformer라는 같은 설계도를 쓴다는 점에서는 사촌뻘이지만, 완전히 다른 건물이다. 학습한 데이터, 학습 방식, 그 위에 어떤 원칙을 얹었는지가 회사마다 다르기 때문이다. 같은 설계도로 지었다고 같은 집이 되는 게 아니듯, "같은 구조를 쓴다"는 게 "같은 모델"이라는 뜻은 아니다.
이 구분이 중요한 이유는, 앞으로 이야기할 지오 파운데이션 모델도 마찬가지이기 때문이다. 그건 하나의 마법 같은 설계도가 아니라, 공간정보라는 특정 데이터를 가지고 누군가 실제로 학습시켜야 완성되는 결과물이다. 그리고 그 결과물이 얼마나 쓸모 있을지는 설계도의 화려함이 아니라 무엇을 가지고 어떻게 학습시켰는지에 달려 있다.
숫자 하나 더한다고 하늘을 이해하는 것은 아니다
그럼 핵심 질문을 던져보자. 언어 데이터를 쏟아부어 성공했던 그 방식을, 공간정보에도 그대로 가져다 쓰면 마법이 일어날까?
현재 일부에서 진행되는 이른바 '3D 공간 AI'의 접근법을 보면 신중해질 필요가 있다. 평면적인 2D 지도 모델에 단순히 Z축(높이) 숫자만 슬롯 하나 파서 끼워 넣고는 3D 모델이라 부르는 경우가 많다.
이건 엑셀 표에 '고도 50m'라는 숫자를 하나 더 적어 넣은 것과 다르지 않다. AI가 '공역(하늘)'이라는 물리적 부피를 이해하게 된 게 아니다. 언어모델이 글자의 나열 속에서 맥락을 파악하듯, 공간 모델은 텅 빈 하늘과 단단한 땅이 맺는 입체적인 관계를 직관적으로 파악해야 한다. 옆으로 도는 것과 아래로 떨어지는 것이 완전히 다른 사태라는 걸 우리는 몸으로 안다. Z축 숫자 하나 추가한다고 AI가 그 중력의 방향성을 저절로 깨우칠 리 없다.
그래서, 공간은 언어와 다르다
텍스트마이닝 시절 나의 예측이 빗나갔던 이유는, 언어 데이터가 가진 '순차성'이라는 강력하고 지배적인 단일 구조를 AI가 상당 부분 학습해 냈기 때문이다.
하지만 공간정보에는 언어만큼 지배적인 단일 구조가 없다. 드론이 날아다니는 3차원 하늘과, 자동차가 달리는 2차원 도로망은 그 생김새 자체가 근본적으로 다르다. 이 다름을 무시하고 언어모델의 성공 공식을 그대로 복사해 붙여넣으려 한다면, 우리는 또다시 화려하게 빗나간 예측 성적표를 받아 들게 될 것이다.
언어와 다르게 생겼다면, 다르게 지어야 한다. 그 '다르게 짓는 법'에 대한 이야기를 2편에서 본격적으로 풀어보려 한다.
