오픈AI의 GPT-6 Astra와 관련된 자료를 보다가, 한 가지 재미있는 생각이 들었습니다. AI가 발전할수록 오히려 '메모리'의 중요성이 더 커지는 것 아닐까 하는 생각입니다. 그리고 이 변화는 결국 삼성전자와 SK하이닉스 같은 메모리 반도체 기업에게 상당히 중요한 흐름이 될 수도 있습니다.
Astra가 나오면서 벌써부터 이것이 AGI냐 아니냐를 두고 말이 많습니다. 다만 저는 지금 당장 AGI인지 아닌지를 정의하는 것보다 더 중요한 것이 있다고 생각합니다. AI가 어느 방향으로 진화하고 있는가입니다.
1. AI는 '대답하는 기계'에서 '일하는 기계'로 바뀌고 있다
지금까지 우리가 쓰던 AI는 기본적으로 질문에 답하는 도구에 가까웠습니다. 질문을 하면 답을 하고, 코드를 요청하면 코드를 만들고, 글을 써달라고 하면 글을 써줬습니다.
그런데 최근 AI의 진화 방향은 조금 다릅니다. 사람이 하나하나 명령하지 않아도, AI가 스스로 계획을 세우고, 필요한 정보를 찾고, 도구를 사용하고, 결과를 확인하고, 잘못됐으면 수정하면서 하나의 일을 끝까지 수행하는 방향으로 가고 있습니다. 이른바 에이전트형 AI(agentic AI)입니다.
GPT-6 Astra 역시 이 방향성을 강하게 보여줍니다. 오픈AI는 Astra를 단순한 챗봇이 아니라, 복잡한 여러 단계의 업무를 처음부터 끝까지 수행할 수 있는 모델로 설명합니다. 실제로 코딩·컴퓨터 사용·연구·문서 작성 같은 긴 작업에 초점을 맞췄고, 오래 걸리는 작업을 위한 비동기 도구 호출(async tool calling) 같은 기능도 담겼습니다.
결국 AI의 경쟁은 "누가 질문에 더 똑똑하게 답하느냐"에서 "누가 더 오랫동안 인간 대신 일을 할 수 있느냐"로 이동하고 있는 것 같습니다. 그리고 여기서 중요한 문제가 하나 생깁니다. 오랫동안 일하려면, 기억해야 합니다.
2. AI가 오래 일할수록 기억해야 할 것도 많아진다
사람도 마찬가지입니다. 몇 분짜리 간단한 일을 할 때는 많은 것을 기억할 필요가 없습니다. 하지만 몇 시간, 며칠에 걸친 프로젝트를 수행하려면 이야기가 달라집니다. 처음에 어떤 지시를 받았는지, 무슨 자료를 읽었는지, 어떤 판단을 했는지, 중간에 무엇이 바뀌었는지, 앞으로 무엇을 해야 하는지를 계속 기억해야 합니다.
AI도 똑같습니다. 그래서 최근 AI 모델에서 맥락 창(Context Window)이 중요해지고 있습니다. GPT-6 Astra의 API 맥락 창은 약 105만 토큰에 이릅니다. 단순히 숫자만 큰 것도 아닙니다. 오픈AI는 Astra가 긴 맥락에서도 필요한 정보를 제대로 찾아내는 능력을 높게 유지했다고 설명합니다.
즉 더 많은 정보를 집어넣는 것뿐 아니라, 그 많은 정보 속에서 필요한 것을 제대로 찾아내는 능력까지 좋아지고 있는 것입니다. 저는 여기서 재미있는 투자 아이디어가 하나 생긴다고 생각합니다.
3. AI의 '기억'은 공짜가 아니다
AI가 기억해야 하는 정보가 늘어나면, 실제 컴퓨팅 인프라에서도 그 데이터를 어딘가에 저장해야 합니다. 대표적인 것이 KV 캐시(KV Cache)입니다. LLM이 이미 계산한 정보를 계속 다시 계산하지 않도록 중간 결과를 저장해두는, 일종의 작업 기억입니다.
대화가 길어지고, 추론 과정이 길어지고, 동시에 수많은 AI 에이전트가 움직이면, KV 캐시의 크기도 빠르게 커집니다. 맥락 창이 길어질수록 KV 캐시도 함께 커지고, 수많은 에이전트가 동시에 더 긴 작업을 수행할수록 전체 메모리 부담은 빠르게 증가합니다.
엔비디아도 이 문제를 정면으로 다뤘습니다. 젠슨 황 CEO는 올해 6월 GTC 타이베이에서, 메모리 시스템을 AI 인프라에서 가장 어려운 부분 중 하나로 꼽았습니다. 에이전트의 작업 기억을 담는 KV 캐시를 어떻게 관리하고, 필요한 데이터를 어떻게 빠르게 꺼내오느냐가 점점 중요해진다는 것입니다.
여기서 등장한 표현이 바로 '메모리 월(Memory Wall)'입니다. AI의 연산 능력만 높인다고 모든 문제가 풀리는 것이 아니라, 계산에 필요한 데이터를 얼마나 많이 저장할 수 있는지, 그리고 그 데이터를 GPU에 얼마나 빠르게 공급할 수 있는지가 점점 중요해진다는 뜻입니다.
4. 그래서 HBM이 중요해졌다
AI 반도체 이야기에서 HBM이 빠지지 않는 이유도 여기에 있습니다. GPU의 연산 성능이 아무리 빨라도, 필요한 데이터를 제때 공급하지 못하면 GPU는 기다려야 합니다. 그래서 AI 시대에는 메모리의 용량뿐 아니라 대역폭이 중요합니다.
SK하이닉스 역시 지난 3월 GTC 2026에서 LLM 추론의 핵심 제약으로 메모리 대역폭(memory bandwidth)과 용량(memory capacity)을 직접 지목하며, HBM4를 이를 해결할 핵심 제품으로 제시했습니다. 그런데 저는 여기서 한 단계 더 생각해볼 필요가 있다고 봅니다. 에이전트형 AI 시대의 수혜가 정말 HBM 하나로 끝날까요? 아마 그렇지 않을 가능성이 높습니다.
5. HBM → DRAM → NAND
AI가 기억해야 하는 데이터가 계속 커지면, 모든 데이터를 비싼 HBM에 넣어둘 수는 없습니다. 결국 데이터의 중요도와 사용 빈도에 따라, 여러 종류의 메모리에 나눠 저장하는 구조가 필요해집니다.
GPU 바로 옆에서 지금 당장 필요한 데이터는 HBM에, 서버에서 필요한 데이터는 DRAM에, 더 크고 장기적인 맥락이나 데이터는 SSD와 낸드(NAND)에 저장하는 식입니다. 쉽게 말하면 AI에도 '메모리 계층(Memory Hierarchy)'이 만들어지는 것입니다.
실제로 이 흐름은 이미 제품으로 나타나고 있습니다. 엔비디아는 KV 캐시를 HBM에만 두지 않고, 덜 급한 데이터를 CPU 메모리나 SSD로 넘기는(오프로딩) 구조를 만들고 있고, SK하이닉스는 낸드 기반으로 이 계층을 확장하는 고대역폭 플래시(High Bandwidth Flash)를 샌디스크와 함께 개발하고 있습니다. AI 시스템의 경쟁력이 이제 프로세서의 연산 성능뿐 아니라, 대규모 데이터를 얼마나 효율적으로 저장하고 AI 가속기에 전달할 수 있느냐에 의해 결정되고 있는 것입니다.
이 이야기는 꽤 중요합니다. AI 투자 사이클의 메모리 수혜가 HBM만의 이야기가 아닐 수도 있기 때문입니다. HBM뿐 아니라 서버용 DRAM, 그리고 고성능 SSD와 낸드까지, AI 인프라 전체의 메모리 사용량이 구조적으로 증가할 가능성이 있습니다.
6. AGI 시대에 필요한 것은 GPU만이 아닐지도 모른다
지금까지 AI 투자 사이클의 중심에는 GPU가 있었습니다. 당연합니다. AI가 더 똑똑해지려면 엄청난 연산 능력이 필요했고, 그 중심에 엔비디아가 있었습니다.
하지만 AI가 다음 단계로 넘어가면 이야기가 조금 달라질 수도 있습니다. AI가 단순히 더 똑똑해지는 것을 넘어, 더 오래 생각하고, 더 오래 일하고, 더 많은 정보를 기억하기 시작하기 때문입니다. AI 하나가 몇 초 동안 답하는 것이 아니라 몇 시간 동안 일을 하고, 수많은 AI 에이전트가 동시에 움직이고, 각 에이전트가 수십만에서 수백만 토큰의 맥락을 사용한다면, 필요한 메모리의 절대량도 지금과는 달라질 수 있습니다.
그래서 저는 Astra에서 가장 흥미롭게 본 것이 벤치마크 점수가 아닙니다. AI가 점점 더 오래 일하는 방향으로 진화하고 있다는 점입니다. 그리고 오래 일하려면, 결국 기억해야 합니다.
앞서 저는 다른 글에서 AI 투자가 전 세계의 자본을 빨아들이고 있다는 이야기를 한 적이 있습니다. 그 막대한 AI 인프라 투자가 확대될수록 GPU뿐 아니라 그 뒤를 받치는 메모리 계층에도 더 많은 자본이 들어갈 수밖에 없습니다. 결국 AI가 처리하는 데이터의 흐름이 커질수록, 그 데이터를 담고 옮기는 메모리의 흐름도 함께 커지는 것입니다.
7. 결국 다시 삼성전자와 SK하이닉스
한국 투자자 입장에서는 여기서 자연스럽게 두 회사가 떠오릅니다. 삼성전자와 SK하이닉스입니다.
지금 시장은 두 회사를 볼 때 HBM 점유율이나 엔비디아 공급 여부에 굉장히 민감하게 반응합니다. 물론 중요합니다. 하지만 조금 더 긴 시계열에서 보면 더 큰 변화가 있을 수도 있습니다. AI가 에이전트형으로 진화하면서, 메모리 수요의 중심이 HBM이라는 하나의 제품에서 AI 시스템 전체의 메모리 계층으로 확대되는 것입니다.
다만 두 회사가 이 흐름에서 서 있는 자리는 조금 다릅니다. SK하이닉스는 현재 HBM 시장의 선두주자로서 가장 직접적인 수혜를 받고 있고, HBM과 SSD 사이의 새로운 계층을 노리는 고대역폭 플래시(HBF)까지 확장하고 있습니다. 반면 삼성전자는 HBM뿐 아니라 서버용 DRAM과 낸드, 엔터프라이즈 SSD까지 메모리 계층 전반에 걸쳐 사업을 가지고 있다는 점이 특징입니다.
결국 에이전트형 AI가 만드는 메모리 수요가 HBM에서 DRAM과 낸드까지 확장된다면, 시장이 두 회사를 평가하는 기준 역시 지금보다 넓어질 가능성이 있습니다. 단순히 "HBM을 얼마나 많이 파느냐"만 볼 것이 아니라, "AI 시대에 필요한 메모리의 총량이 얼마나 커질 것이냐"를 함께 봐야 하는 것 아닐까요.
맺으며
저는 GPT-6 Astra를 보면서 오히려 이 생각이 더 강해졌습니다. AGI가 언제 오는지는 모르겠습니다. Astra가 AGI인지 아닌지도 지금 당장은 중요하지 않을 수 있습니다. 하지만 한 가지 방향은 점점 명확해지고 있습니다. AI는 인간 대신 더 오래 생각하고, 더 오래 일하고, 더 많은 것을 기억하는 방향으로 발전하고 있습니다.
그렇다면 AI 인프라의 경쟁 역시 연산 성능(FLOPS) 경쟁에서, 연산 성능과 메모리를 함께 겨루는 경쟁으로 이동할 가능성이 높습니다. 지난 AI 사이클에서 시장의 관심이 GPU에 집중됐다면, 다음 사이클에서는 GPU 뒤에 붙어 있는 '메모리'의 가치가 지금보다 훨씬 중요해질지도 모릅니다.
어쩌면 AGI 시대는, GPU의 시대인 동시에 메모리의 시대일지도 모르겠습니다.
※ 본 글의 제품·기술 사양과 발표 내용은 2026년 9월 5일 시점의 공개 자료를 기준으로 하며, 이후 달라질 수 있습니다.
※ 본 글은 정보 공유를 위한 것이며, 특정 자산에 대한 매수·매도 권유가 아닙니다.