“서울에서 부산까지 가는 고속도로가 1차선밖에 없다고 상상해 보십시오.”
아무리 빠른 슈퍼카 수만 대를 도로에 올려보내도, 결국 목적지에 도착하려면 끝없는 교통체증을 견뎌야만 합니다.
컴퓨터의 두뇌(CPU)가 아무리 연산 속도를 높여도, 데이터를 보관하는 메모리 반도체가 데이터를 천천히 넘겨주면 전체 시스템이 느려지는 이치와 같습니다.
스마트폰이나 일반 PC에서는 이 1차선 도로로도 충분했습니다.
하지만 방대한 양의 데이터를 한 번에 집어삼키는 챗GPT 같은 인공지능(AI)이 등장하면서 상황이 완전히 달라졌습니다.
전자공학자들은 이 거대한 데이터 병목 현상을 해결하기 위해, 도로를 평면으로 넓히는 대신 아예 반도체 칩을 아파트처럼 수직으로 쌓아 올리는 새로운 해법을 꺼내 들었습니다.
이것이 최근 뉴스를 장식하는 HBM(고대역폭 메모리)의 탄생입니다.
수만 개의 엘리베이터를 뚫다, TSV 기술
칩을 위로 여러 장 쌓기만 한다고 데이터가 저절로 통하는 것은 아닙니다. 각 층의 칩들이 서로 데이터를 빠르고 원활하게 주고받아야 하죠.
과거에는 칩의 바깥쪽 가장자리에 미세한 금선을 연결해 데이터를 주고받았습니다. 아파트로 치면 건물 밖으로 나와서 비상계단으로 다른 층에 가는 격입니다. 당연히 데이터 이동 속도가 느릴 수밖에 없습니다.
이를 해결하기 위해 도입된 것이 TSV(Through Silicon Via, 실리콘 관통 전극)라는 패키징 기술입니다.
칩에 눈에 보이지 않는 미세한 구멍을 수만 개 뚫고, 그 속을 구리로 채워 칩들을 수직으로 직접 연결합니다.
각 층을 곧바로 연결하는 고속 엘리베이터를 건물 내부에 수만 개 설치한 셈입니다. 덕분에 데이터가 이동하는 길이 아주 짧아지고 넓어져 속도가 크게 높아집니다.
인공지능 시대의 필수품
챗GPT 같은 인공지능은 방대한 양의 데이터를 한 번에 학습하고 처리해야 합니다.
기존의 평면 메모리 반도체가 1차선 도로라면, HBM은 수만 대의 차가 동시에 달릴 수 있는 수십 차선의 거대한 고속도로와 같습니다.
데이터가 막히는 병목 현상 없이 인공지능 연산 장치(GPU)로 정보들을 빠르게 넘겨줄 수 있기 때문에, HBM은 현대 인공지능 시스템이 작동하기 위한 필수 부품이 되었습니다.
전자공학의 반도체 분야는 이제 선을 얇게 그리는 경쟁을 넘어, 칩을 어떻게 입체적으로 쌓고 포장(패키징)할 것인가를 연구하며 또 한 번 기술의 도약을 만들어내고 있습니다.
