AMD가 산 회사가 증명한 것, 내 PC에서도 똑같이 벌어지고 있었습니다

지난주에 AMD가 Taalas라는 회사를 인수했습니다. 2026년 8월 6일 발표였어요.

토론토에 있는 2023년 설립 회사고, 하는 일은 좀 특이합니다. AI 모델을 칩에 새겨넣습니다.

처음 봤을 때는 무슨 소린가 싶었는데, 바로 전날 제 컴퓨터에서 겪은 일이랑 정확히 같은 이야기더라고요. 그래서 정리해봤습니다.

먼저 제 컴퓨터에서 있었던 일

RTX 5060 Ti 16GB를 씁니다. 로컬에서 LLM을 돌리는데 두 달째 너무 느렸어요. 응답이 120초를 넘겨서 타임아웃이 나기 일쑤였습니다.

그래서 계속 더 좋은 모델을 찾아다녔습니다. 새로 나온 27B도 받아보고, 1비트 양자화 모델도 찾아보고요.

전부 헛수고였습니다. 문제는 모델이 아니었어요.

nvidia-smi로 실제 VRAM을 찍어보니 이랬습니다.

사용 11,644 MiB / 여유 4,409 MiB

16GB 중 11.6GB가 이미 점유돼 있었습니다. 안 쓰는 프로세스들이 물고 있었어요. 그걸 정리했습니다.

정리 후: 사용 1,586 MiB / 여유 14,467 MiB

그리고 똑같은 모델을 다시 돌렸습니다.

모델	정리 전	정리 후
qwen3:14b	120초 타임아웃	8초 (40.9 tok/s)
gemma3:12b	120초 타임아웃	6초

모델도 그대로, GPU도 그대로, 연산 성능도 그대로입니다. 바뀐 건 가중치가 어디 놓이느냐뿐이었습니다.

여기서 배운 것

GPU가 느린 게 아니었습니다. 가중치를 GPU 안에 못 넣어서 느린 거였어요.

모델이 VRAM에 다 안 들어가면 나머지는 시스템 메모리에 남습니다. 토큰 하나 만들 때마다 그걸 다시 끌어와야 하고, 그 왕복이 전체 속도를 결정합니다. 연산 유닛은 대부분 놀고 있습니다.

즉 병목은 계산이 아니라 메모리 이동입니다.

AMD가 산 회사가 이 문제를 정면으로 없앴습니다

Taalas가 만드는 건 MSIC(model-specific integrated circuit)입니다. 칩 구조가 이렇습니다.

• 마스크 ROM 영역: 모델 가중치를 여기 각인합니다
• SRAM 영역: KV 캐시와 파인튜닝 어댑터만 둡니다

가중치가 칩 안에 새겨져 있으니 외부 메모리에서 불러올 일이 없습니다. 제가 어제 겪은 그 왕복이 아예 사라집니다.

HC1이라는 테스트 칩 수치가 이렇게 나왔습니다. 2026년 2월 발표 기준입니다.

• Llama 3.1 8B를 초당 16,960 토큰
• 당시 엔비디아 GPU 대비 48배
• Cerebras 대비 8.5배

제 5060 Ti가 14B 모델로 40.9 tok/s였습니다. 규모도 조건도 다르지만, 자릿수가 세 개 차이납니다.

HBM을 안 쓴다는 게 핵심입니다

이 방식의 진짜 의미는 속도 숫자가 아니라 HBM 의존을 끊었다는 것입니다.

지금 AI 가속기는 전부 고대역폭 메모리(HBM)에 매달려 있습니다. 가중치를 빨리 끌어와야 하니까요. HBM이 비싸고 물량이 달리는 이유가 그겁니다.

그런데 가중치를 칩에 새겨버리면 그 수요 자체가 없어집니다. AMD 발표문에도 “범용 아키텍처의 연산·메모리 병목을 크게 줄인다”고 적혀 있습니다.

AMD는 이걸 Instinct GPU와 묶어서 시스템 단위로 팔겠다고 했습니다. AI 그룹 총괄인 Vamsi Boppana는 “차별화된 추론 성능과 효율”이라고 표현했고요.

단점도 분명합니다

칩이 특정 모델에 고정됩니다. Llama 3.1 8B용 칩은 그 모델만 돌립니다.

모델이 몇 달마다 갈아엎히는 요즘 이건 치명적으로 보입니다. 다만 완전히 새로 만들 필요는 없고 금속 두 개 층만 바꾸면 된다고 합니다.

그리고 인수가는 공개되지 않았습니다. 규제 승인도 남아 있고요. HC1은 테스트 칩이지 양산 제품이 아닙니다. 수치를 그대로 믿기엔 이릅니다.

정리하면

제가 어제 책상에서 확인한 것과 AMD가 회사를 사면서 확인한 게 같은 문장입니다.

“AI 추론에서 진짜 비용은 계산이 아니라 가중치를 옮기는 데 든다.”

저는 프로세스 세 개 끄는 걸로 15배를 얻었습니다. AMD는 그 이동을 아예 없애는 회사를 샀습니다. 규모만 다르지 방향이 같습니다.

로컬에서 모델 돌리시는 분이라면 새 모델 찾기 전에 nvidia-smi부터 쳐보세요. 저처럼 두 달 헤매지 마시고요.

---

출처

• AMD 공식 발표: https://ir.amd.com/news-events/press-releases/detail/1296/amd-acquires-taalas-to-advance-compute-solutions-for-rapidly-growing-ai-inference-market
• The Register 기술 해설: https://www.theregister.com/systems/2026/08/06/amd-acquires-ai-chip-startup-taalas-to-boost-inference-performance-by-etching-models-into-silicon/5284344

VRAM 수치는 2026년 8월 19일 제 RTX 5060 Ti 16GB에서 nvidia-smi로 측정한 값입니다.