한국과학기술원(KAIST)이 AI 가속기의 성능을 향상시키는 핵심 GPU 기술을 개발했다.

KAIST는 최근 AI 가속기의 차세대 인터페이스 ‘CXL’의 속도 향상 기술을 개발했다고 8일 밝혔다.

AI 가속기는 특정 분야에서 AI의 연산 기능을 획기적으로 향상하는 시스템으로, 현재 미국 기업 엔비디아가 대부분의 기술을 보유하고 있다.

특히 최근 메모리 용량 증대에 효과적인 CXL 기술이 주목을 받으면서 AI 가속기의 중요성이 더욱 높아졌다.

다만 CXL은 처리 속도가 빠른 대신 대량의 GPU가 필요해 천문학적인 구축 비용이 들어간다는 문제점이 있다.

경제적인 한계를 극복하기 위해 최근 GPU에 대용량 메모리를 직접 연결하는 기술이 연구됐으나, 여전히 메모리 확장 장치의 성능이 저하되는 한계점이 존재했다.

AI 가속기용 GPU 기술을 개발한 KAIST 전기전자공학부 연구팀 [KAIST 제공]

이에 KAIST는 CXL-GPU 장치의 메모리 읽기·쓰기 성능이 저하되는 원인을 분석하고 문제를 개선하는 새로운 방법을 제안했다.

메모리 확장 장치가 메모리 쓰기 타이밍을 스스로 결정해 GPU가 메모리 쓰기 작업 완료를 기다리지 않고 연산을 병행할 수 있도록 설계한 것이다.

또 메모리 확장 장치가 GPU 연산 완료 전에 메모리 읽기를 수행하도록 해 읽기 속도도 높였다.

KAIST는 이번 연구를 실제 시스템에 도입한 결과 AI 서비스 속도가 기존보다 약 2.36배 향상됐다고 밝혔다.

KAIST 연구단장 정명수 교수는 "이번 연구는 CXL의 본격 활용 시기를 앞당겨 대규모 AI 서비스를 운영할 때의 메모리 확장 비용을 획기적으로 낮출 수 있을 것"이라고 말했다.