SK텔레콤과 엔비디아, 리벨리온은 이런 방식으로 작동하는 인공지능(AI) 시스템을 공동 개발하기로 했다.
과학기술정보통신부 협약 체결 지원 속에, 3사는 지난 9일 서울 코엑스에서 열린 ‘엔비디아 AI 데이 서울’에서 업무협약을 체결했다.
3사는 엔비디아의 반도체 연결 기술인 ‘NVLink Fusion’을 이용해 리벨리온이 개발 중인 NPU ‘Rebel R200’을 엔비디아 플랫폼에 연결한다.
여기에 엔비디아의 서버 랙 설계 규격인 ‘MGX’를 적용해 두 종류의 칩이 데이터를 주고받으며 작동하는 서버 시스템을 개발할 계획이다.
이번 협력의 핵심은 학습을 마친 AI 모델이 답을 내놓는 추론 과정을 둘로 나누는 데 있다.
GPU는 사용자가 입력한 질문과 문맥을 처리하는 ‘프리필’을 맡는다. NPU는 그 결과를 받아 문장의 구성 단위인 토큰을 차례로 생성하는 ‘디코드’를 맡는다.
질문을 처음 처리할 때는 한꺼번에 수행할 계산이 많고, 답변을 이어 쓸 때는 메모리에서 필요한 데이터를 빠르게 불러오는 능력이 중요하다.
3사는 이 차이를 활용해 처리 속도와 전력 효율을 높이려 한다.
SK텔레콤은 통합 시스템을 자사 AI 데이터센터에 도입해 성능과 안정성을 검증하고, 실제 서비스에 적용할 수 있는지 살필 예정이다.
검증의 관건은 칩 사이에서 데이터를 주고받는 시간까지 포함해 응답이 빨라지는지, 같은 양의 요청을 처리하는 데 전력이 얼마나 드는지다.
국산 NPU가 기존 엔비디아 기반 시설에서 안정적으로 작동한다면 데이터센터 운영사는 서비스에 필요한 일부 연산부터 국산 칩을 도입할 수 있다.
댓글
(0)