BC카드가 고성능 그래픽처리장치(GPU)뿐만 아니라 일반 PC급 GPU에서도 대규모언어모델(LLM)을 사용할 수 있는 기술을 완성했다.

최근 인공지능(AI) 모델의 성능은 유지하면서도 모델의 용량과 연산 부담을 줄이는 경량화 기술이 주목받는 가운데, BC카드는 양자화 기술로 모델 용량을 69% 줄여 고성능 서버 없이 자체 인프라만으로 AI 서비스 운영을 가능하게 했다.

동시에 한국어 처리 속도도 3배 가까이 빨라지고 응답 시간도 단축돼 GPU 한 대에서 처리 가능한 업무량은 증가했다.

BC카드는 AI 모델이 사용하는 용량을 줄이면서 업무 처리 속도는 3배 가까이 향상시킨 기술을 개발 및 적용 완료했다고 8월19일 밝혔다.

최근 AI 업계에서는 모델 성능을 유지하면서 크기와 연산 부담을 줄이는 'AI 경량화' 기술의 중요성이 높아지고 있는 추세다. 같은 장비라도 보다 빠르고 많은 요청을 처리할 수 있어 GPU 추가 없이 기존 AI 인프라의 활용도를 높일 수 있기 때문이다.

특히 생성형 AI 서비스에 활용되는 대규모언어모델(LLM)은 수십억 개부터 최대 수백억 개의 매개변수(파라미터)로 구성돼 규모가 커질수록 GPU 메모리와 연산 자원이 더 필요하다. 생성형 AI 서비스를 확대할수록 고성능 GPU 확보와 운영에 필요한 비용도 함께 증가하는 구조다.

BC카드는 보다 효율적 인프라 운영을 위해 AI 성능은 최대한 유지하면서 모델이 사용하는 숫자를 단순하게 만들어 가볍게 하기 위한 양자화 기술을 적용했다. 기술 적용 후 모델 구성 숫자의 정밀도를 16비트에서 4비트로 낮춰 크기와 연산의 부담을 줄였다.

실제 BC카드가 파라미터 310억 개를 가진 AI 모델에 양자화 기술을 적용한 결과 모델 용량이 62.5GB(기가바이트)에서 19.5GB로 69% 감소했다. 동시에 동일한 GPU 환경에서의 한국어 생성 처리량은 초당 205토큰에서 530토큰으로 3배 가까이 증가했고 평균 응답 완료 시간도 24초에서 9초로 크게 단축됐다.

모델 용량은 줄었지만 AI 성능은 대부분 유지됐다. BC카드가 원본 모델과 경량화된 모델을 대상으로 한국어 이해 및 추론 능력 등 8종류의 성능 평가를 진행한 결과 원본 대비 98.7% 수준의 성능을 유지했다.

BC카드는 이 과정에서 확보한 기술 특허 출원 절차도 진행하고 있다. 특허 진행 기술은 AI 경량화 과정에서 나타나는 한국어 성능 저하를 최소화하기 위해 한국어와 영어의 특성을 반영해 압축 기준을 잡고 구조에 맞춰 압축 강도를 세밀하게 조정하는 기술 2건이다.

BC카드는 연구, 개발 및 공개에 그치지 않고 실제 사내 업무에도 적용시켰다. 

7월부터 사내 금융 특화 생성형 AI 플랫폼에 경량화 모델을 적용한 결과 용량이 줄어들었지만 GPU 한 대에서 동시 처리 가능한 업무량은 증가했다.

BC카드는 고성능 서버용 GPU뿐 아니라 일반 PC급 GPU까지 AI 연산 자원으로 활용해 장비 투자 부담을 낮춰 중소기업이나 스타트업에서도 도입할 수 있도록 운영 효율을 높였다. 별도의 외부 클라우드 AI 서비스 없이도 자체 인프라만으로 AI 모델 구동이 가능해진 것이다. BC카드는 "이는 사내 데이터가 외부 AI 서비스로 전송되지 않고 자체 인프라에서 처리할 수 있어 금융회사의 보안 환경에도 적합하다는 평도 받고 있다"고 설명했다.

오성수 BC카드 상무는 "AI 모델의 성능을 유지하면서 비용과 속도를 함께 개선하는 것이 실제 업무 활용의 핵심"이라며 "이번 경량화 기술을 사내 AI 서비스에 적극 적용하고 외부에도 공개해 보다 효율적 AI 활용 환경을 만드는 데 기여할 것"이라고 말했다.