20만명 쓰는 뱅크오브아메리카, AI 모델값 비교

코인뉴스

뱅크오브아메리카(Bank of America·$BAC)가 대형 언어모델의 성능과 비용을 함께 비교하는 내부 AI 모델 추적기를 운영 중이라는 보도가 나왔다. 기업 인공지능(AI) 도입 경쟁의 초점이 모델 성능에서 운영비 관리로 넓어지고 있다는 분석이다. 크립토브리핑은 17일 뱅크오브아메리카가 주요 대형 언어모델을 지능'과 비용 기준으로 비교하는 내부 추적기를 만들었다고 전했다. 다만 뱅크오브아메리카의 공개 투자자 자료와 뉴스룸 자료에서 같은 명칭의 추적기나 세부 방법론은 확인되지 않았다. 뱅크오브아메리카의 2분기 발표 자료에는 약 20만 명의 활성 사용자가 하루 40만 건 넘는 프롬프트를 생성한다고 적혔다. 승인된 AI·머신러닝 활용 사례는 300개를 넘었고, 운영 중인 생성형 AI 활용 사례 114개 가운데 34개는 완전 배포 상태로 제시됐다. 이는 AI 활용이 실험 단계를 넘어 은행의 일상 업무 흐름에 들어갔다는 뜻이다. 사용자가 많아질수록 모델 선택은 기술팀의 선호가 아니라 조달, 예산, 내부 통제의 문제가 된다. 브라이언 모이니핸(Brian Moynihan) 뱅크오브아메리카 회장 겸 최고경영자는 3월 23일 주주서한에서 "AI는 뱅크오브아메리카에 새로운 개념이 아니다"라고 밝혔다. 그는 2018년 배포한 AI 비서 에리카(Erica)를 2025년 4분기 2000만 명이 약 2억 회 사용했고, 전 세계 21만3000명 넘는 직원에게 AI 기능을 배포했다고 설명했다. 대형 금융사가 AI를 전사적으로 쓰면 같은 업무를 어떤 모델로 처리하느냐에 따라 비용 구조가 달라진다. 정확도와 속도뿐 아니라 토큰 사용량, 클라우드 비용, 보안 검토, 내부 승인 절차가 함께 평가 대상이 된다. 앤트로픽(Anthropic)의 공식 가격표도 이 흐름을 보여준다. 클로드 오푸스 5(Claude Opus 5)는 100만 토큰 기준 입력 5달러(약 7075원), 출력 25달러(약 3만5375원)다. 클로드 소넷 5(Claude Sonnet 5)는 입력 2달러(약 2830원), 출력 10달러(약 1만4150원)로 제시됐다. 앤트로픽은 클로드 4.7 이후 모델이 같은 텍스트에서 약 30% 더 많은 토큰을 만들 수 있다고도 밝혔다. 기업 고객에게는 단순한 100만 토큰당 단가뿐 아니라 실제 업무에서 생성되는 토큰량까지 비용 계산에 넣어야 한다는 의미다. 하리 고팔크리슈난(Hari Gopalkrishnan) 뱅크오브아메리카 기술·정보총괄은 4월 공개 행사에서 AI 전략의 축으로 거버넌스와 투자수익률, 핀옵스(FinOps)를 들었다. 그는 "이 모델들은 싸지 않고, 구동에 많은 하드웨어가 필요하다"고 말했다. 핀옵스는 클라우드와 AI 인프라 비용을 측정하고 통제하는 운영 관리 방식이다. 생성형 AI 서비스는 요청과 응답이 반복될수록 연산 비용이 누적되기 때문에, 대규모 조직에서는 부서별 사용량과 비용 배분을 관리하는 체계가 필요하다. AI 모델 업체 간 가격 경쟁도 비용 비교 수요를 키우고 있다. 로이터는 6월 10일 오픈AI(OpenAI)가 앤트로픽과의 사용자 확보 경쟁을 앞두고 가격 인하를 검토하고 있다고 보도했다. 로이터는 5월 20일 앤트로픽이 첫 분기 흑자에 근접했다고 전하면서도 대규모 컴퓨트 비용과 월 12억5000만 달러(약 1조7688억원) 규모의 스페이스엑스(SpaceX) 컴퓨트 계약을 함께 짚었다. 모델 경쟁이 성능 발표만이 아니라 인프라 비용 부담을 둘러싼 경쟁으로도 번지고 있는 셈이다. 이 문제는 앞서 본지가 전한 AI 모델 경쟁이 성능 발표 경쟁에서 검증 인프라 경쟁으로 넓어지고 있다는 흐름 과도 맞닿아 있다. 기업은 공개 순위표만으로 자사 업무 적합성을 판단하기 어렵고, 금융처럼 오류 비용이 큰 업종에서는 특정 업무에서의 정확도와 반복 검증이 더 중요해진다. 추론 단계의 비용 효율도 같은 맥락이다. 본지는 마이크로소프트가 자체 AI 추론 가속기 마이아 200을 공개하며 기존 자사 시스템보다 달러당 성능을 30% 높였다고 밝힌 사례 를 보도한 바 있다. 생성형 AI가 실제 서비스로 확산될수록 모델, 반도체, 클라우드 비용은 한 묶음으로 평가된다. 뱅크오브아메리카의 내부 추적기가 외부에 공개될지는 알려지지 않았다. 공개 자료만으로 확인되는 것은 이 은행의 AI 활용 규모가 이미 운영 단계에 들어섰고, 모델별 비용과 성능 비교가 대형 금융사의 관리 영역으로 옮겨가고 있다는 점이다.