Llama-3 8B-Instruct 모델 셀프 호스팅 비용 | GeekNews

대규모 언어 모델(LLM) 직접 호스팅 하는 비용은 얼마나 될까?
Llama-3 8B-Instruct 모델을 EKS에서 호스팅할 경우, 100만 토큰당 약 $17.
같은 작업을 ChatGPT를 사용하면 100만 토큰당 $1.

Source↗