개요

텍스트 임베딩 모델은 텍스트를 고차원 벡터로 변환하는 모델입니다. RAG, 시맨틱 검색, 문서 클러스터링, 분류 등에 핵심적으로 사용됩니다.

성능 평가 기준: MTEB (Massive Text Embedding Benchmark) — 8가지 태스크, 58개 데이터셋, 112개 언어 평가


주요 모델 비교 (2025~2026 기준)

상용 API

모델제공사MTEB 점수차원최대 토큰특징
text-embedding-3-largeOpenAI64.63072 (조절 가능)8191안정적, 생태계 최대
text-embedding-3-smallOpenAI62.31536 (조절 가능)8191경제적
embed-v4Cohere65.21024128K다국어, 멀티모달
Gemini EmbeddingGoogle-30728192Gemini 생태계

오픈소스 — 대형

모델파라미터MTEB 점수차원최대 토큰언어라이선스
Qwen3-Embedding-8B8B70.58 (다국어 1위)409632K100+Apache 2.0
Qwen3-Embedding-4B4B-256032K100+Apache 2.0
Qwen3-Embedding-0.6B0.6B-1024 (32~1024)32K100+Apache 2.0

오픈소스 — 경량/다국어

모델파라미터MTEB 점수차원최대 토큰언어특징
BGE-M3~570M63.010248192100+Dense+Sparse+ColBERT 동시 지원
gte-multilingual-base305M-768819270+Alibaba, 탄력적 임베딩 차원
Jina Embeddings v43B-2048819230+멀티모달 (텍스트+이미지)
Nomic Embed Text V2475M-768512다국어최초 MoE 임베딩 아키텍처
EmbeddingGemma-300M300M-768-100+구글 Gemma 기반, 엣지 최적화
all-mpnet-base-v2110M-768384영어범용, Apache 2.0

BGE-M3 심층

BAAI(북경인공지능연구원) 개발, 세 가지 검색 방식을 단일 모델로 동시 지원:

검색 방식설명특징
Dense Retrieval벡터 유사도 (코사인)시맨틱 매칭
Sparse RetrievalBM25 스타일 키워드 가중치정확 키워드 매칭
Multi-Vector (ColBERT)토큰별 상호작용세밀한 문장 내 관계

→ 하이브리드 검색 파이프라인에 단일 모델로 활용 가능


Qwen3 Embedding

Alibaba Qwen 팀, LLM 사전학습 가중치 기반 파인튜닝:

  • Instruction-aware: 쿼리에 태스크 지시문 삽입으로 성능 향상
    query = "Instruct: Retrieve relevant passages\nQuery: " + user_query
    
  • Matryoshka 차원 조절: 전체 차원 → 32까지 압축 가능 (저장/속도 트레이드오프)
  • MTEB 다국어 리더보드 1위 (70.58점, 2025.06 기준)

임베딩 태스크 유형 (MTEB 기준)

태스크설명주요 활용
Retrieval쿼리-문서 관련도RAG, 검색
STS (Semantic Textual Similarity)문장 유사도중복 탐지
Classification텍스트 분류감성 분석
Clustering문서 군집화토픽 모델링
Reranking검색 결과 재순위RAG 정밀도 향상
PairClassification문장 쌍 관계NLI, 중복
Summarization요약 품질 평가요약 모델
BitextMining병렬 문장 탐지번역 품질

선택 가이드

상황추천
RAG, 한국어 포함 다국어BGE-M3 또는 Qwen3-Embedding
최고 성능 오픈소스Qwen3-Embedding-8B
경량 로컬 배포Qwen3-Embedding-0.6B, EmbeddingGemma-300M
하이브리드 검색 (Dense+Sparse)BGE-M3
멀티모달 (텍스트+이미지)Jina Embeddings v4
OpenAI 생태계, 간편함text-embedding-3-small/large
긴 문서 처리 (128K 토큰)Cohere embed-v4
비용 최소화text-embedding-3-small, all-mpnet-base-v2

리랭커 (Reranker)

임베딩 검색 후 정밀도 향상을 위해 사용:

모델제공사특징
BGE-Reranker-v2-M3BAAIBGE-M3와 쌍 사용 최적
Cohere RerankCohereAPI 기반, 고성능
Jina Reranker v2Jina AI다국어, 오픈소스
ms-marco-MiniLMHugging Face영어 특화, 경량

MTEB 리더보드


관련 항목