메모리 8분의 1, FAISS보다 빠르다: turbovec 분석

하루 만에 별 1,730개. 이 숫자가 말해주는 건 단순한 화제성이 아니다. 메모리 87% 절감에 FAISS 이상의 속도—RAG 개발자들이 손에 쥐어온 가장 오래된 고민을 정면으로 건드렸기 때문이다.

이게 뭔가

벡터 검색(vector search)은 AI 앱의 심장부다. 텍스트나 이미지를 숫자 배열(임베딩)로 변환한 뒤 그 배열들 사이의 거리를 계산해 "가장 비슷한 것"을 찾는 기술이다. RAG(검색 증강 생성)에서 LLM이 올바른 맥락을 참조하려면 이 검색이 빠르고 정확해야 한다.

문제는 규모다. 1,000만 개 문서를 float32(32비트 부동소수점)로 저장하면 31 GB의 RAM이 필요하다. 클라우드 인스턴스 비용이 급등하고, 온프레미스 배포는 사실상 불가능해진다.

turbovec은 구글 리서치의 TurboQuant 알고리즘을 기반으로, 같은 데이터를 4 GB에 욱여넣는다. Rust로 작성됐고, Python 바인딩으로 pip install 한 줄로 쓸 수 있다. MIT 라이선스로 상업 사용에 제약이 없다.

왜 지금 뜨는가

세 가지 타이밍이 겹쳤다.

① TurboQuant 논문이 막 공개됐다. 2025년 4월 arXiv에 올라온 구글 리서치 논문(arXiv:2504.19874)은 코드북 훈련 없이 섀넌 하한(Shannon lower bound on distortion)에 근접하는 양자화를 가능케 했다. 수학적 근거가 탄탄하다는 뜻이다.

② FAISS의 pain point가 누적됐다. Meta의 FAISS는 사실상 업계 표준이지만, 대규모 인덱스를 쓰려면 별도 훈련 단계(train phase)가 필요하고 온라인 인제스트가 번거롭다. turbovec은 훈련 단계 없이 벡터를 추가하는 즉시 인덱싱된다.

③ 로컬 AI 수요가 급증했다. GDPR·HIPAA 등 프라이버시 규제와 데이터 주권 이슈로 "데이터가 VPC 밖으로 나가지 않는" 스택의 수요가 함께 늘고 있다. turbovec은 완전 로컬 작동을 명시적으로 지원한다.

핵심 기능

• 메모리 87% 절감: 1,000만 벡터 기준 31 GB → 4 GB (4-bit 양자화)
• FAISS 대비 빠른 속도: ARM NEON 커널에서 12~20%, x86 AVX-512BW에서 동급 이상
• 훈련 단계 없음(data-oblivious): 코드북 생성·재빌드 없이 실시간 추가
• 검색 시 필터링: allowlist 또는 bitmask를 search() 호출 시 직접 전달—과다 인출 없이 정확히 k개 반환
• 영속 직렬화: .write() / .load()로 인덱스 파일 저장·복원

누구에게 쓸모 있나

대상	이유
RAG 파이프라인 개발자	메모리·비용 절감, 온라인 인제스트로 파이프라인 단순화
온프레미스·에어갭 배포 팀	데이터가 로컬을 벗어나지 않음
임베디드·엣지 추론 환경	저메모리 환경에서 대규모 인덱스 운용 가능
FAISS 사용 중인 팀	API가 유사해 마이그레이션 비용 낮음

시작하기

PyPI에서 바이너리 휠을 제공한다. Rust 컴파일 환경 불필요.

pip install turbovec

x86_64(AVX-512 권장) 또는 ARM64(NEON) 환경에서 동작한다. Rust 직접 사용 시 crates.io에서 설치한다.

사용 예시

① 기본 인덱스: 벡터 추가 후 검색

from turbovec import TurboQuantIndex

# dim=임베딩 차원(OpenAI text-embedding-3-small → 1536), bit_width=4(4비트 양자화)
index = TurboQuantIndex(dim=1536, bit_width=4)
index.add(vectors)        # numpy array, shape (N, dim)
index.add(more_vectors)   # 언제든 추가 가능—재훈련 불필요

scores, indices = index.search(query, k=10)

② 영속 저장/로드: 인덱스를 파일로 직렬화

index.write("my_index.tq")
loaded = TurboQuantIndex.load("my_index.tq")

③ 삭제를 지원하는 IdMapIndex: 외부 ID로 문서 관리

import numpy as np
from turbovec import IdMapIndex

index = IdMapIndex(dim=1536, bit_width=4)
index.add_with_ids(vectors, np.array([1001, 1002, 1003], dtype=np.uint64))

# 반환값이 내부 슬롯 번호가 아닌 내가 지정한 외부 ID
scores, ids = index.search(query, k=10)

한계·주의

• 신생 프로젝트다. 커밋 히스토리가 짧고 프로덕션 사례가 공개되지 않았다. 업무 크리티컬 시스템 투입 전 충분한 벤치마크를 직접 수행해야 한다.
• 양자화 손실은 존재한다. 4-bit 압축은 recall 100%를 보장하지 않는다. 정밀도가 절대적인 의료·법률 도메인에서는 trade-off 측정이 필수다.
• GPU 지원 없음. README에 GPU 가속 언급이 없다. 대규모 배치 인덱싱은 CPU 바운드다.
• 극단적 필터에서의 recall은 검증 필요. 허용 집합이 매우 작으면 실질 검색 대상도 좁아진다. 필터 조건이 까다로운 사용 사례에서는 직접 recall을 측정해야 한다.

---

오늘의 트렌딩은 단순 인기 투표가 아니다. 메모리·프라이버시·속도 세 가지를 동시에 건드리는 프로젝트는 흔치 않다. FAISS 대체제를 찾던 팀이라면, 지금이 테스트를 시작할 타이밍이다.