벡터 데이터베이스를 하나의 파일에.

import recern_vector as rv

db = rv.Database.open_or_create("docs.rvec")
docs = db.create_collection("docs", dim=384, metric="cosine")
docs.upsert_many(ids, embeddings, metadatas)

hits = docs.search(query, k=5, filter={"lang": "en"})
docs.explain(query, k=5)  # strategy, visited nodes, time

$ recern-vector query docs.rvec docs --like doc-42 -k 3 \
    --filter '{"lang": "en", "year": {"$gte": 2020}}' \
    --explain

  #  id          distance  metadata
  1  doc-42      -0.00000  {"lang":"en","year":2024}
  2  doc-18861    0.63155  {"lang":"en","year":2022}
  3  doc-10899    0.63834  {"lang":"en","year":2024}

  strategy      hnsw
  ef            64
  selectivity   ~19.9% of records match the filter
  visited       7,244 nodes
  distances     7,330 computed
  time          529 µs

Python 바인딩은 요소별 변환 없이 NumPy float32 배열을 받습니다. 배치 삽입 시 모든 코어를 사용해 인덱스를 구축합니다.

• HNSW와 정확 검색

  컬렉션마다 m, ef_construction, ef_search를 설정할 수 있는 그래프 인덱스를 제공합니다. 정답 기준이 필요할 때는 정확 스캔을 사용할 수 있습니다.

• 코사인, L2, 내적

  컬렉션마다 차원과 거리 측정 방식을 고정합니다. 코사인 벡터는 저장할 때 정규화됩니다.

• 메타데이터 필터

  동등 비교, $in, 범위, 중첩된 $and, $or, $not을 지원합니다. 비용 기반 플래너가 필터 선택도를 샘플링하고 정확 검색 또는 HNSW를 선택해 탐색량을 조정합니다.

• 병렬 원자적 삽입

  배치 삽입은 모든 코어로 인덱스를 구축합니다. 벡터 하나라도 유효하지 않으면 아무것도 기록하지 않습니다.

• Upsert, 삭제, 압축 정리

  ID로 레코드를 교체하거나 삭제한 뒤, 압축 정리로 삭제된 레코드를 제외한 컬렉션을 다시 구축합니다.

• 내부 상태 검사 API

  stats(), explain(), estimate_recall()은 별도 도구가 아닌 API의 일부입니다.

• Python 바인딩

  CPython 3.11 이상용 PyO3 wheel이며 타입 힌트를 포함합니다.

• 명령줄 도구

  init, create-collection, insert, query, inspect, recall, checkpoint, compact.

• 안정적인 형식 2

  파일 버전 관리, 체크섬, 기준 파일을 이용한 호환성 테스트를 제공하며 기존 형식 1 스냅샷도 읽을 수 있습니다.

• WAL과 체크포인트

  save()는 변경된 페이지를 WAL에 커밋하고, checkpoint()는 독립적으로 사용할 수 있는 스냅샷을 기록합니다. 복구 시 끝부분의 불완전한 레코드는 무시합니다.

• 선택 가능한 int8

  컬렉션 단위의 int8 코드와 벡터별 스케일을 사용합니다. 보유한 데이터로 재현율을 측정하여 저장 공간과 정확도의 균형을 선택하세요.

• 네이티브 Node.js 바인딩

  Node-API 8, TypeScript 타입 정의, 워커에서 실행되는 searchAsync를 제공합니다. Linux x64, macOS arm64, Windows x64 빌드는 GitHub 릴리스에서 받을 수 있습니다.

1. 사용 가능

   0.2.0

   • 호환성 테스트를 갖춘 안정적인 파일 형식
   • WAL 및 증분 디스크 쓰기
   • 선택 가능한 int8 벡터 저장
   • AND / OR / NOT 메타데이터 필터
2. 다음 작업

   추가 개선

   • 저장 시 전체 이미지 인코딩 비용 줄이기
   • 자동 체크포인트
   • npm용 플랫폼 패키지 및 로더
3. v0에서는 계획 없음

   범위 외

   • 서버 모드
   • 샤딩 및 복제
   • GPU 가속
   • 클라우드 서비스

데이터베이스 전체가 메모리에 들어가야 합니다. WAL은 디스크 쓰기를 줄이지만 save()는 전체 이미지를 인코딩하고 비교합니다. 체크포인트는 명시적으로 실행하며, 동시 쓰기는 직렬화됩니다. 오래된 상태의 쓰기 인스턴스는 데이터베이스를 다시 열어야 합니다.