ベクトルデータベースを、 ひとつのファイルに。

import recern_vector as rv

db = rv.Database.open_or_create("docs.rvec")
docs = db.create_collection("docs", dim=384, metric="cosine")
docs.upsert_many(ids, embeddings, metadatas)

hits = docs.search(query, k=5, filter={"lang": "en"})
docs.explain(query, k=5)  # strategy, visited nodes, time

$ recern-vector query docs.rvec docs --like doc-42 -k 3 \
    --filter '{"lang": "en", "year": {"$gte": 2020}}' \
    --explain

  #  id          distance  metadata
  1  doc-42      -0.00000  {"lang":"en","year":2024}
  2  doc-18861    0.63155  {"lang":"en","year":2022}
  3  doc-10899    0.63834  {"lang":"en","year":2024}

  strategy      hnsw
  ef            64
  selectivity   ~19.9% of records match the filter
  visited       7,244 nodes
  distances     7,330 computed
  time          529 µs

Python バインディングは NumPy の float32 配列を要素ごとに変換せず受け取ります。一括挿入では、すべてのコアを使ってインデックスを構築します。

• HNSW と厳密検索

  コレクションごとに m、ef_construction、ef_search を設定できるグラフインデックスと、正解データが必要なときに使える厳密スキャンを備えています。

• コサイン、L2、内積

  コレクションごとに次元数と距離尺度を固定します。コサイン用のベクトルは保存時に正規化されます。

• メタデータフィルター

  等値、$in、範囲、入れ子の $and・$or・$not に対応します。コストプランナーがフィルターの選択性をサンプリングし、厳密検索か HNSW を選んで探索量を調整します。

• 並列かつアトミックな挿入

  一括挿入では全コアを使ってインデックスを構築します。ベクトルが 1 件でも無効な場合、書き込みは行われません。

• Upsert、削除、コンパクト化

  ID を指定してレコードを置換・削除し、その後コンパクト化で削除済みレコードを除いたコレクションを再構築できます。

• 内部状態を調べる API

  stats()、explain()、estimate_recall() は別ツールではなく、API の一部です。

• Python バインディング

  CPython 3.11 以降向けの PyO3 wheel。型ヒントを含みます。

• コマンドラインツール

  init、create-collection、insert、query、inspect、recall、checkpoint、compact。

• 安定した形式 2

  バージョン付きファイル、チェックサム、固定データによる互換性テストを備え、既存の形式 1 のスナップショットも読み込めます。

• WAL とチェックポイント

  save() は変更されたページを WAL にコミットし、checkpoint() は単独で利用できるスナップショットを書き出します。復旧時には、末尾の不完全なレコードを無視します。

• オプションの int8

  コレクション単位の int8 コードと、ベクトル単位のスケールを使用します。自分のデータで再現率を測定し、容量と精度のバランスを選べます。

• ネイティブ Node.js バインディング

  Node-API 8、TypeScript 型定義、ワーカー上で動く searchAsync を提供します。Linux x64、macOS arm64、Windows x64 向けのビルドは GitHub リリースから取得できます。

1. 利用可能

   0.2.0

   • 互換性テスト付きの安定したファイル形式
   • WAL とディスクへの増分書き込み
   • オプションの int8 ベクトルストレージ
   • AND / OR / NOT メタデータフィルター
2. 次の取り組み

   さらなる改善

   • 保存時の全体イメージのエンコード負荷を削減
   • 自動チェックポイント
   • npm 向けプラットフォーム別パッケージとローダー
3. v0 では予定なし

   対象外

   • サーバーモード
   • シャーディングとレプリケーション
   • GPU アクセラレーション
   • クラウドサービス

データベース全体がメモリに収まる必要があります。WAL はディスクへの書き込みを減らしますが、save() は全体イメージをエンコードして比較します。チェックポイントは明示的に実行し、同時書き込みは直列化されます。古い状態の書き込み側は再度開く必要があります。