Een vectordatabase in één bestand.

import recern_vector as rv

db = rv.Database.open_or_create("docs.rvec")
docs = db.create_collection("docs", dim=384, metric="cosine")
docs.upsert_many(ids, embeddings, metadatas)

hits = docs.search(query, k=5, filter={"lang": "en"})
docs.explain(query, k=5)  # strategy, visited nodes, time

$ recern-vector query docs.rvec docs --like doc-42 -k 3 \
    --filter '{"lang": "en", "year": {"$gte": 2020}}' \
    --explain

  #  id          distance  metadata
  1  doc-42      -0.00000  {"lang":"en","year":2024}
  2  doc-18861    0.63155  {"lang":"en","year":2022}
  3  doc-10899    0.63834  {"lang":"en","year":2024}

  strategy      hnsw
  ef            64
  selectivity   ~19.9% of records match the filter
  visited       7,244 nodes
  distances     7,330 computed
  time          529 µs

De Python-bindings accepteren NumPy-arrays van het type float32 zonder elk element te converteren. Batchinvoegingen bouwen de index op alle cores.

• HNSW en exact zoeken

  Een graafindex met m, ef_construction en ef_search per collectie, en een exacte scan wanneer je een betrouwbare referentie nodig hebt.

• Cosinus, L2 en inwendig product

  Elke collectie heeft een vaste dimensie en metriek. Vectoren voor de cosinusmetriek worden bij het opslaan genormaliseerd.

• Metadatafilters

  Gelijkheid, $in, bereiken en geneste $and, $or en $not. Een kostenplanner schat de filterselectiviteit met steekproeven, kiest tussen exact zoeken en HNSW en past de zoekinspanning aan.

• Parallelle, atomaire invoegingen

  Batchinvoegingen bouwen de index op alle cores. Als één vector ongeldig is, wordt er niets geschreven.

• Upsert, verwijderen en compact maken

  Vervang of verwijder records op id en maak de collectie daarna compact om haar opnieuw op te bouwen zonder verwijderde records.

• Introspectie-API

  stats(), explain() en estimate_recall() zijn onderdeel van de API, geen aparte tool.

• Python-bindings

  Een PyO3-wheel voor CPython 3.11 en nieuwer, met type hints.

• Opdrachtregeltool

  init, create-collection, insert, query, inspect, recall, checkpoint en compact.

• Stabiel formaat 2

  Bestanden met versienummers, checksums en compatibiliteitstests met referentiebestanden. Bestaande snapshots in formaat 1 blijven leesbaar.

• WAL en checkpoint

  save() legt gewijzigde pagina’s vast in de WAL; checkpoint() schrijft een zelfstandige snapshot. Onvolledige records aan het einde worden bij het herstel genegeerd.

• Optioneel int8

  int8-codes per collectie met schaalfactoren per vector. Meet de recall op je eigen data om de afweging tussen opslag en nauwkeurigheid te bepalen.

• Native Node.js-bindings

  Node-API 8, TypeScript-definities en searchAsync op een worker. Builds voor Linux x64, macOS arm64 en Windows x64 staan in de GitHub-release.

1. Beschikbaar

   0.2.0

   • Stabiel formaat met compatibiliteitstests
   • WAL en incrementele schrijfbewerkingen
   • Optionele int8-opslag voor vectoren
   • Metadatafilters met AND / OR / NOT
2. Volgende stappen

   Verdere verbeteringen

   • De kosten van het volledig coderen bij opslaan verlagen
   • Automatische checkpoints
   • Platformpakketten en een loader voor npm
3. Niet gepland voor v0

   Buiten de scope

   • Servermodus
   • Sharding en replicatie
   • GPU-versnelling
   • Een clouddienst

De database moet nog steeds in het geheugen passen. WAL vermindert het aantal schrijfbewerkingen naar schijf, maar save() codeert en vergelijkt de volledige database. Checkpoints worden expliciet uitgevoerd; gelijktijdige schrijvers worden na elkaar afgehandeld en schrijvers met een verouderde weergave moeten de database opnieuw openen.