Una base de datos vectorial en un solo archivo.

import recern_vector as rv

db = rv.Database.open_or_create("docs.rvec")
docs = db.create_collection("docs", dim=384, metric="cosine")
docs.upsert_many(ids, embeddings, metadatas)

hits = docs.search(query, k=5, filter={"lang": "en"})
docs.explain(query, k=5)  # strategy, visited nodes, time

$ recern-vector query docs.rvec docs --like doc-42 -k 3 \
    --filter '{"lang": "en", "year": {"$gte": 2020}}' \
    --explain

  #  id          distance  metadata
  1  doc-42      -0.00000  {"lang":"en","year":2024}
  2  doc-18861    0.63155  {"lang":"en","year":2022}
  3  doc-10899    0.63834  {"lang":"en","year":2024}

  strategy      hnsw
  ef            64
  selectivity   ~19.9% of records match the filter
  visited       7,244 nodes
  distances     7,330 computed
  time          529 µs

Los bindings de Python aceptan arrays float32 de NumPy sin convertir cada elemento. Las inserciones por lotes construyen el índice en todos los núcleos.

• HNSW y búsqueda exacta

  Un índice de grafo con m, ef_construction y ef_search por colección, y un recorrido exacto cuando necesitas la verdad de referencia.

• Coseno, L2 y producto escalar

  Cada colección tiene una dimensión y una métrica fijas. Los vectores de coseno se normalizan al guardarse.

• Filtros por metadatos

  Igualdad, $in y rangos al estilo de MongoDB. Cuando un filtro coincide con muy pocos registros, la consulta pasa a un recorrido exacto.

• Inserciones paralelas y atómicas

  Las inserciones por lotes construyen el índice en todos los núcleos. Si un vector no es válido, no se escribe nada.

• Upsert, borrado y compactación

  Reemplaza o borra registros por id y compacta para reconstruir la colección sin los registros borrados.

• API de introspección

  stats(), explain() y estimate_recall() son parte de la API, no una herramienta aparte.

• Bindings de Python

  Un wheel de PyO3 para CPython 3.11 o posterior, con anotaciones de tipo.

• Herramienta de línea de comandos

  init, create-collection, insert, query, inspect, recall y compact.

1. Ahora

   Prototipo

   • Fase 1 completada: formato de archivo, HNSW, filtros, introspección
   • Bindings de Python y CLI
   • Benchmarks públicos en SIFT1M y GloVe-100
   • Código abierto (MIT o Apache-2.0), en PyPI y crates.io
2. Después

   Primera versión, v0.1

   • Formato de archivo estable y versionado
   • Documentación y ejemplos
   • Abrir archivos de Recern Vector en el espacio de trabajo de Recern
3. Fuera de la v0

   Fuera de alcance

   • Modo servidor
   • Sharding y replicación
   • Aceleración por GPU
   • Un servicio en la nube

Por ahora, toda la base de datos se mantiene en memoria, cada guardado reescribe el archivo y el formato aún puede cambiar. Se instala con pip install recern-vector o cargo add recern-vector; las versiones seguirán en 0.0.x hasta que el formato sea estable.