Docs

Estructura del almacenamiento

Dónde guarda cada tipo de dato un motor con alojamiento propio, cuánto espacio ocupa, cómo medirlo, y qué reglas ponerle al bucket y cuáles evitar.

Aplica a Motor Al lanzar

Ver como Markdown
En esta página
  1. El bucket
  2. Dónde está el bucket
  3. Postgres
  4. Qué tan grande se pone
  5. Mide lo tuyo
  6. Reglas en el bucket
  7. Qué no hacer a mano
  8. Pasar a otro bucket
  9. Relacionado

Motor Esta página es para quien opera un motor con alojamiento propio y necesita responder tres preguntas: dónde está cada cosa, qué tan grande se va a poner, y qué reglas debe tener el bucket. El diseño que hay detrás, hasta los nombres de los objetos y las columnas de las tablas, está en Almacenamiento; esta página no lo repite. En Sypnia Cloud nada de esto queda a tu cargo.

El motor guarda datos en dos lugares y en ninguno más: un bucket y una base de datos Postgres. El disco del propio motor no guarda nada que necesites conservar.

El bucket

Cada llave de objeto empieza por el id del proyecto. Debajo hay seis carpetas, una por tipo de dato.

Text
<storage.prefix>prj_5k2m9x4q7w1z/
├── events/      eventos crudos, como llegaron              los escribe la ingesta
├── sessions/    los mismos eventos, un archivo por sesión y hora   los escribe el worker
├── replays/     fragmentos de grabación                    los escribe la ingesta
├── snapshots/   capturas de página, para mapas de clics    las escribe la ingesta
├── sourcemaps/  una carpeta por versión (release)          los escribe tu CI
└── parquet/     un archivo por día, para tus herramientas  lo escribe el worker
CarpetaQué la hace crecerSe guarda por defectoAjuste
events/Los eventos90 díasSYPNIA_RETENTION_EVENTS_DAYS
sessions/Los eventos que pertenecen a una sesión90 díasEl mismo
parquet/Los eventos90 díasEl mismo
replays/Las sesiones grabadas, y cuánto duran30 díasSYPNIA_RETENTION_REPLAYS_DAYS
snapshots/Las rutas de tu app, no el tráfico90 díasSYPNIA_RETENTION_SNAPSHOTS_DAYS
sourcemaps/Los despliegues90 días desde la última vez que se vio la versiónSYPNIA_RETENTION_SOURCEMAPS_DAYS

Tres cosas que conviene saber como operador:

  • events/ es la fuente de verdad. Todo lo que hay en Postgres y viene de eventos se puede volver a construir desde ahí con sypnia aggregate --from … --to …. Nunca edites, muevas ni renombres sus objetos.
  • replays/ es donde se va el espacio. Las grabaciones son cerca de tres cuartas partes de un bucket típico.
  • parquet/ es para ti. El motor lo escribe y nunca lo lee. Apunta cualquier herramienta que lea Parquet a un día de eventos.

Si configuras SYPNIA_STORAGE_PREFIX, todo lo anterior queda bajo ese prefijo, así el bucket se puede compartir con otra cosa.

Dónde está el bucket

DespliegueDónde
Plantilla de AWSUn bucket de S3. Su nombre es la salida BucketName del stack.
Docker Compose, tal como está escritoEl bucket sypnia dentro de MinIO, en el volumen de Docker bucket.
Tu propia elecciónLo que digan SYPNIA_STORAGE_BUCKET y SYPNIA_STORAGE_ENDPOINT.

Postgres

Postgres guarda lo que lee una pantalla o una llamada de MCP: los problemas, el índice de sesiones, los números por hora y por día, y quién entra. Los eventos crudos y el contenido de las grabaciones nunca entran ahí.

QuéCrece conSe guarda por defecto
Proyectos, llaves, tokens, configuración, reglas de alerta, webhooks, comprobaciones de disponibilidadLo que tú creasMientras exista el proyecto
Problemas, con su frase, estado y conteos diariosLas fallas distintas, no el tráficoMientras exista el proyecto
El índice de sesiones: una fila por sesiónLas sesiones90 días (SYPNIA_RETENTION_EVENTS_DAYS)
Números por hora y por día: rendimiento, mapas de clics, uso, disponibilidadRutas de tu app × horas, no el tráfico400 días (SYPNIA_RETENTION_NUMBERS_DAYS)
El índice de trazasLas peticiones90 días
El control de duplicadosLos lotes de las últimas 48 horas48 horas

Las tablas que crecen con el tiempo están particionadas por mes. El motor crea las particiones siguientes y elimina las viejas por su cuenta, en SQL simple. No necesita ninguna extensión, así que sirve cualquier Postgres administrado. No tienes que programar un vacuum ni un trabajo de limpieza.

DespliegueDónde
Plantilla de AWS, con la base de datos creada por ellaUna instancia de RDS. Su nombre es la salida DatabaseIdentifier del stack.
Docker Compose, tal como está escritoLa base de datos sypnia en el servicio db, en el volumen de Docker db.
Tu propia elecciónLo que diga SYPNIA_DATABASE_URL.

Qué tan grande se pone

Son estimaciones. La primera cifra, cerca de 123 bytes por evento guardado, se midió en el sistema del que sale este motor; las cifras de grabaciones también se midieron ahí. La aritmética de cada fila está en Almacenamiento.

Por millón de eventosTamaño
events/, sessions/ y parquet/, cerca de 125 MB cada una≈ 375 MB
replays/, con el muestreo por defecto≈ 870 MB
snapshots/Unos pocos MB, sea cual sea el tráfico
Bucket≈ 1,2 GB
Postgres, filas que crecen con el tráfico≈ 20 MB, más ≈ 30 MB que viven 48 horas

Los source maps van aparte, porque crecen con los despliegues: medido en el sistema del que sale esto, un despliegue de una app grande son 965 mapas y 109 MB.

Qué significa eso cuando la retención ya se llenó, con los valores por defecto:

Pequeño: 130.000 eventos al díaMediano: 1,3 millones de eventos al día
Eventos al mes4 millones40 millones
events/, sessions/, parquet/, 90 días375 MB × 4 × 3 ≈ 4,5 GB≈ 45 GB
replays/, 30 días870 MB × 4 ≈ 3,5 GB≈ 35 GB
Bucket, sin source maps≈ 8 GB≈ 80 GB
Índice de sesiones, 90 días10 MB × 4 × 3 ≈ 120 MB≈ 1,2 GB
Números por hora, 400 días, para 100 rutas3 MB al día × 400 ≈ 1,2 GBLo mismo: no crecen con el tráfico
Postgres≈ 1,5 GB≈ 2,5 GB

Dos cosas pueden romper estos números, y las dos tienen tope: una sesión puede grabar como máximo 720 fragmentos, cerca de 144 MB, y una sesión envía como máximo 5 capturas de página.

Mide lo tuyo

Las estimaciones dejan de importar cuando tienes una semana de datos reales.

El bucket, por proyecto y por carpeta:

AWS

Terminal
aws s3 ls s3://<BucketName>/prj_5k2m9x4q7w1z/replays/ --recursive --summarize | tail -2
Text
Total Objects: 31204
   Total Size: 1065353216

Postgres, completo y por tabla:

SQL
SELECT pg_size_pretty(pg_database_size(current_database()));

SELECT relname AS table, pg_size_pretty(pg_total_relation_size(relid)) AS size
FROM pg_catalog.pg_statio_user_tables
ORDER BY pg_total_relation_size(relid) DESC
LIMIT 10;

Lo que guardó un proyecto este mes, sin tocar los almacenes: GET /v1/usage devuelve sus eventos, grabaciones y análisis. Ver la referencia de la API.

Reglas en el bucket

El motor borra por su cuenta los datos vencidos, una vez al día, listando y borrando. Funciona igual en Amazon S3, Cloudflare R2 y MinIO, y es la única retención que necesitas. El bucket no necesita reglas de ciclo de vida para mantenerse pequeño.

Regla¿Agregarla?Por qué
Quitar las subidas multiparte sin terminar a los 7 díasSí. La plantilla de AWS la agrega.Una subida de source maps que se cortó deja partes que ningún listado muestra y que se cobran.
Bloquear todo acceso públicoSí. La plantilla de AWS lo hace.Nada del bucket se lee jamás sin un enlace firmado.
Vencer todo el bucket a los N díasNo.Los source maps de una versión que sigue viva desaparecerían, y los stacks se volverían ilegibles. La retención por tipo de dato es trabajo del motor.
Vencer una carpeta de un proyecto, como segunda protecciónSolo si quieres una protección contra un worker que se detuvo.Una regla de ciclo de vida filtra por el inicio de la llave, y cada llave empieza por el id del proyecto, así que es una regla por proyecto y carpeta: prj_…/replays/, por ejemplo. Dale más días que el ajuste del motor, para que el motor siempre borre primero.
Pasar objetos a una clase de almacenamiento más fríaNo.La mayoría de los objetos pesa unos pocos kilobytes, menos del mínimo que cobran las clases frías, y el worker lee las horas recientes más de una vez. Además, una grabación tiene que abrir al instante.
VersionadoApagado, a menos que lo necesites.Los archivos por sesión se vuelven a escribir en cada pasada, así que las versiones se acumulan. Peor: una persona eliminada sobreviviría en las versiones viejas. Si lo enciendes, agrega una regla que quite las versiones viejas a los pocos días.
Replicación a otra regiónTú decides.Duplica el costo de almacenamiento y de escritura. Un respaldo de la base de datos protege lo que no se puede reconstruir; ver Actualizaciones, respaldos y retención.

Para guardar los datos menos tiempo, cambia los ajustes de retención, no el bucket: Actualizaciones, respaldos y retención.

Qué no hacer a mano

  • No borres objetos para liberar espacio. Baja un ajuste de retención: el motor entonces borra juntos los objetos y las filas que apuntan a ellos. Un objeto borrado a mano deja en la lista una sesión que responde 410 expired al abrirla.
  • No borres filas para eliminar a una persona o una sesión. Usa la API, que elimina las filas y los objetos: Eliminar datos.
  • No apuntes dos motores con bases de datos distintas al mismo bucket y prefijo. Cada uno borraría lo que el otro no conoce. Usa SYPNIA_STORAGE_PREFIX para compartir un bucket.

Pasar a otro bucket

Detén el motor, copia cada objeto con su llave sin cambios, cambia los ajustes de almacenamiento, arranca el motor y corre sypnia doctor. Postgres no necesita ningún cambio: guarda llaves, no direcciones. Los SDK reintentan mientras el motor está detenido, así que una detención corta no pierde nada; ver qué pasa cuando una pieza se cae.

Relacionado

Secciones

Empieza aquíQué es Sypnia, cómo funciona, qué es código abierto y qué es la nube de pago, y las dos maneras de recibir tu primer problema en palabras claras.ConceptosLas diez ideas de las que está hecho Sypnia, cada una definida con precisión, desde un proyecto y sus llaves hasta los problemas, las trazas y las alertas.SDKCómo envía tu app los datos a Sypnia. Un SDK para el navegador, uno para Node, uno para Next.js, y la entrada de OpenTelemetry para cualquier otro backend.El agenteCómo analiza Sypnia un problema, qué escribe, qué le envía a un modelo y qué nunca hace.MCP y skillsConecta tu agente de código a Sypnia para que pregunte qué está fallando en producción, lea lo que necesita para arreglarlo y configure Sypnia por ti.Referencia de la APILa API HTTP de Sypnia: una sola API para el motor de código abierto y para Sypnia Cloud, con cada endpoint, parámetro, respuesta y error.Referencia de la CLIEl comando sypnia: cómo instalarlo, qué variables lee, qué significan sus códigos de salida y dónde está documentado cada comando.Alojamiento propioQué corres cuando alojas tú mismo el motor de Sypnia, qué necesitas, cuánto cuesta y qué no tienes frente a Sypnia Cloud.Cómo está construido el motorTodo el motor de Sypnia en una página, desde un clic en tu app hasta la frase que lee tu agente de código, con las reglas de diseño y el código que las sostiene.Sypnia CloudCómo funciona el servicio pago, desde las organizaciones y los roles hasta los planes, los límites, la facturación, dónde viven tus datos, la GitHub App y el soporte.Privacidad y seguridadQué recoge Sypnia de tu app y de sus usuarios, qué no recoge nunca, cómo funciona el enmascarado, cómo eliminar datos y cómo se protege el servicio.LicenciasQué licencia cubre cada parte de Sypnia, qué puedes hacer con ella, cómo se puede usar el nombre, y los términos de una contribución.GuíasRecetas paso a paso para las formas comunes de usar Sypnia, desde apps hechas con constructores de IA y Next.js en Vercel hasta Supabase, source maps en CI, correos de alerta desde tu propio motor, y venir desde Sentry.ReferenciaLas páginas donde se consulta, desde el esquema de eventos y el glosario hasta lo planeado, el registro de cambios y las preguntas frecuentes.
↑↓ para moverte↵ para abrirEsc para cerrar