From c84eb1e74059d00e0938f26393153f52fa95c657 Mon Sep 17 00:00:00 2001 From: Nick Szaunig Date: Sun, 27 Sep 2026 20:36:30 +0200 Subject: [PATCH] refactor(k8s): schlanker Umfang, Postgres und Medien auf SMB Auf Wunsch des Betreibers auf das Noetige reduziert: StatefulSet PostgreSQL, Services, Ingress, App-Deployment, zwei SMB-PersistentVolumes (Postgres-Daten, Medien). Beibehalten nach Absprache: Worker-CronJob (Folgeraten, Reservierungsfreigabe, Mail-Wiederholung), ConfigMap und die NetworkPolicies (Sicherheitsbefund Rate-Limit-Umgehung). - Migration als initContainer im App-Deployment statt eigenem Job - Entfernt: Backup-CronJob/-Volume (NAS sichert die Freigabe), Migrations-CronJob, PodDisruptionBudget, HTTP-Redirect-Ingress und Middleware, Namespace-Objekt (einmalig von Hand anzulegen) - PostgreSQL auf SMB als bewusste, dokumentierte Ausnahme mit hard, cache=strict, SMB 3.1.1 + seal, uid 70 / 0700 Co-Authored-By: Claude Opus 5.5 (1M context) --- Dockerfile | 4 +- docs/BETRIEB.md | 55 +++---- k8s/base/app.yaml | 28 ++-- k8s/base/config.yaml | 32 +---- k8s/base/jobs.yaml | 159 --------------------- k8s/base/kustomization.yaml | 3 +- k8s/base/postgres.yaml | 35 ++--- k8s/base/storage.yaml | 27 ++++ k8s/base/worker.yaml | 43 ++++++ k8s/overlays/production/ingress.yaml | 36 +---- k8s/overlays/production/kustomization.yaml | 6 +- k8s/overlays/production/smb-volumes.yaml | 99 +++++++------ 12 files changed, 200 insertions(+), 327 deletions(-) delete mode 100644 k8s/base/jobs.yaml create mode 100644 k8s/base/storage.yaml create mode 100644 k8s/base/worker.yaml diff --git a/Dockerfile b/Dockerfile index f970096..aae9f99 100644 --- a/Dockerfile +++ b/Dockerfile @@ -5,8 +5,8 @@ # docker build --target tools -t /artista-modelcamp-tools: . # # runner: der Next.js-Server (standalone), sonst nichts. -# tools: Prisma-CLI + tsx fuer den kontrollierten Migrationsschritt -# (Kubernetes-Job), den Worker (CronJob) und `admin:create`. +# tools: Prisma-CLI + tsx fuer die Migration (initContainer im App-Deployment), +# den Worker (CronJob) und `admin:create`. # Beide IMMER mit demselben Tag bauen und ausrollen — sie teilen das # Datenbankschema. diff --git a/docs/BETRIEB.md b/docs/BETRIEB.md index 1f4d543..9ea643e 100644 --- a/docs/BETRIEB.md +++ b/docs/BETRIEB.md @@ -25,19 +25,27 @@ Der Build braucht Internet für `next/font` (Schriften werden eingebettet), aber ## 2. Einmalig einrichten -1. **Overlay anpassen** (`k8s/overlays/production/`): Image-Namen und Tag, Domain in `kustomization.yaml` (APP_URL) und `ingress.yaml`, `ingressClassName` (`kubectl get ingressclass`), ClusterIssuer (Beispiel `letsencrypt-prod`) und TLS-Secret-Name. -2. **Speicher:** - - **PostgreSQL** bekommt Blockspeicher mit ReadWriteOnce (StorageClass im StatefulSet), auf keinen Fall eine SMB-Freigabe (Begründung in `k8s/base/postgres.yaml`). - - **Medien und Sicherungen** liegen auf SMB, über `k8s/overlays/production/smb-volumes.yaml`: - 1. csi-driver-smb installieren, Befehl steht im Kopf der Datei. - 2. Auf dem NAS die Ordner `modelcamp-media` und `modelcamp-backup` anlegen und `source` in der Datei anpassen. - 3. Das SMB-Secret anlegen: `kubectl -n artista create secret generic artista-modelcamp-smb --from-literal=username='…' --from-literal=password='…'`. Empfohlen ist ein eigener NAS-Benutzer, der nur diese Ordner sieht. - - Die PVCs sind statisch an die PVs gebunden. Die Rechte setzen die `mountOptions`: `uid=1001` für die App, `uid=70` für den Backup-Job, der mit `0700` bzw. `0600` geschützt ist, weil die Dumps personenbezogene Daten enthalten. Auf SMB wirkt `fsGroup` nicht. Das Medienvolume ist für die App nur lesbar (`0550`/`0440`), das Backup-Volume nutzt ReadWriteOnce. - - Die Verbindungen sind verschlüsselt (`vers=3.1.1`, `seal`). Das NAS muss SMB 3.1.1 mit Verschlüsselung erlauben, z. B. Synology unter „SMB-Verschlüsselung für Übertragung“, Windows mit `Set-SmbShare -EncryptData $true`. - - Ohne SMB: `smb-volumes.yaml` und die beiden PVC-Patches im Overlay entfernen, dann greift die Default-StorageClass. Das Medienvolume braucht dann ReadWriteMany, sonst `replicas: 1`. -3. **Secret anlegen:** Befehl steht in `k8s/secret.example.yaml`, besser über Sealed Secrets oder den External Secrets Operator. -4. **Anwenden:** `kubectl apply -k k8s/overlays/production` -5. **Migration** (siehe Abschnitt 3), danach das erste Admin-Konto: +**Was ausgerollt wird:** StatefulSet PostgreSQL, Services (App, Postgres), Ingress, App-Deployment (mit Migration als initContainer), zwei SMB-Volumes (Postgres-Daten, Medien) und zusätzlich: +- der Worker-CronJob, nötig für Folgeraten, Reservierungsfreigabe und Mail-Wiederholung +- ConfigMap +- zwei NetworkPolicies (Schutz der Rate Limits und der Datenbank) + +Eine eigene Sicherung im Cluster gibt es nicht, die SMB-Freigabe wird auf dem NAS gesichert. + +1. **Namespace:** `kubectl create namespace artista` und `kubectl label namespace artista pod-security.kubernetes.io/enforce=restricted` +2. **Overlay anpassen** (`k8s/overlays/production/`): Image-Tag, Domain in `kustomization.yaml` (APP_URL) und `ingress.yaml`, `ingressClassName` (`kubectl get ingressclass`), ClusterIssuer (Beispiel `letsencrypt-prod`) und TLS-Secret-Name. Die HTTP→HTTPS-Umleitung erwartet das Manifest in Traefik selbst. +3. **SMB-Speicher** (`k8s/overlays/production/smb-volumes.yaml`): + 1. csi-driver-smb installieren, Befehl steht im Kopf der Datei. + 2. Auf dem NAS die Ordner `modelcamp-postgres` (leer) und `modelcamp-media` anlegen und `source` in der Datei anpassen. + 3. SMB-Secret anlegen: `kubectl -n artista create secret generic artista-modelcamp-smb --from-literal=username='…' --from-literal=password='…'`. Empfohlen ist ein eigener NAS-Benutzer, der nur diese Ordner sieht. + 4. Das NAS muss SMB 3.1.1 mit Verschlüsselung erlauben (`seal`), z. B. Synology unter „SMB-Verschlüsselung für Übertragung“, Windows mit `Set-SmbShare -EncryptData $true`. + + Die Rechte setzen die `mountOptions`, auf SMB wirkt `fsGroup` nicht: Postgres `uid=70`, `0700`/`0600`; Medien `uid=1001`, für die App nur lesbar (`0550`/`0440`). + + **PostgreSQL auf SMB ist eine bewusste Ausnahme.** SMB garantiert Sperren und fsync nicht in jedem Fall wie ein lokales Dateisystem. Bei einem NAS- oder Netzwerkausfall während Schreibvorgängen kann die Datenbank beschädigt werden. Gemildert wird das durch `hard`, `cache=strict`, Verschlüsselung und ein 120 Sekunden langes, sauberes Herunterfahren. Die NAS-Sicherung ist nur mit **atomaren Snapshots** der Freigabe (Btrfs/ZFS) konsistent. Ein Dateikopie-Backup eines laufenden Datenverzeichnisses lässt sich nicht zuverlässig wiederherstellen. Zusätzlicher Schutz bei Bedarf: gelegentlich einen `pg_dump` ziehen (Abschnitt 7). +4. **Secret anlegen:** Befehl steht in `k8s/secret.example.yaml`, besser über Sealed Secrets oder den External Secrets Operator. +5. **Anwenden:** `kubectl apply -k k8s/overlays/production`. Der initContainer migriert die Datenbank vor dem App-Start. +6. **Erstes Admin-Konto:** ```bash kubectl -n artista run admin-create --rm -it --restart=Never --labels=artista/db-client=true \ --image=git.encry.de/nick.rosenloecher/artista-modelcamp-tools:0.1.0 \ @@ -45,17 +53,16 @@ Der Build braucht Internet für `next/font` (Schriften werden eingebettet), aber ``` Das einmalige Passwort wird ausgegeben. Bei der ersten Anmeldung unter `/admin` wird die 2FA eingerichtet. -## 3. Update ausrollen (kontrollierter Migrationsschritt) +## 3. Update ausrollen ```bash -# 1. Neuen Tag im Overlay setzen, anwenden (App rollt noch NICHT aus, solange Tag gleich bleibt) +# Neuen Tag im Overlay setzen und anwenden. Jeder neue App-Pod migriert per +# initContainer "migrate" zuerst die Datenbank; scheitert das, startet er nicht +# und die alten Pods bleiben aktiv (maxUnavailable: 0). kubectl apply -k k8s/overlays/production -# 2. Migration bewusst starten und abwarten -JOB=migrate-$(date +%Y%m%d%H%M) -kubectl -n artista create job $JOB --from=cronjob/artista-modelcamp-migrate -kubectl -n artista wait --for=condition=complete job/$JOB --timeout=5m -# 3. Rollout beobachten kubectl -n artista rollout status deploy/artista-modelcamp-app +# Migrationsausgabe bei Bedarf: +kubectl -n artista logs deploy/artista-modelcamp-app -c migrate ``` Migrationen sind vorwärtskompatibel zu schreiben (erst Spalten ergänzen, später entfernen), damit alte und neue Pods während des Rollouts parallel laufen können. @@ -88,8 +95,8 @@ Ein fehlgeschlagener Lauf erscheint als fehlgeschlagener Job (`kubectl -n artist ## 7. Sicherung und Wiederherstellung -- **Sicherung:** Der CronJob `artista-modelcamp-db-backup` erstellt täglich um 3:15 Uhr einen Dump im `pg_dump`-Custom-Format nach `artista-modelcamp-db-backup` und bewahrt ihn 30 Tage auf. -- **Aus dem Cluster sichern (regelmäßig):** +- **Sicherung:** Die NAS-Sicherung der SMB-Freigabe übernimmt das Speichersystem. Für PostgreSQL gilt das nur mit atomaren Snapshots, siehe Abschnitt 2. Im Cluster läuft kein Backup-Job. +- **Logischer Dump** (empfohlen vor Updates und vor dem Live-Verkauf): ```bash POD=$(kubectl -n artista get pod -l app.kubernetes.io/name=artista-modelcamp-postgres -o name | head -1) kubectl -n artista exec $POD -- pg_dump -U artista -d artista --format=custom > artista-$(date +%F).dump @@ -97,9 +104,9 @@ Ein fehlgeschlagener Lauf erscheint als fehlgeschlagener Job (`kubectl -n artist - **Wiederherstellen:** 1. App stoppen: `kubectl -n artista scale deploy/artista-modelcamp-app --replicas=0` und den Worker-CronJob pausieren: `kubectl -n artista patch cronjob artista-modelcamp-worker -p '{"spec":{"suspend":true}}'` 2. Einspielen: `kubectl -n artista exec -i $POD -- pg_restore -U artista -d artista --clean --if-exists < artista-YYYY-MM-DD.dump` - 3. Migration laufen lassen (Abschnitt 3), App wieder hochskalieren, Worker fortsetzen. + 3. App wieder hochskalieren (der initContainer migriert dabei), Worker fortsetzen. 4. Abgleich: Zahlungen, die nach dem Sicherungszeitpunkt eingingen, im Stripe-Dashboard prüfen. Stripe stellt Webhooks bis zu drei Tage erneut zu (Dashboard → Webhooks → „Erneut senden“). -- **Medien:** Das Volume `artista-modelcamp-media` separat sichern, z. B. mit Volume-Snapshots oder der Sicherung des Speichersystems. +- **Medien:** liegen im SMB-Ordner `modelcamp-media` und sind in der NAS-Sicherung enthalten. - **Wiederherstellung üben:** mindestens einmal vor dem Live-Verkauf in einen Test-Namespace. ## 8. Stornierung und Erstattung diff --git a/k8s/base/app.yaml b/k8s/base/app.yaml index 0ff7a92..a5ae4ae 100644 --- a/k8s/base/app.yaml +++ b/k8s/base/app.yaml @@ -2,8 +2,10 @@ # Reservierungen, Rate Limits, E-Mail-Ausgang und Zahlungsjobs liegen in # PostgreSQL — beliebig viele Replikate moeglich. # -# Migrationen laufen NICHT beim Start, sondern als eigener, kontrollierter -# Schritt (jobs.yaml, CronJob "artista-modelcamp-migrate", siehe docs/BETRIEB.md). +# Migrationen laufen als eigener Schritt VOR dem App-Container: initContainer +# "migrate" (Werkzeug-Image, `prisma migrate deploy`). Scheitert er, startet +# die App nicht. Mehrere Replikate gleichzeitig sind unkritisch — Prisma +# serialisiert Migrationen ueber eine Datenbank-Sperre. apiVersion: apps/v1 kind: Deployment metadata: @@ -37,6 +39,18 @@ spec: labelSelector: matchLabels: app.kubernetes.io/name: artista-modelcamp-app + initContainers: + - name: migrate + image: artista-modelcamp-tools + command: ["prisma", "migrate", "deploy"] + envFrom: + - secretRef: { name: artista-modelcamp-secrets } + resources: + requests: { cpu: 50m, memory: 128Mi } + limits: { memory: 512Mi } + securityContext: + allowPrivilegeEscalation: false + capabilities: { drop: ["ALL"] } containers: - name: app image: artista-modelcamp @@ -117,13 +131,3 @@ spec: - port: 3000 # Kubelet-Probes kommen vom Knoten und sind von NetworkPolicies je nach # CNI (Canal/Calico in RKE2) ausgenommen. ---- -apiVersion: policy/v1 -kind: PodDisruptionBudget -metadata: - name: artista-modelcamp-app -spec: - minAvailable: 1 - selector: - matchLabels: - app.kubernetes.io/name: artista-modelcamp-app diff --git a/k8s/base/config.yaml b/k8s/base/config.yaml index be5c1be..ba3d470 100644 --- a/k8s/base/config.yaml +++ b/k8s/base/config.yaml @@ -1,11 +1,7 @@ -apiVersion: v1 -kind: Namespace -metadata: - name: artista - labels: - # Pod Security Admission: nur eingeschraenkte (non-root) Pods. - pod-security.kubernetes.io/enforce: restricted ---- +# Der Namespace "artista" wird einmalig von Hand angelegt: +# kubectl create namespace artista +# kubectl label namespace artista pod-security.kubernetes.io/enforce=restricted +# # Nicht geheime Einstellungen. Geheimnisse: k8s/secret.example.yaml. apiVersion: v1 kind: ConfigMap @@ -23,26 +19,8 @@ data: MEDIA_DIR: "/app/media" EXTERNAL_VIDEO_PROVIDER: "none" --- -# Freigegebene Bilder und Videos (Unterkunft, Portraets, Feedback-Videos). -# Dauerhaft, deshalb ein PersistentVolumeClaim und KEIN emptyDir. -# -# ReadWriteMany, weil mehrere App-Replikate dasselbe Verzeichnis lesen. -# Geeignet: z. B. Longhorn (RWX), NFS oder eine SMB/CSI-Freigabe — fuer -# Medien ist ein Netzwerkdateisystem unkritisch (anders als fuer PostgreSQL). -# Steht nur ReadWriteOnce zur Verfuegung: replicas im Deployment auf 1 setzen. -apiVersion: v1 -kind: PersistentVolumeClaim -metadata: - name: artista-modelcamp-media -spec: - accessModes: ["ReadWriteMany"] - # storageClassName: longhorn - resources: - requests: - storage: 5Gi ---- # Die Datenbank ist nur fuer Pods mit dem Label artista/db-client erreichbar -# (App, Migration, Worker, Sicherung). +# (App inkl. Migrations-initContainer, Worker). apiVersion: networking.k8s.io/v1 kind: NetworkPolicy metadata: diff --git a/k8s/base/jobs.yaml b/k8s/base/jobs.yaml deleted file mode 100644 index a85248e..0000000 --- a/k8s/base/jobs.yaml +++ /dev/null @@ -1,159 +0,0 @@ -# --- Migration ---------------------------------------------------------------- -# Als SUSPENDIERTER CronJob definiert, damit Kustomize das Image mit der -# App gleichzieht. Er laeuft nie von selbst, sondern bewusst vor jedem -# Rollout: -# kubectl -n artista create job migrate-$(date +%Y%m%d%H%M) --from=cronjob/artista-modelcamp-migrate -# kubectl -n artista wait --for=condition=complete job/migrate-… --timeout=5m -apiVersion: batch/v1 -kind: CronJob -metadata: - name: artista-modelcamp-migrate -spec: - suspend: true - schedule: "0 0 1 1 *" - jobTemplate: - spec: - backoffLimit: 0 - ttlSecondsAfterFinished: 86400 - template: - metadata: - labels: - artista/db-client: "true" - spec: - restartPolicy: Never - automountServiceAccountToken: false - securityContext: - runAsNonRoot: true - runAsUser: 1001 - seccompProfile: { type: RuntimeDefault } - containers: - - name: migrate - image: artista-modelcamp-tools - command: ["prisma", "migrate", "deploy"] - envFrom: - - secretRef: { name: artista-modelcamp-secrets } - resources: - requests: { cpu: 50m, memory: 128Mi } - limits: { memory: 512Mi } - securityContext: - allowPrivilegeEscalation: false - capabilities: { drop: ["ALL"] } ---- -# --- Worker ------------------------------------------------------------------- -# Gibt abgelaufene Reservierungen frei (nach Rueckfrage bei Stripe), zieht -# faellige Raten ein, trennt Zahlungsmethoden nach der letzten Rate, -# versendet den E-Mail-Ausgang. Idempotent; Forbid verhindert -# ueberlappende Laeufe zusaetzlich. -apiVersion: batch/v1 -kind: CronJob -metadata: - name: artista-modelcamp-worker -spec: - schedule: "*/10 * * * *" - timeZone: "Europe/Berlin" - concurrencyPolicy: Forbid - startingDeadlineSeconds: 300 - successfulJobsHistoryLimit: 3 - failedJobsHistoryLimit: 5 - jobTemplate: - spec: - backoffLimit: 1 - activeDeadlineSeconds: 900 - template: - metadata: - labels: - artista/db-client: "true" - spec: - restartPolicy: Never - automountServiceAccountToken: false - securityContext: - runAsNonRoot: true - runAsUser: 1001 - seccompProfile: { type: RuntimeDefault } - containers: - - name: worker - image: artista-modelcamp-tools - command: ["tsx", "scripts/worker.ts"] - envFrom: - - configMapRef: { name: artista-modelcamp-config } - - secretRef: { name: artista-modelcamp-secrets } - resources: - requests: { cpu: 50m, memory: 192Mi } - limits: { memory: 512Mi } - securityContext: - allowPrivilegeEscalation: false - capabilities: { drop: ["ALL"] } ---- -# --- Sicherung ---------------------------------------------------------------- -# Taeglicher pg_dump mit 30 Tagen Aufbewahrung. Das Backup-Volume darf ein -# Netzwerkspeicher (NFS/SMB) sein. Zusaetzlich regelmaessig aus dem Cluster -# kopieren (docs/BETRIEB.md, "Sicherung und Wiederherstellung"). -apiVersion: v1 -kind: PersistentVolumeClaim -metadata: - name: artista-modelcamp-db-backup -spec: - accessModes: ["ReadWriteOnce"] - # storageClassName: smb-backup - resources: - requests: - storage: 10Gi ---- -apiVersion: batch/v1 -kind: CronJob -metadata: - name: artista-modelcamp-db-backup -spec: - schedule: "15 3 * * *" - timeZone: "Europe/Berlin" - concurrencyPolicy: Forbid - failedJobsHistoryLimit: 5 - jobTemplate: - spec: - backoffLimit: 2 - template: - metadata: - labels: - artista/db-client: "true" - spec: - restartPolicy: OnFailure - automountServiceAccountToken: false - securityContext: - runAsNonRoot: true - runAsUser: 70 - runAsGroup: 70 - fsGroup: 70 - seccompProfile: { type: RuntimeDefault } - containers: - - name: pg-dump - # Gleiche Hauptversion wie der Server. - image: postgres:18.1-alpine - env: - - name: PGPASSWORD - valueFrom: - secretKeyRef: { name: artista-modelcamp-secrets, key: DB_PASSWORD } - command: ["/bin/sh", "-c"] - args: - - | - set -eu - set -o pipefail - target="/backup/artista-$(date -u +%Y-%m-%d_%H%M).dump" - # Custom-Format: komprimiert, selektiv wiederherstellbar. - pg_dump --host=artista-modelcamp-postgres --username=artista --dbname=artista \ - --format=custom --file="${target}.partial" - mv "${target}.partial" "${target}" - find /backup -name 'artista-*.dump.partial' -mtime +1 -delete - find /backup -name 'artista-*.dump' -mtime +30 -delete - ls -lh /backup - resources: - requests: { cpu: 50m, memory: 128Mi } - limits: { memory: 256Mi } - securityContext: - allowPrivilegeEscalation: false - capabilities: { drop: ["ALL"] } - volumeMounts: - - name: backup - mountPath: /backup - volumes: - - name: backup - persistentVolumeClaim: { claimName: artista-modelcamp-db-backup } diff --git a/k8s/base/kustomization.yaml b/k8s/base/kustomization.yaml index 78569a7..196dfc2 100644 --- a/k8s/base/kustomization.yaml +++ b/k8s/base/kustomization.yaml @@ -5,9 +5,10 @@ kind: Kustomization namespace: artista resources: - config.yaml + - storage.yaml - postgres.yaml - app.yaml - - jobs.yaml + - worker.yaml labels: - pairs: app.kubernetes.io/part-of: artista-modelcamp diff --git a/k8s/base/postgres.yaml b/k8s/base/postgres.yaml index 7798c41..200eb73 100644 --- a/k8s/base/postgres.yaml +++ b/k8s/base/postgres.yaml @@ -1,14 +1,11 @@ # PostgreSQL fuer Buchungen, Zahlungen, Gutscheine und Protokoll. # -# SPEICHER: Blockspeicher mit ReadWriteOnce verwenden (z. B. Longhorn, -# local-path, Ceph RBD). KEINE SMB/CIFS-Freigabe als Datenverzeichnis: -# SMB bildet POSIX-Sperren, fsync-Garantien und Dateirechte nicht so ab, -# wie PostgreSQL sie fuer Absturzsicherheit voraussetzt — Datenverlust bei -# Stromausfall oder Neustart ist die Folge. Sicherungen (backup-CronJob) -# duerfen dagegen auf SMB/NFS liegen. -# -# Alternative fuer hoehere Verfuegbarkeit: CloudNativePG-Operator; dann -# dieses Manifest weglassen und DATABASE_URL auf dessen Service zeigen lassen. +# Datenverzeichnis: PVC "artista-modelcamp-postgres-data" (storage.yaml), im +# Produktions-Overlay auf SMB. Das ist eine BEWUSSTE, vom Betreiber +# akzeptierte Ausnahme von der Empfehlung "Blockspeicher": SMB garantiert +# Sperren und fsync nicht in jedem Fall wie ein lokales Dateisystem. Die +# Mount-Optionen in smb-volumes.yaml sind darauf ausgelegt; Risiken und +# Hinweise zur Sicherung stehen in docs/BETRIEB.md. apiVersion: apps/v1 kind: StatefulSet metadata: @@ -24,11 +21,14 @@ spec: labels: app.kubernetes.io/name: artista-modelcamp-postgres spec: + automountServiceAccountToken: false + # Beim Beenden sauber herunterfahren (Checkpoint), bevor das Volume + # ausgehaengt wird — auf Netzwerkspeicher besonders wichtig. + terminationGracePeriodSeconds: 120 securityContext: runAsNonRoot: true runAsUser: 70 runAsGroup: 70 - fsGroup: 70 seccompProfile: { type: RuntimeDefault } containers: - name: postgres @@ -52,23 +52,18 @@ spec: periodSeconds: 5 livenessProbe: exec: { command: ["pg_isready", "-U", "artista"] } - initialDelaySeconds: 30 + initialDelaySeconds: 60 periodSeconds: 20 + failureThreshold: 6 resources: requests: { cpu: 100m, memory: 256Mi } limits: { memory: 1Gi } securityContext: allowPrivilegeEscalation: false capabilities: { drop: ["ALL"] } - volumeClaimTemplates: - - metadata: - name: data - spec: - accessModes: ["ReadWriteOnce"] - # storageClassName: longhorn - resources: - requests: - storage: 10Gi + volumes: + - name: data + persistentVolumeClaim: { claimName: artista-modelcamp-postgres-data } --- apiVersion: v1 kind: Service diff --git a/k8s/base/storage.yaml b/k8s/base/storage.yaml new file mode 100644 index 0000000..be7ab9a --- /dev/null +++ b/k8s/base/storage.yaml @@ -0,0 +1,27 @@ +# Die beiden dauerhaften Speicher. Im Produktions-Overlay werden sie fest an +# die SMB-PersistentVolumes gebunden (k8s/overlays/production/smb-volumes.yaml). +# Eine separate Sicherung gibt es nicht: die SMB-Freigabe wird auf dem NAS +# selbst mehrfach gesichert. + +# PostgreSQL-Datenverzeichnis. +apiVersion: v1 +kind: PersistentVolumeClaim +metadata: + name: artista-modelcamp-postgres-data +spec: + accessModes: ["ReadWriteOnce"] + resources: + requests: + storage: 10Gi +--- +# Freigegebene Bilder und Videos. ReadWriteMany, weil mehrere App-Replikate +# lesen. +apiVersion: v1 +kind: PersistentVolumeClaim +metadata: + name: artista-modelcamp-media +spec: + accessModes: ["ReadWriteMany"] + resources: + requests: + storage: 5Gi diff --git a/k8s/base/worker.yaml b/k8s/base/worker.yaml new file mode 100644 index 0000000..6757e67 --- /dev/null +++ b/k8s/base/worker.yaml @@ -0,0 +1,43 @@ +# Worker: gibt abgelaufene Reservierungen frei (nach Rueckfrage bei Stripe), +# zieht faellige Raten ein, trennt Zahlungsmethoden nach der letzten Rate und +# versendet den E-Mail-Ausgang. Ohne ihn laufen Ratenzahlung und +# Reservierungsfreigabe nicht. Idempotent; Forbid verhindert Ueberlappung. +apiVersion: batch/v1 +kind: CronJob +metadata: + name: artista-modelcamp-worker +spec: + schedule: "*/10 * * * *" + timeZone: "Europe/Berlin" + concurrencyPolicy: Forbid + startingDeadlineSeconds: 300 + successfulJobsHistoryLimit: 3 + failedJobsHistoryLimit: 5 + jobTemplate: + spec: + backoffLimit: 1 + activeDeadlineSeconds: 900 + template: + metadata: + labels: + artista/db-client: "true" + spec: + restartPolicy: Never + automountServiceAccountToken: false + securityContext: + runAsNonRoot: true + runAsUser: 1001 + seccompProfile: { type: RuntimeDefault } + containers: + - name: worker + image: artista-modelcamp-tools + command: ["tsx", "scripts/worker.ts"] + envFrom: + - configMapRef: { name: artista-modelcamp-config } + - secretRef: { name: artista-modelcamp-secrets } + resources: + requests: { cpu: 50m, memory: 192Mi } + limits: { memory: 512Mi } + securityContext: + allowPrivilegeEscalation: false + capabilities: { drop: ["ALL"] } diff --git a/k8s/overlays/production/ingress.yaml b/k8s/overlays/production/ingress.yaml index 4722eb5..c2abfbb 100644 --- a/k8s/overlays/production/ingress.yaml +++ b/k8s/overlays/production/ingress.yaml @@ -1,6 +1,8 @@ # Ingress fuer Traefik mit cert-manager. -# Anpassen: Host (auch in APP_URL, kustomization.yaml), ingressClassName +# Anpassen: Host (auch APP_URL in kustomization.yaml), ingressClassName # ("kubectl get ingressclass"), ClusterIssuer, TLS-Secret-Name. +# HTTP->HTTPS-Umleitung erwartet dieses Manifest EntryPoint-weit in Traefik +# (Helm: ports.web.redirections.entryPoint.to=websecure). # # X-Forwarded-For/X-Real-Ip: Rate Limits verlassen sich darauf, dass Traefik # vom Client mitgeschickte Werte verwirft. Dafuer im Traefik-EntryPoint @@ -30,35 +32,3 @@ spec: name: artista-modelcamp-app port: name: http ---- -# HTTP -> HTTPS. Entfaellt, wenn Traefik das bereits EntryPoint-weit tut -# (Helm: ports.web.redirections.entryPoint.to=websecure). -apiVersion: networking.k8s.io/v1 -kind: Ingress -metadata: - name: artista-modelcamp-http-redirect - annotations: - traefik.ingress.kubernetes.io/router.entrypoints: web - traefik.ingress.kubernetes.io/router.middlewares: artista-artista-modelcamp-redirect-https@kubernetescrd -spec: - ingressClassName: traefik - rules: - - host: modelcamp.example.org - http: - paths: - - path: / - pathType: Prefix - backend: - service: - name: artista-modelcamp-app - port: - name: http ---- -apiVersion: traefik.io/v1alpha1 -kind: Middleware -metadata: - name: artista-modelcamp-redirect-https -spec: - redirectScheme: - scheme: https - permanent: true diff --git a/k8s/overlays/production/kustomization.yaml b/k8s/overlays/production/kustomization.yaml index a6b1acf..3fbf067 100644 --- a/k8s/overlays/production/kustomization.yaml +++ b/k8s/overlays/production/kustomization.yaml @@ -7,7 +7,7 @@ namespace: artista resources: - ../../base - ingress.yaml - # Medien und Sicherungen auf SMB (PostgreSQL bewusst nicht, siehe Datei). + # PostgreSQL-Daten und Medien auf SMB. # Ohne SMB: diese Zeile und die beiden PVC-Patches unten entfernen. - smb-volumes.yaml @@ -32,14 +32,14 @@ patches: - op: add path: /spec/volumeName value: artista-modelcamp-media-smb - - target: { kind: PersistentVolumeClaim, name: artista-modelcamp-db-backup } + - target: { kind: PersistentVolumeClaim, name: artista-modelcamp-postgres-data } patch: |- - op: add path: /spec/storageClassName value: "" - op: add path: /spec/volumeName - value: artista-modelcamp-db-backup-smb + value: artista-modelcamp-postgres-smb - target: { kind: ConfigMap, name: artista-modelcamp-config } patch: |- - op: replace diff --git a/k8s/overlays/production/smb-volumes.yaml b/k8s/overlays/production/smb-volumes.yaml index f64551d..2fcad44 100644 --- a/k8s/overlays/production/smb-volumes.yaml +++ b/k8s/overlays/production/smb-volumes.yaml @@ -6,22 +6,60 @@ # und das Zugangs-Secret "artista-modelcamp-smb" (k8s/secret.example.yaml). # # ANZUPASSEN: "source" (////) je Volume. Die Ordner -# muessen auf der Freigabe bereits existieren. +# muessen auf der Freigabe bereits existieren; der Postgres-Ordner leer. # -# BEWUSST NICHT AUF SMB: das PostgreSQL-Datenverzeichnis. SMB bildet -# POSIX-Sperren, fsync-Garantien und Dateirechte nicht so ab, wie PostgreSQL -# sie fuer Absturzsicherheit braucht (Briefing §13). Die Datenbank bleibt auf -# Blockspeicher und wird taeglich per pg_dump auf das Backup-Volume unten -# gesichert — damit liegen die Geschaeftsdaten trotzdem auf dem NAS. -# -# Rechte: fsGroup wirkt auf SMB nicht. Besitz und Rechte setzen deshalb -# uid/gid/dir_mode/file_mode in den mountOptions (Muster aus Wabenhain). -# Aenderungen an mountOptions greifen erst beim naechsten Einhaengen. -# reclaimPolicy Retain: Loeschen von PVC/PV laesst die Dateien auf dem NAS. +# Beide Verbindungen verschluesselt (SMB 3.1.1 + seal); das NAS muss +# SMB-Verschluesselung erlauben. fsGroup wirkt auf SMB nicht: Besitz und +# Rechte setzen uid/gid/dir_mode/file_mode. reclaimPolicy Retain: Loeschen +# von PVC/PV laesst die Dateien auf dem NAS. +# Keine eigene Sicherung im Cluster: die Freigabe wird auf dem NAS gesichert. -# --- Medien (Bilder/Videos) ---------------------------------------------------- -# Die App liest nur (readOnly-Mount). Neue Bilder legst du direkt ueber die -# SMB-Freigabe ab, z. B. vom Windows-Explorer aus. +# --- PostgreSQL-Datenverzeichnis ------------------------------------------------ +# BEWUSSTE AUSNAHME (Entscheidung des Betreibers): Datenbank auf SMB. +# Risiko: SMB garantiert Sperren/fsync nicht in jedem Fall wie ein lokales +# Dateisystem; bei Netzwerk- oder NAS-Ausfall waehrend Schreibvorgaengen kann +# die Datenbank beschaedigt werden. Die Optionen unten minimieren das: +# hard E/A wartet bei Netzstoerung statt Fehler an PostgreSQL zu +# melden (kein "soft"-Abbruch mitten im Schreiben) +# cache=strict strikte Cache-Kohaerenz, fsync geht bis zum Server +# nobrl keine Byte-Range-Locks (PostgreSQL braucht sie nicht) +# uid/gid 70, 0700/0600 PostgreSQL verlangt ein privates Datenverzeichnis +# Sicherung: nur NAS-Snapshots, die atomar sind (Btrfs/ZFS-Snapshot der ganzen +# Freigabe), sind fuer ein laufendes Datenverzeichnis konsistent. Einfaches +# Dateikopieren waehrend des Betriebs ergibt KEINE brauchbare Sicherung. +apiVersion: v1 +kind: PersistentVolume +metadata: + name: artista-modelcamp-postgres-smb +spec: + capacity: + storage: 10Gi + accessModes: ["ReadWriteOnce"] + persistentVolumeReclaimPolicy: Retain + storageClassName: "" + mountOptions: + - vers=3.1.1 + - seal + - hard + - cache=strict + - uid=70 + - gid=70 + - dir_mode=0700 + - file_mode=0600 + - mfsymlinks + - nobrl + csi: + driver: smb.csi.k8s.io + volumeHandle: artista-modelcamp-postgres-smb + volumeAttributes: + source: //nas.example.lan/artista/modelcamp-postgres + nodeStageSecretRef: + name: artista-modelcamp-smb + namespace: artista +--- +# --- Medien (Bilder/Videos) ------------------------------------------------------ +# Die App liest nur. Neue Bilder legst du direkt ueber die SMB-Freigabe ab, +# z. B. vom Windows-Explorer aus. apiVersion: v1 kind: PersistentVolume metadata: @@ -34,7 +72,7 @@ spec: storageClassName: "" mountOptions: - vers=3.1.1 - - seal # SMB3-Verschluesselung: keine Klartextdaten im Netz + - seal - uid=1001 # Containerbenutzer "nextjs" (Dockerfile) - gid=1001 - dir_mode=0550 # App liest nur; Schreiben ausschliesslich ueber das NAS @@ -43,40 +81,9 @@ spec: - nobrl csi: driver: smb.csi.k8s.io - # Muss im Cluster eindeutig sein. volumeHandle: artista-modelcamp-media-smb volumeAttributes: source: //nas.example.lan/artista/modelcamp-media nodeStageSecretRef: name: artista-modelcamp-smb namespace: artista ---- -# --- Datenbank-Sicherungen ------------------------------------------------------ -apiVersion: v1 -kind: PersistentVolume -metadata: - name: artista-modelcamp-db-backup-smb -spec: - capacity: - storage: 10Gi - # ReadWriteOnce: nur der Backup-Job haengt dieses Volume ein. - accessModes: ["ReadWriteOnce"] - persistentVolumeReclaimPolicy: Retain - storageClassName: "" - mountOptions: - - vers=3.1.1 - - seal # SMB3-Verschluesselung: keine Klartextdaten im Netz - - uid=70 # Benutzer "postgres" im pg_dump-Job (postgres:18-alpine) - - gid=70 - - dir_mode=0700 # Sicherungen enthalten personenbezogene Daten - - file_mode=0600 - - mfsymlinks - - nobrl - csi: - driver: smb.csi.k8s.io - volumeHandle: artista-modelcamp-db-backup-smb - volumeAttributes: - source: //nas.example.lan/artista/modelcamp-backup - nodeStageSecretRef: - name: artista-modelcamp-smb - namespace: artista