# Ulti Suite — Checklist d'exécution complète

Objectif: transformer état actuel (partiellement implémenté) vers produit fonctionnel bout en bout.

## 0) Gouvernance & alignement docs

- [x] Mettre à jour statuts dans `project-plan/README.md` selon réalité code (ne plus marquer "Planifié" ce qui existe déjà en API).
- [x] Séparer clairement, dans chaque `.md`, ce qui est **déjà implémenté**, **partiel**, **non commencé**.
- [x] Définir roadmap officielle en 3 phases: MVP fonctionnel, hardening, différenciation IA/automations.
- [x] Ajouter "Definition of Done" par service (backend, frontend, sécurité, tests, observabilité).

### Owners nominaux (pilotage)

| Stream | Owner nominal | Backup |
|---|---|---|
| Produit / priorisation | `@PO` | `@Lead` |
| Backend core mail | `@BE-Core` | `@BE-Platform` |
| Intégrations suite (NC/Jitsi/Immich) | `@BE-Integrations` | `@BE-Core` |
| Frontend web | `@FE-Lead` | `@FE-App` |
| Sécurité | `@Security` | `@BE-Platform` |
| Infra / DevOps / Observabilité | `@DevOps` | `@SRE` |
| QA / tests e2e | `@QA` | `@FE-App` |


## 1) Fondations transverses (obligatoire avant features)

### Auth, identité, permissions

- [x] Imposer auth OIDC sur toutes routes privées, sans mode silencieux en prod.
- [x] Créer middleware de rôles (admin/user/service) et l'appliquer sur `/api/v1/admin`.
- [x] Mapper comptes Ulti ↔ comptes mail externes avec règles ownership strictes.
- [x] Ajouter journal d'audit sécurité (login, token rejeté, action admin, suppression critique).
- [x] Définir modèle permissions commun (read/write/admin) réutilisable Drive/Photos/Contacts/Agenda.

### Sécurité secrets & credentials

- [x] Chiffrer credentials IMAP/SMTP au repos (AES-GCM + key rotation planifiée).
- [x] Interdire stockage plaintext secrets dans DB.
- [x] Centraliser gestion secrets `.env`/runtime pour dev/prod.
- [x] Ajouter politique rotation secrets (OIDC, SMTP, webhook shared secrets).
- [x] Ajouter validation stricte inputs (URL webhooks, payload size, MIME, etc.).

### Qualité backend

- [x] Ajouter couche service claire entre handlers HTTP et accès DB.
- [x] Uniformiser erreurs API (code, message, details, trace id).
- [x] Ajouter validations payload complètes sur tous endpoints.
- [x] Ajouter pagination/filtrage standard partout (contacts, events, files, assets, messages).
- [x] Ajouter migrations DB manquantes pour besoins réels (indexes, contraintes d'intégrité, FK manquantes).

### Observabilité & exploitation

- [x] Ajouter request-id/correlation-id dans logs.
- [x] Ajouter métriques Prometheus (latence, erreurs, jobs sync, queue outbox, webhook success rate).
- [x] Ajouter health checks détaillés (DB, Redis/KeyDB, Nextcloud, Immich, Jitsi).
- [x] Ajouter dashboard Grafana baseline.
- [x] Définir alerting (mail sync bloquée, outbox bloquée, erreurs 5xx anormales).

### Tests & CI

- [x] Couvrir endpoints critiques par tests d'intégration.
- [x] Ajouter tests worker IMAP/smtp outbox/rules/webhooks.
- [x] Ajouter tests de migration DB en CI.
- [x] Ajouter tests e2e frontend sur parcours clés (lire mail, envoyer, planifier, rechercher).
- [x] Bloquer merge si tests critiques échouent.

## 2) Backend monolithe (`ulti-backend`)

### 2.1 API Mail (Ultimail backend)

#### Correctifs prioritaires

- [x] Corriger logique outbox "scheduled" vs "queued" pour envoi planifié.
- [x] Vérifier ownership sur `UpdateLabels`, `UpdateFlags`, `DeleteMessage`, `UpdateRule`, `DeleteRule`, `DeleteWebhook`.
- [x] Corriger flux création utilisateur manquant (external_id OIDC absent -> échec sous-requêtes user_id).
- [x] Ajouter gestion robuste erreurs SQL (`rows.Scan`, `Exec` result check, `rows.Err`).
- [x] Corriger cohérence threading (`thread_id`, `references`, `in_reply_to`).

#### Implémentation manquante

- [x] Endpoint brouillons (create/update/delete/list).
- [x] Endpoint pièces jointes (upload/download/inline/cid mapping).
- [x] Endpoint dossiers/labels (CRUD + mapping IMAP flags/folders).
- [x] Endpoint recherche avancée (filtres expéditeur, date, attachment, label, account).
- [x] Endpoint identities (alias/from/reply-to/signature par compte).

#### Hardening

- [x] Limiter taille body/attachments.
- [x] Sanitizer HTML côté lecture.
- [x] Protection anti-abus envoi (rate limit, retry backoff, circuit breaker SMTP).
- [x] Idempotency key sur envoi.

### 2.2 Sync IMAP & pipeline mail

- [x] Persister état sync incrémental fiable (UIDVALIDITY, MODSEQ, last seen UID).
- [x] Support suppressions/updates IMAP, pas seulement insert nouveaux messages.
- [x] Gérer dossiers spéciaux (Sent/Drafts/Trash/Archive/Spam) cross-provider.
- [x] Extraire et stocker attachments vers object storage.
- [x] Lancer rules engine à réception et tracer résultats.
- [x] Déclencher webhooks selon règles matchées.
- [x] Publier events realtime WS après sync.

### 2.3 SMTP / Outbox / Scheduling

- [x] Normaliser statuts outbox (`draft`, `queued`, `scheduled`, `sending`, `sent`, `failed`, `cancelled`).
- [x] Implémenter retries exponentiels + dead-letter strategy.
- [x] Implémenter "send now", "reschedule", "cancel scheduled".
- [x] Écrire message envoyé dans dossier Sent (sync cohérente UI).
- [x] Gérer inline attachments MIME multipart mixed/alternative.

### 2.4 Rules & Webhooks

- [x] Câbler réellement `rules.Engine` dans pipeline réception.
- [x] Câbler réellement `webhooks.Executor` depuis actions de règles.
- [x] Ajouter simulation/test endpoint "run rule on sample message".
- [x] Ajouter templates webhook versionnés + preview rendu variables.
- [x] Ajouter signatures webhook (HMAC) + retry + backoff + DLQ.
- [x] Ajouter observabilité des exécutions (latence, erreur, payload tronqué).

### 2.5 Realtime (`/ws`)

- [x] Remplacer `user_id` query param non sûr par auth token WS.
- [x] Ajouter événements typés (mail.created, mail.updated, outbox.updated, contact.updated...).
- [x] Ajouter heartbeat/ping/pong.
- [x] Gérer reconnexion client + rattrapage delta.
- [x] Limiter connexions par user/session.

### 2.6 Search

- [x] Finaliser recherche events (Agenda) et contacts (CardDAV), pas fallback users local.
- [x] Ajouter recherche multi-index (mail+contacts+files+events) avec score unifié.
- [x] Ajouter snippets contextuels et highlighting.
- [x] Ajouter filtres type/date/account.
- [x] Préparer option Meilisearch/Typesense activable.

### 2.7 Modules suite (Drive/Calendar/Contacts/Meet/Photos/Admin)

#### Drive

- [x] Ajouter upload chunked gros fichiers.
- [x] Ajouter rename/copy/list trash/recent/starred.
- [x] Ajouter ACL simplifiées (owner/editor/viewer) mappées correctement.
- [x] Ajouter quotas et erreurs métier propres.

#### Calendar

- [x] Ajouter update événement + gestion ETag/If-Match.
- [x] Ajouter invitations/réponses participants.
- [x] Ajouter free/busy endpoint.
- [x] Ajouter création lien Meet auto depuis event.

#### Contacts

- [x] Ajouter update contact + ETag.
- [x] Ajouter sync incrémentale (sync-token).
- [x] Ajouter fusion doublons serveur.
- [x] Ajouter endpoints enrichissement interactions mail/réunions/fichiers.

#### Meet

- [ ] Valider claims JWT Jitsi (iss/sub/aud/domain) selon déploiement réel.
- [ ] Ajouter logique droits modérateur (owner room, policy).
- [ ] Ajouter enregistrement + stockage Drive.
- [ ] Ajouter métadonnées sessions (participants, durée, logs).

#### Photos

- [x] Corriger mapping API Immich (champs JSON exacts, erreurs HTTP).
- [x] Ajouter pagination/tri/filtres robustes.
- [x] Ajouter albums CRUD complets.
- [x] Ajouter liaison stockage/quota avec Ultidrive.

#### Admin

- [x] Ajouter RBAC admin strict.
- [x] Ajouter CRUD utilisateurs complet (create/invite/disable/reactivate).
- [x] Ajouter quotas multi-service (mail/drive/photos).
- [x] Ajouter pages stats exploitables + export audit.

### 2.8 Migration hébergée (Google Workspace / Microsoft 365)

> **Avancement (2026-06-13)** — MVP migration B2B opérationnel (claim flexible, MS app-only, audit item-level) ; reste durcissement sécu claim, import Graph multi-dossiers, drive partagés/gros fichiers, roster, export audit, e2e OAuth réel.

#### Déjà implémenté

- [x] Projets migration CRUD, invitations tokenisées, claim + provision mailbox Stalwart avec `domain_id`. *(backend: `internal/migration/service.go`, `internal/api/migration/handlers.go`; frontend: `migration-projects-panel.tsx`, `/onboard/claim`)*
- [x] Worker asynchrone mail / contacts / calendar / drive avec OAuth utilisateur + Google DWD (`google_dwd`). *(backend: `internal/migration/worker.go`, `google_dwd.go`, `oauth.go`)*
- [x] Import et delta Gmail + Graph, pièces jointes Gmail, backoff HTTP 429, curseur `migration_imported_items` (table dédiée vs maps illimitées dans `cursor_json`). *(backend: `gmail_import.go`, `graph_import.go`, `gmail_attachments.go`, `http_retry.go`, `imported_items.go`)*
- [x] UI admin : sélecteur `auth_mode`, consentement admin Microsoft persisté, retry job / reset curseur / retry failed. *(frontend: `migration-projects-panel.tsx`; backend: `admin_jobs.go`, `microsoft_admin_consent.go`)*
- [x] Cutover MX/DNS avec pré-vérification live et blocage si MX non prêt (`migration_cutover_mx_not_ready`). *(backend: `cutover_dns.go`; frontend: panel admin DNS + bascule MX)*
- [x] Onboarding utilisateur claim → attente activation → hints OAuth / DWD / consent MS. *(backend: `onboarding.go`; frontend: `/onboard/migration`, `onboarding-ui.tsx`)*
- [x] Tests e2e Playwright parcours onboarding (API mockée). *(frontend: `e2e/onboard-migration.spec.ts`, `e2e/helpers/migration-onboarding.ts`)*
- [x] Claim alias flexible (email invite ≠ identité OIDC) — matching multi-claims + `alternate_emails` admin + règles UPN Microsoft. *(backend: `claim_email_match.go`, migration `000045`; durcissement sécu UPN/tenant : partiel)*
- [x] Auth Microsoft app-only (`microsoft_app`) — client credentials Graph, équivalent DWD Google. *(backend: `microsoft_app.go`, `auth_modes.go`, migration `000047`; validation tenant Azure pilote : partiel)*
- [x] Rapport d'audit migration par item (succès/échec/skip) — API paginée + panel admin. *(backend: migration `000046`, `audit_report.go`; export CSV/NDJSON : non fait)*

#### Partiel / non fait

- [ ] Durcissement claim — vérif `tid` OIDC vs `microsoft_tenant_id`, alias points/plus limités Gmail, UI admin `alternate_emails`. *(backend: `claim_email_match.go`; frontend: champ alternates absent du panel)*
- [ ] Import Graph mail folder-aware complet — import flat `/me/messages` ; métadonnées dossiers chargées mais pas d'itération par dossier. *(backend: `graph_import.go`)*
- [ ] Drive Shared Drives + fichiers >25 Mo — skip au-delà de `maxDriveFileBytes`, pas de shared drives Google. *(backend: `drive_import.go`)*
- [ ] Pré-provision roster (import CSV/liste utilisateurs avant claim individuel). *(non implémenté)*
- [ ] Export audit migration (CSV/NDJSON) pour ops cutover. *(API list/summary seulement)*
- [ ] Tests d'intégration sandbox Google/Microsoft réels — providers mockés via `httptest` en CI. *(backend: `internal/integrationtest/migration/`)*
- [ ] e2e Playwright OAuth réel (sans mocks API migration/auth). *(e2e actuels: `installMigrationApiMocks`)*
- [ ] Double chemin provision Authentik enrollment vs claim migration. *(risque doublons/orphelins non résolu)*

## 3) Frontend web (`gmail-interface-clone`)

> **Avancement (2026-05-23)** — migration offline-first API dans `gmail-interface-clone` : **14/22** items section 3 cochés. Reste : cleanup fichiers mock, recherche sans fallback offline, sync par compte, modules suite (§3.4), a11y/i18n/perf (§3.6).

### 3.1 Fondation data/API

- [x] Remplacer `lib/email-data.ts` par source serveur paginée. *(frontend: `use-mail-queries` + adapters; `email-data.ts` conservé pour types uniquement — suppression fichier TBD)*
- [x] Remplacer `lib/contacts/mock-data.ts` et `mock-accounts` par API backend. *(frontend: `use-contact-queries`, `useMailAccounts`; mocks non importés hors fichiers définition — suppression fichiers TBD)*
- [x] Créer client API unique (baseURL, auth bearer, gestion erreurs, timeout, retry). *(frontend: `lib/api/client.ts`, `auth-store.ts`)*
- [x] Ajouter couche query/cache (SWR ou TanStack Query). *(frontend: `@tanstack/react-query` + persist `idb`, `query-provider.tsx`, `offline-queue.ts`)*
- [ ] Définir contrat TypeScript partagé avec backend (DTOs versionnés). *(frontend: `lib/api/types.ts` aligné API; package monorepo partagé TBD)*

### 3.2 Mail UI

- [x] Brancher liste mails, lecture, flags, labels, delete sur `/api/v1/mail`. *(frontend: `use-mail-queries` / `use-mail-mutations`, composants liste + vue)*
- [x] Brancher compose/send/scheduled sur outbox backend. *(frontend: `use-compose-mutations`, `scheduled-store` outbox)*
- [ ] Brancher recherche UI sur backend search (fallback local supprimé). *(frontend: `useMailSearch` → `/mail/search` + fallback cache offline; autocomplete `search-engine` locale conservée)*
- [x] Brancher multi-comptes réels (accounts API + switch account effectif). *(frontend: `useMailAccounts`, `account-store` sans `MOCK_USER_ACCOUNTS`)*
- [x] Brancher settings (pas page placeholder) avec persistance backend. *(frontend: `mail-settings-store` + sync `MailSettingsSync`, page `/mail/settings`, hooks `use-mail-settings`; backend: `GET/PATCH /api/v1/mail/settings` → `settings.preferences.mail`)*

### 3.3 Contacts UI

- [x] Brancher store contacts sur API contacts. *(frontend: `use-contacts-list`, store UI-only `contacts-store.ts`)*
- [x] Brancher création/édition/suppression/fusion sur backend. *(frontend: `use-contact-mutations`, pages contacts + `merge-duplicates-view`)*
- [x] Brancher import/export vCard/CSV. *(frontend: `import-dialog` → API create; export CSV/vCard client depuis sélection)*
- [ ] Ajouter état synchronisation + résolution conflits. *(frontend: bannière sync mail globale seulement — pas conflits CardDAV)*

### 3.4 Agenda/Drive/Meet/Photos UI

- [ ] Créer shell pages front pour chaque service avec navigation cohérente.
- [ ] Implémenter workflows MVP: Drive list/upload/download, Agenda list/create event, Meet create/join, Photos list/upload.
- [ ] Réutiliser patterns UI partagés (toasts, loaders, erreurs, confirmations).
- [ ] Ajouter permissions UI selon rôle.

### 3.5 Realtime UX

- [x] Connecter WS sécurisé. *(frontend: `lib/api/ws.ts` token + `since` seq)*
- [x] Rafraîchir liste/detail sans reload quand events backend arrivent. *(frontend: invalidation TanStack Query sur events WS)*
- [x] Gérer offline/reconnect/sync status visible. *(frontend: `sync-status-bar.tsx`, `use-network-status.ts`, flush `offline-queue`)*
- [ ] Ajouter indicateur santé sync par compte. *(frontend: barre globale offline/syncing — pas indicateur par compte mail)*

### 3.6 Accessibilité, i18n, perf

- [ ] Audit a11y (navigation clavier, aria, contraste).
- [ ] Uniformiser FR/EN i18n.
- [ ] Réduire payload initial (code splitting, lazy heavy panels).
- [ ] Mesurer Core Web Vitals et fixer régressions.

## 4) Infrastructure & déploiement

### Docker/compose/proxy

- [ ] Vérifier routes nginx (`/api`, `/ws`, `/cloud`, `/meet`, `/auth`) en env réel.
- [ ] Ajouter TLS (Let's Encrypt ou reverse proxy dédié) pour prod.
- [ ] Ajouter limites upload/timeout proxy adaptées gros fichiers.
- [ ] Ajouter profiles compose clairs (dev, prod, modules optionnels).

### Données & backup

- [ ] Politique backup PostgreSQL + object storage + Nextcloud.
- [ ] Test restauration périodique.
- [ ] Politique rétention logs et audit.

### Sécurité runtime

- [ ] Durcir containers (users non-root, capabilities minimales, seccomp).
- [ ] Mettre scan vulnérabilités dépendances/images en CI.
- [ ] Ajouter CSP/headers sécurité côté frontend + proxy.


## 6) Validation "ça fonctionne"

### Parcours utilisateur obligatoires

- [ ] Connecter compte OIDC, créer compte mail IMAP/SMTP, voir inbox sync.
- [ ] Lire mail HTML/texte + télécharger pièce jointe.
- [ ] Envoyer mail immédiat, vérifier réception et dossier Sent.
- [ ] Planifier envoi, replanifier, envoyer maintenant.
- [ ] Créer règle (label + webhook), vérifier exécution réelle.
- [ ] Rechercher mail/contact/event depuis recherche globale.
- [ ] Créer contact, retrouver en auto-complétion compose.
- [ ] Créer événement agenda + lien meet + invitation mail.
- [ ] Upload fichier drive + partage lien.

### SLO minima

- [ ] API p95 < 300ms hors endpoints lourds.
- [ ] Échec sync mail < 1% sur 24h.
- [ ] Taux succès webhook > 99% hors erreurs distantes.
- [ ] Disponibilité service mensuelle cible >= 99.5%.

---

## Ordre recommandé d'exécution

1. **Blocage critique**: sécurité credentials + auth/rbac + bug outbox scheduled.
2. **MVP mail réel**: sync IMAP fiable + outbox + UI branchée backend.
3. **Intégrations suite MVP**: contacts/calendar/drive branchés parcours simples.
4. **Observabilité + tests**: CI solide, dashboards, alerting.
5. **Différenciation**: règles avancées, webhooks templates, IA.