Consultant(e) Senior AI Engineer / Architecte IA on-premise (H/F)

Join the team IA

Tu es passionné(e) par l’IA et les LLM, et tu veux les faire tourner là où se trouvent les données : chez le client, sans cloud public ? Tu souhaites construire de A à Z une plateforme d’IA souveraine, sécurisée et simple à opérer ?

Notre client est un industriel qui conçoit et fabrique des machines spéciales. Pour garder la maîtrise de ses données industrielles (plans SolidWorks, historiques SAV, ERP), il a fait le choix d’une IA hébergée en local et vient de valider l’achat d’un serveur GPU dédié (4× NVIDIA RTX Pro 6000 Blackwell 96 Go, AMD EPYC 32 cœurs).

Une petite équipe interne (chef de projet, développeur, infra/réseaux) a déjà mené plusieurs POC : assistant de diagnostic SAV, recherche d’affaires similaires, fine-tuning et base vectorielle. Elle cherche maintenant un expert pour construire la plateforme, l’exploiter sur site et passer à l’échelle sur une dizaine de cas d’usage. Tout tourne sur l’infrastructure du client, y compris sans accès Internet.

Tes missions seront de

Auditer et cadrer : revue des POC existants, priorisation des cas d’usage (SAV, commerce, bureau d’études SolidWorks, production) et dimensionnement du serveur.
Construire le socle on-premise : installation et durcissement de l’OS, drivers NVIDIA/CUDA, orchestration de conteneurs avec GPU, partage des GPU entre usages.
Mettre en place la plateforme IA : service des modèles LLM et embeddings, RAG, base vectorielle, graphe de connaissances, passerelle d’accès unique aux modèles.
Déployer la landing zone et le MLOps : CI/CD sur GitLab auto-hébergé, registre d’images et de modèles en interne, pipelines de données et d’entraînement continu, infrastructure as code.
Intégrer les données : ERP (NAV, en refonte), SolidWorks, outils SAV, données hébergées sur VPS et serveurs de stockage.
Assurer la sécurité et l’exploitation : SSO et habilitations, traçabilité des réponses, gestion des secrets, supervision GPU, sauvegarde et plan de reprise (serveur unique).
Mener un premier projet R&D : industrialisation de l’assistant SAV et cadrage de l’OCR des archives papier (30 ans de bons d’intervention).
Transférer les compétences : documentation, formation et accompagnement de l’équipe interne vers l’autonomie.

Tu as 5 ans ou plus en data/IA, dont au moins 2 ans sur des LLM en production, avec une vraie expérience de l’infrastructure on-premise (pas uniquement des services managés cloud).

Infrastructure on-premise : administration Linux (Ubuntu / RHEL), réseau, stockage ; drivers NVIDIA, CUDA, partage GPU (MIG, time-slicing) ; Kubernetes on-premise (k3s, RKE2 ou équivalent), NVIDIA GPU Operator ; Ansible, Terraform, Helm, GitOps (Argo CD / Flux) ; environnements isolés ou sans Internet (Harbor, miroirs de modèles et de paquets) ; stockage objet S3 on-premise (MinIO, Ceph).

IA et LLM : serving avec vLLM, TGI, Triton ou Ollama (multi-GPU, quantization) ; passerelle d’accès aux modèles (LiteLLM ou équivalent) ; RAG avec LangChain ou LlamaIndex et évaluation de la qualité des réponses ; bases vectorielles (Qdrant, Milvus, pgvector) ; fine-tuning Hugging Face (Transformers, PEFT/LoRA) et préparation de datasets.

MLOps et données : GitLab CI, MLflow ou équivalent ; pipelines de données (Airflow, Dagster ou Prefect) ; intégration par API d’ERP et d’applications métier.

Sécurité et exploitation : SSO / RBAC (Keycloak, LDAP/AD), gestion des secrets (Vault) ; supervision (Prometheus, Grafana, DCGM exporter) ; sauvegarde et reprise (Velero, restic) ; journalisation et traçabilité des requêtes et réponses IA.

Savoir-être : tu as une posture de conseil, le goût du transfert de compétences et du pragmatisme : des choix adaptés à une petite équipe.

Tu maîtrises le français couramment (indispensable).

Un plus : graphes de connaissances (Neo4j), OCR et extraction documentaire (Docling, modèles vision-langage), données CAO / SolidWorks (API, nomenclatures), ERP Microsoft Dynamics NAV / Business Central, expérience dans l’industrie manufacturière et notions de vision industrielle, connaissance d’un cloud privé (OpenStack, Proxmox) ou souverain (SecNumCloud).

Consultant(e) Senior AI Engineer / Architecte IA on-premise (H/F)

Votre mission

Join the team IA

Tes missions seront de

Votre profil

Hedon, accélérateur de talents.

Rejoignez l'aventure Hedon.