Le défi

Chaque conversation vocale sur notre plateforme est une course contre la montre face au budget de latence : entrée vocale, transcription, modèle de langage, synthèse vocale de sortie, le tout sur des GPU, et tout cela avant qu'un humain ne commence à ressentir le décalage. Nous déployons ce pipeline à travers l'Afrique et le Moyen-Orient, sur des lignes bruyantes et des dialectes réels, sous des contraintes d'infrastructure que la plupart des entreprises n'ont jamais à intégrer dans leur conception. Vous serez responsable des systèmes qui rendent cette infrastructure rapide, fiable et abordable à grande échelle.

Pourquoi c'est difficile ici

C'est au niveau des GPU que se situent la complexité et les coûts. Vous orchestrerez le service des modèles sur un parc de GPU, en veillant à les maintenir assez actifs pour atteindre les objectifs de latence et assez optimisés pour que le coût par minute continue de baisser. Pools de mise à l'échelle à zéro, serveurs de secours actifs, stratégie de capacité et observabilité pour comprendre le comportement de l'ensemble sous charge. C'est le cœur même de votre mission, pas un projet secondaire.

Vos responsabilités

• L'hébergement et le service des modèles STT, LLM et TTS sur GPU sous des contraintes de latence strictes, ainsi que la gestion de la flotte de serveurs associée

• Le coût par minute en tant que métrique de premier plan que vous devrez optimiser et faire baisser

• La fiabilité, l'observabilité et la gestion des astreintes sur l'ensemble de la plateforme

• La sécurité et la conformité d'un système multi-tenant gérant la voix et les données personnelles (PII) à travers plusieurs régions

• Les choix architecturaux majeurs, pris de manière indépendante et rapide

Ce que nous recherchons

• Plus de 5 ans d'expérience dans la gestion d'infrastructures en production, et pas seulement dans leur construction

• Une expérience concrète du service d'inférence sur GPU à faible latence, ainsi que de la gestion de flottes de GPU et de leurs coûts

• Une excellente maîtrise de Kubernetes, des infrastructures cloud (AWS idéalement) et de l'IaC (Infrastructure as Code)

• Une bonne connaissance de l'écosystème d'inférence (vLLM, Triton, TensorRT-LLM ou similaire)

• Une solide expérience dans la gestion de systèmes complexes de bout en bout, et dans le déploiement à partir de zéro avec peu de ressources

Les plus

• Expérience dans le domaine du temps réel ou de la faible latence : téléphonie, streaming, audio ou voix

• Premier recrutement infra ou ingénieur de la première heure dans une startup en phase de démarrage

• Excellents réflexes FinOps à grande échelle

• Un intérêt sincère pour les marchés émergents ou les technologies de la parole

La configuration

Vous travaillerez directement avec notre CTO au sein d'une équipe d'environ 10 personnes qui déploie en continu. Responsabilité élevée, processus de décision ultra-court, et une solidarité totale lorsque quelque chose lâche à 2 heures du matin. Poste basé à Londres, en présentiel.