1. Compétences Techniques (40 points)
15 pts LLMs & Modèles Génératifs
❓ Expliquez les différences entre GPT-4, Claude 3.5, et Mistral Large. Quand utiliseriez-vous chacun ?
✅ Réponse Attendue :
• GPT-4 : multimodal, excellent en raisonnement complexe, long contexte (128K tokens), coûteux
• Claude 3.5 : très bon en analyse de code, contexte 200K tokens, meilleur rapport qualité/prix
• Mistral Large : open-weights, souveraineté, bonne performance, déployable on-premise
• Choix selon : budget, données sensibles, latence, multimodalité
• Claude 3.5 : très bon en analyse de code, contexte 200K tokens, meilleur rapport qualité/prix
• Mistral Large : open-weights, souveraineté, bonne performance, déployable on-premise
• Choix selon : budget, données sensibles, latence, multimodalité
🚩 Red Flags :
Confond les modèles, ne connaît qu'OpenAI, ignore les aspects coûts/souveraineté
❓ Décrivez votre expérience avec le fine-tuning de LLMs. Quels frameworks avez-vous utilisés ?
✅ Réponse Attendue :
• PEFT (Parameter-Efficient Fine-Tuning) : LoRA, QLoRA, Prefix Tuning
• Frameworks : Hugging Face Transformers, Axolotl, LitGPT, Unsloth
• Datasets : préparation format ChatML, JSONL, Alpaca
• Validation : perplexity, BLEU score, human eval
• Challenges : overfitting, catastrophic forgetting, compute
• Frameworks : Hugging Face Transformers, Axolotl, LitGPT, Unsloth
• Datasets : préparation format ChatML, JSONL, Alpaca
• Validation : perplexity, BLEU score, human eval
• Challenges : overfitting, catastrophic forgetting, compute
🚩 Red Flags :
Aucune expérience de fine-tuning, confusion entre fine-tuning et prompting
10 pts RAG & Architectures
❓ Expliquez votre approche pour implémenter un système RAG (Retrieval-Augmented Generation) performant.
✅ Réponse Attendue :
• Chunking strategy : taille optimale (256-512 tokens), overlap, metadata
• Embeddings : choix modèle (OpenAI, Cohere, BGE-M3), dimensionnalité
• Vector DB : Pinecone, Weaviate, ChromaDB, Qdrant
• Retrieval : hybrid search (dense + BM25), reranking (Cohere, Jina)
• Context construction : top-k, MMR (maximal marginal relevance)
• Evaluation : relevance, answer quality, latency
• Embeddings : choix modèle (OpenAI, Cohere, BGE-M3), dimensionnalité
• Vector DB : Pinecone, Weaviate, ChromaDB, Qdrant
• Retrieval : hybrid search (dense + BM25), reranking (Cohere, Jina)
• Context construction : top-k, MMR (maximal marginal relevance)
• Evaluation : relevance, answer quality, latency
🚩 Red Flags :
Approche naïve, ignore le reranking, pas de métriques de qualité
8 pts Prompt Engineering Avancé
❓ Quelles techniques de prompt engineering avancées utilisez-vous pour améliorer la qualité et la fiabilité des réponses ?
✅ Réponse Attendue :
• Chain-of-Thought (CoT) prompting
• Few-shot learning avec exemples stratégiques
• ReAct (Reasoning + Acting)
• Self-consistency / Multiple sampling
• Constrained generation (grammar, JSON schema)
• System prompts optimisés avec persona
• Temperature tuning selon cas d'usage
• Few-shot learning avec exemples stratégiques
• ReAct (Reasoning + Acting)
• Self-consistency / Multiple sampling
• Constrained generation (grammar, JSON schema)
• System prompts optimisés avec persona
• Temperature tuning selon cas d'usage
🚩 Red Flags :
Ne connaît que des prompts basiques, ignore les techniques avancées
7 pts Stack Technique Python/ML
❓ Quelle est votre stack technique pour développer des applications IA ?
✅ Réponse Attendue :
• Python 3.10+, FastAPI/Flask pour APIs
• LangChain, LlamaIndex pour orchestration
• PyTorch/TensorFlow, Transformers
• Vector DBs, async/await pour performance
• Docker, Kubernetes pour déploiement
• Observability : LangSmith, Weights & Biases, MLflow
• Testing : pytest, unittest pour validation
• LangChain, LlamaIndex pour orchestration
• PyTorch/TensorFlow, Transformers
• Vector DBs, async/await pour performance
• Docker, Kubernetes pour déploiement
• Observability : LangSmith, Weights & Biases, MLflow
• Testing : pytest, unittest pour validation
🚩 Red Flags :
Stack outdated, manque d'outils d'orchestration, pas de monitoring
2. Soft Skills & Adaptabilité (35 points)
12 pts Veille Technologique & Innovation
❓ Comment vous tenez-vous à jour dans un domaine qui évolue aussi rapidement que l'IA générative ?
✅ Réponse Attendue :
• Sources : arXiv, Hugging Face Daily Papers, Twitter/X (AI researchers)
• Podcasts : Latent Space, Gradient Dissent
• Newsletters : The Batch (Andrew Ng), TLDR AI
• Expérimentation : teste nouveaux modèles/frameworks chaque semaine
• Communauté : participe à hackathons, open-source contributions
• Exemples concrets : dernière techno testée (ex: Llama 3.2, Gemini 2.0)
• Podcasts : Latent Space, Gradient Dissent
• Newsletters : The Batch (Andrew Ng), TLDR AI
• Expérimentation : teste nouveaux modèles/frameworks chaque semaine
• Communauté : participe à hackathons, open-source contributions
• Exemples concrets : dernière techno testée (ex: Llama 3.2, Gemini 2.0)
🚩 Red Flags :
Pas de veille active, connaissances datées de 6+ mois
10 pts Communication & Vulgarisation
❓ Comment expliquez-vous les concepts d'IA à des non-techniques (clients, managers) ?
✅ Réponse Attendue :
• Analogies concrètes pour concepts complexes
• Focus sur la valeur business, pas la technique
• Démos visuelles, prototypes interactifs
• Transparence sur limites et biais
• Documentation claire et accessible
• Exemple : expliquer RAG comme "donner un manuel au modèle"
• Focus sur la valeur business, pas la technique
• Démos visuelles, prototypes interactifs
• Transparence sur limites et biais
• Documentation claire et accessible
• Exemple : expliquer RAG comme "donner un manuel au modèle"
🚩 Red Flags :
Trop technique, arrogant, ne comprend pas les besoins métier
8 pts Résolution de Problèmes
❓ Décrivez un problème technique complexe que vous avez résolu sur un projet IA.
✅ Réponse Attendue :
• Contexte clair du problème (ex: hallucinations, latency, coûts)
• Approche méthodique : investigation, hypothèses, tests
• Solutions tentées : A/B testing, expérimentations
• Résultat mesurable : amélioration chiffrée
• Learnings et itérations futures
• Approche méthodique : investigation, hypothèses, tests
• Solutions tentées : A/B testing, expérimentations
• Résultat mesurable : amélioration chiffrée
• Learnings et itérations futures
🚩 Red Flags :
Problème trivial, pas de démarche structurée, pas de résultat mesurable
5 pts Éthique & Responsabilité IA
❓ Quelles considérations éthiques prenez-vous en compte dans vos projets IA ?
✅ Réponse Attendue :
• Biais et fairness : détection, mitigation
• Privacy : anonymisation, RGPD compliance
• Transparence : explainability, citations sources (RAG)
• Impact sociétal : risques d'abus, désinformation
• Guidelines : suivi de frameworks (EU AI Act)
• Privacy : anonymisation, RGPD compliance
• Transparence : explainability, citations sources (RAG)
• Impact sociétal : risques d'abus, désinformation
• Guidelines : suivi de frameworks (EU AI Act)
🚩 Red Flags :
Ignore les questions éthiques, attitude "move fast and break things"
3. Fit Culturel & Motivation (15 points)
8 pts Alignement avec Pyl.Tech
❓ Pourquoi rejoindre Pyl.Tech ? Qu'est-ce qui vous attire dans notre projet ?
✅ Réponse Attendue :
• Recherche sur Pyl.Tech effectuée : connaît nos projets, valeurs
• Alignement : souveraineté numérique, IA responsable, innovation
• Envie d'impact : travailler sur des cas d'usage concrets
• Croissance : apprendre, contribuer à l'expertise collective
• Motivation intrinsèque : passion pour l'IA générative
• Alignement : souveraineté numérique, IA responsable, innovation
• Envie d'impact : travailler sur des cas d'usage concrets
• Croissance : apprendre, contribuer à l'expertise collective
• Motivation intrinsèque : passion pour l'IA générative
🚩 Red Flags :
Réponse générique, aucune recherche, motivations uniquement financières
7 pts Esprit d'Équipe & Collaboration
❓ Comment collaborez-vous avec des data scientists, des DevOps, et des PM ?
✅ Réponse Attendue :
• Expérience concrète de travail en équipe pluridisciplinaire
• Communication proactive, feedback constructif
• Partage de connaissances : documentation, pair programming
• Flexibilité : adapte son langage selon l'interlocuteur
• Exemple de projet collaboratif réussi
• Communication proactive, feedback constructif
• Partage de connaissances : documentation, pair programming
• Flexibilité : adapte son langage selon l'interlocuteur
• Exemple de projet collaboratif réussi
🚩 Red Flags :
"Je préfère travailler seul", conflits d'équipe récurrents
4. Cas Pratiques Suggérés (10 points)
🧪 Cas Pratique 1 : Système de Questions-Réponses Intelligent
Contexte : Un client veut un chatbot pour répondre aux questions de ses utilisateurs à partir de 10 000 pages de documentation technique.
Tâche : Concevoir l'architecture du système RAG. Quels choix technologiques faites-vous et pourquoi ?
Points d'évaluation :
- Stratégie de chunking et preprocessing
- Choix du modèle d'embeddings et vector database
- Approche retrieval (hybrid search? reranking?)
- Gestion du contexte et prompt construction
- Métriques de qualité et monitoring
- Estimation des coûts (tokens, infra)
🧪 Cas Pratique 2 : Réduction des Hallucinations
Contexte : Votre chatbot IA génère parfois des informations incorrectes (hallucinations) dans 15% des cas.
Tâche : Proposer 5 techniques pour réduire le taux d'hallucinations à moins de 5%.
Points d'évaluation :
- Diversité des approches (prompting, RAG, fine-tuning, validation)
- Faisabilité technique et coûts
- Méthodes de mesure et validation
- Priorisation des solutions
🧪 Cas Pratique 3 : Optimisation Coûts/Performance
Contexte : Application avec 100K requêtes/jour. Facture API OpenAI : 15K€/mois. Client veut réduire de 60%.
Tâche : Proposer une stratégie d'optimisation sans dégrader la qualité.
Points d'évaluation :
- Analyse des coûts (tokens input/output, requêtes)
- Stratégies : caching, modèles alternatifs, batch processing
- Self-hosting vs API managée : trade-offs
- Plan de migration et tests A/B
- Monitoring et alertes
5. Tableau de Scoring
| Catégorie | Critère | Points Max | Score Candidat |
|---|---|---|---|
| Compétences Techniques (40) | LLMs & Modèles Génératifs | 15 | |
| RAG & Architectures | 10 | ||
| Prompt Engineering Avancé | 8 | ||
| Stack Technique Python/ML | 7 | ||
| Soft Skills (35) | Veille Technologique & Innovation | 12 | |
| Communication & Vulgarisation | 10 | ||
| Résolution de Problèmes | 8 | ||
| Éthique & Responsabilité IA | 5 | ||
| Fit Culturel (15) | Alignement avec Pyl.Tech | 8 | |
| Esprit d'Équipe & Collaboration | 7 | ||
| Cas Pratiques | 10 | ||
| SCORE TOTAL | 100 | ||
📊 Interprétation du Score
- 85-100 : ⭐⭐⭐ Excellent - Recommandé fortement
- 70-84 : ⭐⭐ Bon - À considérer sérieusement
- 55-69 : ⭐ Moyen - Avec réserves
- < 55 : ❌ Insuffisant - Ne pas retenir