Outils de collecte de données
Aller chercher la donnée là où elle est : fichiers, API, web, formulaires, capteurs. Et le faire légalement et proprement.
Outils de collecte de données dans le parcours DS
Ce module de niveau intermédiaire fait partie de Data Sciences. Son programme comporte 5 chapitres, à suivre dans l’ordre proposé ci-dessous. Tu peux consulter ce programme sans compte ; la lecture des leçons, les exercices et les vidéos dépendent de tes accès.
Pour progresser, travaille une notion à la fois, reformule-la puis vérifie ta compréhension avec le quiz du chapitre accessible. Le temps indiqué pour une leçon est une estimation, pas une promesse de maîtrise.
Découverte donne accès aux trois premiers chapitres de ce module. Sans publicité conserve les mêmes accès. Comparer les offres
Programme des chapitres
Sources et formats de données
CSV, JSON, XML, Parquet, Excel, encodages, séparateurs, valeurs manquantes à la source, dictionnaire de données.
Collecte par API
REST, paramètres, pagination, authentification par clé et jeton, limites de débit, gestion des erreurs et reprises.
Extraction web
Structure d'une page, sélecteurs, extraction, pages dynamiques, robots.txt, conditions d'utilisation, éthique et légalité.
Enquêtes et données déclaratives
Réservé aux abonnés
Conception d'un questionnaire, biais de formulation, échantillonnage, taux de réponse, saisie et codage des réponses.
Chaînes d'ingestion
Réservé aux abonnés
Extraction, transformation, chargement, planification, incrémental contre complet, journalisation, contrôles de qualité à l'entrée.