Module 6/Intermediaire

Outils de collecte de données

Aller chercher la donnée là où elle est : fichiers, API, web, formulaires, capteurs. Et le faire légalement et proprement.

·/5 cours

CSV, JSON, XML, Parquet, Excel, encodages, séparateurs, valeurs manquantes à la source, dictionnaire de données.

REST, paramètres, pagination, authentification par clé et jeton, limites de débit, gestion des erreurs et reprises.

Structure d'une page, sélecteurs, extraction, pages dynamiques, robots.txt, conditions d'utilisation, éthique et légalité.

Conception d'un questionnaire, biais de formulation, échantillonnage, taux de réponse, saisie et codage des réponses.

Extraction, transformation, chargement, planification, incrémental contre complet, journalisation, contrôles de qualité à l'entrée.