Semaine 61 – intermédiaire

Imaginez que vous travaillez pour une entreprise de télécommunications et que votre collègue Rick vous a envoyé une feuille de calcul contenant une liste de produits.

Votre tâche consiste à nettoyer et à transformer ces données en une table Snowflake et à créer un fichier JSON dans un format spécifique pour que Rick puisse le télécharger vers un outil tiers.

Mais il y a quelques opérations de nettoyage à effectuer avant que les données ne puissent être utilisées efficacement. Dans sa tentative de rendre la feuille de calcul jolie, Rick a fusionné certaines cellules de la colonne « Marque », ce qui compliquera bien sûr votre tâche.

Télécharger le fichier de données sur s3://frostyfridaychallenges/challenge_61/Telecom Products – Sheet1.csv

Nettoyage des données :
– Remplissez les valeurs nulles de la colonne « Marque » avec la valeur de la première ligne non vide au-dessus (remplissage vers l’avant).
– Remplissez les valeurs nulles de la colonne « URL conviviale » avec l’URL correspondante de la deuxième colonne.
– Supprimez les lignes avec des valeurs nulles dans la colonne « Catégorie ».

Création d’objet JSON :
– Transformez les données nettoyées en un objet JSON imbriqué dans le format suivant

{
  "Category": {
    "Brand": [
      {"Product Name": "Friendly URL"}
    ],
  "Brand": [
    {"Product Name": "Friendly URL"},
    {"Product Name": "Friendly URL"}
  ]
},
  "Category": {
"Brand": [
    {"Product Name": "Friendly URL"}
  ]
},
...
}

Déchargement des données :
– Une fois l’objet JSON créé, déchargez les données dans un fichier JSON vers un stage Snowflake.
– Envoyez à votre collègue un lien pré-signé vers le fichier.

Résultats finaux :
– Table Snowflake : Un ensemble de données nettoyées et transformées prêtes à être utilisées par vous et vos collègues, ressemblant à la capture d’écran ci-dessous.

Fichier JSON : Un fichier JSON dans le format requis, adapté pour que Rick puisse le télécharger vers un outil tiers. Faites attention à la majuscule de la colonne « Category ».

Quelques conseils
– Les window functions devraient faciliter le remplissage des valeurs vides dans Snowflake.
– Vous pouvez créer une UDF (fonction définie par l’utilisateur) pour faciliter la conversion des majuscules des valeurs de la colonne « Category ».
– Le chiffrement côté serveur est requis sur l’étape de déchargement pour pouvoir générer un lien pré-signé.

Amusez-vous bien !