Frosty Friday

Snowflake Weekly Challenges

Uncategorized

by on Laisser un commentaire

Semaine 6 – Difficile

Cette semaine, nous allons jouer avec des fonctions spatiales. Frosty Lobbying envisage de soutenir certains candidats lors des prochaines élections générales au Royaume-Uni. Pour ce faire, nous avons besoin de comprendre la répartition géographique des candidats par nation/région au Royaume-Uni.

Votre tâche consiste à créer des polygones pour les nations/régions ainsi que pour les circonscriptions parlementaires, puis à déterminer combien de sièges de Westminster chevauchent les polygones de région (ndlr: Westminster correspond à la House of Commons, équivalent de l’Assemblée Nationale).

Soyez prudent, car certaines circonscriptions peuvent se situer dans deux régions différentes, certaines peuvent ne pas se situer dans une région du tout (l’Irlande du Nord n’est pas incluse dans les données fournies) et certaines peuvent être complexes.

Note : Dans les données, la colonne « part » est un nombre entier attribué à chaque territoire composant cette région/nation/circonscription. Par exemple, l’île de Mull pourrait être la « partie 34 » de l’Écosse et la « partie 12 » de la circonscription d’Argyll et Bute.

Vous pouvez trouver les données sur les nations et les régions ici, ainsi que les données sur les circonscriptions de Westminster ici.

Source : ONS, Open Geography Portal

Résultat final :

NATION_OR_REGIONINTERSECTING_CONSTITUENCIES
South East116
North West95
London91
East of England82
West Midlands80
East Midlands78
Yorkshire and The Humber76
South West70
Scotland63
Wales52
North East33

Et n’oubliez pas, si vous souhaitez participer aux défis:
1. Inscrivez-vous en tant que membre de Frosty Friday. –> Vous pouvez le faire en cliquant sur la barre latérale, puis en cliquant sur ‘REGISTER‘ (notez que s’inscrire à notre liste de diffusion ne vous donne pas de compte Frosty Friday).
2. Publiez votre code sur GitHub et rendez-le accessible au public (consultez notre guide si vous ne savez pas comment faire, disponible ici)
3. Postez l’URL dans les commentaires du défi.

Si vous avez des questions techniques que vous souhaitez poser à la communauté, vous pouvez les poser ici, sur notre thread dédié.

by on Laisser un commentaire

Semaine 5 – Débutant

Cette semaine, nous utilisons une fonctionnalité qui, au moment de la rédaction, est toute récente : Python dans Snowflake.

Pour commencer, créez une table simple avec une seule colonne contenant un nombre. Insérez quelques lignes. La taille et les valeurs sont à votre discrétion.

Ensuite, nous allons commencer par une fonction très basique : multiplier ces nombres par 3.

Le défi ici n’est pas de « construire une fonction Python très complexe », mais de créer et d’utiliser la fonction dans Snowflake.

Nous pouvons tester le code avec une simple requête SELECT :

SELECT timesthree(start_int)
FROM FF_week_5;

Et n’oubliez pas, si vous souhaitez participer aux défis:
1. Inscrivez-vous en tant que membre de Frosty Friday. –> Vous pouvez le faire en cliquant sur la barre latérale, puis en cliquant sur ‘REGISTER‘ (notez que s’inscrire à notre liste de diffusion ne vous donne pas de compte Frosty Friday).
2. Publiez votre code sur GitHub et rendez-le accessible au public (consultez notre guide si vous ne savez pas comment faire, disponible ici)
3. Postez l’URL dans les commentaires du défi.

Si vous avez des questions techniques que vous souhaitez poser à la communauté, vous pouvez les poser ici, sur notre thread dédié.

by on 1 commentaire

Semaine 4 – Difficile

Frosty Friday Consultants a été engagé par le département d’histoire de l’Université de Frost. Ce dernier souhaite rassembler des données sur les monarques espagnols dans son data warehouse pour analyse. Votre tâche consiste à prendre le fichier JSON situé ici, à l’ingérer dans l’entrepôt de données et à le parser dans une table qui ressemble à ceci :

Résultat final :

Si vous n’arrivez pas à lire le contenu du tableau, faites un clic droit et affichez l’image dans un autre onglet.
  • Des colonnes distinctes pour les surnoms et les consorts 1 à 3, dont beaucoup seront nulles.
  • Un ID selon l’ordre chronologique (naissance).
  • Un ID inter-maison dans l’ordre dans lequel ils apparaissent dans le fichier.
  • Il devrait y avoir 26 lignes à la fin.

Conseils :

  • Assurez-vous de ne perdre aucune ligne en cours de route.
  • Veillez à explorer tous les outputs et paramètres disponibles lors de la transformation du JSON.

Et n’oubliez pas, si vous souhaitez participer aux défis:
1. Inscrivez-vous en tant que membre de Frosty Friday. –> Vous pouvez le faire en cliquant sur la barre latérale, puis en cliquant sur ‘REGISTER‘ (notez que s’inscrire à notre liste de diffusion ne vous donne pas de compte Frosty Friday).
2. Publiez votre code sur GitHub et rendez-le accessible au public (consultez notre guide si vous ne savez pas comment faire, disponible ici)
3. Postez l’URL dans les commentaires du défi.

Si vous avez des questions techniques que vous souhaitez poser à la communauté, vous pouvez les poser ici, sur notre thread dédié.

by on Laisser un commentaire

Semaine 3 – Débutant

En semaine 1, nous avons examiné l’ingestion de données depuis S3, allons maintenant un peu plus loin. Cette semaine, nous avons plusieurs tâches à accomplir. Rien de révolutionnaire, mais ce défi pourrait vous faire transpirer un peu une fois que vous aurez commencé à construire la solution.

Frosty Friday Inc., votre employeur, possède un bucket S3 rempli de fichiers de données au format .csv.
La plupart de ces fichiers ne sont pas très compliqués et ont tous le même format et le même contenu. Tous ces fichiers doivent être ingérés dans une seule table.

Cependant, il se peut que d’autres données importantes aient été uploadées sur ce bucket. Ces fichiers suivent une convention de nommage différente et doivent être identifiés et monitorés. Vous devez donc stocker leurs métadonnées à des fins de référence dans une autre table.

Vous pourrez reconnaître les fichiers importants grâce au fichier keyword.csv présent dans le bucket S3. Il contient les différents mots-clés qui marquent un fichier comme important.

Objectif :

Créez une table qui répertorie tous les fichiers du stage qui contiennent l’un des mots-clés du fichier keywords.csv.

L’URI du bucket S3 est le suivant : s3://frostyfridaychallenges/challenge_3/

Résultat :

Votre résultat devrait ressembler à ceci :

Et n’oubliez pas, si vous souhaitez participer aux défis:
1. Inscrivez-vous en tant que membre de Frosty Friday. –> Vous pouvez le faire en cliquant sur la barre latérale, puis en cliquant sur ‘REGISTER‘ (notez que s’inscrire à notre liste de diffusion ne vous donne pas de compte Frosty Friday).
2. Publiez votre code sur GitHub et rendez-le accessible au public (consultez notre guide si vous ne savez pas comment faire, disponible ici)
3. Postez l’URL dans les commentaires du défi.

Si vous avez des questions techniques que vous souhaitez poser à la communauté, vous pouvez les poser ici, sur notre thread dédié.


by on Laisser un commentaire

Semaine 1 – Débutant

FrostyFriday Inc., votre employeur, dispose d’un bucket S3 rempli de données au format .csv. Ces données sont nécessaires pour une analyse importante.

Votre tâche consiste à créer un stage externe et à charger les fichiers csv directement de ce stage dans une table. L’URI du bucket S3 est : s3://frostyfridaychallenges/challenge_1/

Ce défi vous a plu? Vous voulez d’autres défis pour développer vos compétences Snowflake?
1. Inscrivez-vous en tant que membre de Frosty Friday. –> Vous pouvez le faire en cliquant sur la barre latérale, puis en cliquant sur ‘REGISTER‘ (notez que s’inscrire à notre liste de diffusion ne vous donne pas de compte Frosty Friday).
2. Publiez votre code sur GitHub et rendez-le accessible au public (consultez notre guide si vous ne savez pas comment faire, disponible ici)
3. Postez l’URL dans les commentaires du défi.

Si vous avez des questions techniques que vous souhaitez poser à la communauté, vous pouvez les poser ici, sur notre thread dédié.

by on Laisser un commentaire

Semaine 63 – Difficile

Identifier les jointures qui font des dégâts !

Nous avons tous rencontré cette jointure explosive, qui se multiplie de manière inattendue ou qui devient incontrôlable. Auparavant, nous plongions profondément dans nos données, essayant de trouver la jointure coupable. Désormais, créons une fonction pour simplifier ce travail de détective.

Votre défi cette semaine : concevez une fonction qui prend une query ID et repère toutes les jointures à l’intérieur de celle-ci produisant plus de lignes que le ratio anticipé de 1:1. Pour clarifier: si une jointure prend 10 lignes du côté gauche et 80 du côté droit, mais aboutit à plus de 80 lignes, votre fonction devrait le signaler!

Code de départ:

–Schema creation
create or replace schema week_63;

–T1 creation
CREATE TABLE t1 (value CHAR(1));

INSERT INTO t1
SELECT ‘a’ FROM (SELECT 1 UNION ALL SELECT 2 UNION ALL SELECT 3 UNION ALL SELECT 4 UNION ALL SELECT 5 UNION ALL SELECT 6 UNION ALL SELECT 7 UNION ALL SELECT 8 UNION ALL SELECT 9 UNION ALL SELECT 10) AS temp1

UNION ALL

SELECT ‘b’ FROM (SELECT 1 UNION ALL SELECT 2 UNION ALL SELECT 3 UNION ALL SELECT 4 UNION ALL SELECT 5 UNION ALL SELECT 6 UNION ALL SELECT 7 UNION ALL SELECT 8 UNION ALL SELECT 9 UNION ALL SELECT 10 UNION ALL SELECT 11 UNION ALL SELECT 12 UNION ALL SELECT 13 UNION ALL SELECT 14 UNION ALL SELECT 15 UNION ALL SELECT 16 UNION ALL SELECT 17 UNION ALL SELECT 18 UNION ALL SELECT 19 UNION ALL SELECT 20) AS temp2

UNION ALL

SELECT ‘c’ FROM (SELECT 1 UNION ALL SELECT 2 UNION ALL SELECT 3 UNION ALL SELECT 4 UNION ALL SELECT 5 UNION ALL SELECT 6 UNION ALL SELECT 7 UNION ALL SELECT 8 UNION ALL SELECT 9 UNION ALL SELECT 10 UNION ALL SELECT 11 UNION ALL SELECT 12 UNION ALL SELECT 13 UNION ALL SELECT 14 UNION ALL SELECT 15 UNION ALL SELECT 16 UNION ALL SELECT 17 UNION ALL SELECT 18 UNION ALL SELECT 19 UNION ALL SELECT 20 UNION ALL SELECT 21 UNION ALL SELECT 22 UNION ALL SELECT 23 UNION ALL SELECT 24 UNION ALL SELECT 25 UNION ALL SELECT 26 UNION ALL SELECT 27 UNION ALL SELECT 28 UNION ALL SELECT 29 UNION ALL SELECT 30) AS temp3

UNION ALL

SELECT ‘d’ FROM (SELECT 1 UNION ALL SELECT 2 UNION ALL SELECT 3 UNION ALL SELECT 4 UNION ALL SELECT 5 UNION ALL SELECT 6 UNION ALL SELECT 7 UNION ALL SELECT 8 UNION ALL SELECT 9 UNION ALL SELECT 10 UNION ALL SELECT 11 UNION ALL SELECT 12 UNION ALL SELECT 13 UNION ALL SELECT 14 UNION ALL SELECT 15 UNION ALL SELECT 16 UNION ALL SELECT 17 UNION ALL SELECT 18 UNION ALL SELECT 19 UNION ALL SELECT 20) AS temp4

;

— Create table t2 and insert one ‘b’ value
CREATE TABLE t2 (value CHAR(1));
INSERT INTO t2 (value) VALUES (‘b’);

— Create table t3 and insert ten ‘c’ values
CREATE TABLE t3 (value CHAR(1));
INSERT INTO t3
SELECT ‘c’ FROM (SELECT 1 UNION ALL SELECT 2 UNION ALL SELECT 3 UNION ALL SELECT 4 UNION ALL SELECT 5 UNION ALL SELECT 6 UNION ALL SELECT 7 UNION ALL SELECT 8 UNION ALL SELECT 9 UNION ALL SELECT 10) AS temp;

— Create table t4 and insert one ‘d’ value
CREATE TABLE t4 (value CHAR(1));
INSERT INTO t4 (value) VALUES (‘d’);

La requête que nous aimerions que vous vérifiiez :

Requête

SELECT *
FROM t1
LEFT JOIN t2 ON t1.value = t2.value
LEFT JOIN t3 ON t1.value = t3.value
LEFT JOIN t4 ON t1.value = t4.value;

Le résultat de votre fonction devrait être similaire à ceci :

En guise d’indice: d’où peut bien provenir l’information qui vous indique le GUILTY_JOIN ?

Et n’oubliez pas, si vous souhaitez participer aux défis:
1. Inscrivez-vous en tant que membre de Frosty Friday. –> Vous pouvez le faire en cliquant sur la barre latérale, puis en cliquant sur ‘S’INSCRIRE’ (notez que s’inscrire à notre liste de diffusion ne vous donne pas de compte Frosty Friday).

2. Publiez votre code sur GitHub et rendez-le accessible au public (consultez notre guide si vous ne savez pas comment faire, disponible ici)

3. Postez l’URL dans les commentaires du défi.