Jadalytics

by Jadalytics on 2024-03-10 Laisser un commentaire

Semaine 82 – Débutant

Notre stagiaire a essayé d’optimiser nos stages…

Au lieu de stager tous les fichiers vers un stage précis, il a tout chargé dans un stage unique et a supprimé les fichiers locaux pour accélérer son travail.

Parce que nous avons beaucoup de systèmes qui s’appuient sur les autres stages nommés (named stages) de notre compte qui ont été ignorés par le stagiaire, il nous faut déplacer les données vers leur localisation correcte sans avoir à re-télécharger tous les fichiers pour les recharger au bon endroit dans Snowflake.

Pour commencer ce challenge, veuillez trouver les fichiers de départ ici: s3://frostyfridaychallenges/challenge_82/

C’est à vous de :

créer un « stage de départ »
charger le fichier dans ce « stage de départ »
supprimer le fichier local
déplacer le fichier du « starting stage » vers un nouveau stage sans le télécharger !

Nous n’avons pas de code à partager avec vous cette fois-ci, mais n’hésitez pas à partager vos réponses codées dans les commentaires !

Et n’oubliez pas, si vous souhaitez participer aux défis:

1. Inscrivez-vous en tant que membre de Frosty Friday. –> Vous pouvez le faire en cliquant sur la barre latérale, puis en cliquant sur ‘REGISTER‘ (notez que s’inscrire à notre liste de diffusion ne vous donne pas de compte Frosty Friday).
2. Publiez votre code sur GitHub et rendez-le accessible au public (consultez notre guide si vous ne savez pas comment faire, disponible ici)
3. Postez l’URL dans les commentaires du défi.

by Jadalytics on 2024-03-10 Laisser un commentaire

Semaine 81 – Intermédiaire

Saviez-vous qu’une tâche peut avoir plus d’un parent ?

Commencez par accéder au stage suivant, et exécutez directement le fichier qu’il contient avec EXECUTE IMMEDIATE.

CREATE STAGE frosty_aws_stage
URL = 's3://frostyfridaychallenges/';

Maintenant, vous devez créer 5 tâches :

La tâche 1 exécutera ce qui suit :

Task 1

INSERT INTO w81_raw_product (data)
SELECT parse_json(column1)
FROM
VALUES
('{"product_id": 21, "product_name": "Product U", "category": "Electronics", "price": 120.99, "created_at": "2024-02-16"}'),
('{"product_id": 22, "product_name": "Product V", "category": "Books", "price": 35.00, "created_at": "2024-02-16"}');
INSERT INTO w81_raw_customer (data)
SELECT parse_json(column1)
FROM
VALUES
('{"customer_id": 6, "customer_name": "Frank", "email": "frank@example.com", "created_at": "2024-02-16"}'),
('{"customer_id": 7, "customer_name": "Grace", "email": "grace@example.com", "created_at": "2024-02-16"}');
INSERT INTO w81_raw_sales (data)
SELECT parse_json(column1)
FROM
VALUES
('{"sale_id": 11, "product_id": 21, "customer_id": 6, "quantity": 1, "sale_date": "2024-02-17"}'), -- Nouveau produit, nouveau client
('{"sale_id": 12, "product_id": 22, "customer_id": 1, "quantity": 1, "sale_date": "2024-02-17"}'), -- Nouveau produit, client existant
('{"sale_id": 13, "product_id": 2, "customer_id": 7, "quantity": 2, "sale_date": "2024-02-17"}'), -- Produit existant, nouveau client
('{"sale_id": 14, "product_id": 3, "customer_id": 6, "quantity": 1, "sale_date": "2024-02-17"}'), -- Produit existant, nouveau client
('{"sale_id": 15, "product_id": 21, "customer_id": 5, "quantity": 1, "sale_date": "2024-02-17"}'); -- Nouveau produit, client existant;

Les tâches 2 à 4 analyseront le JSON des tables RAW. (C’est elles que vous voulez créer!)

La tâche 5 exécutera ce qui suit APRÈS que les tâches 2 à 4 aient été terminées :

Task 5

CREATE OR replace VIEW aggregated_sales
AS
SELECT c.customer_name,
p.product_name,
SUM(s.quantity) AS total_quantity,
SUM(s.quantity * p.price) AS total_sales
FROM sales s
join product p
ON s.product_id = p.product_id
join customer c
ON s.customer_id = c.customer_id
GROUP BY c.customer_name,
p.product_name

A la fin, vous devrez exécuter:

End run

SELECT t.name,
t.predecessors
FROM TABLE(information_schema.Task_dependents(task_name => 'INSERT_INTO_RAW', recursive => TRUE)) t;

Et obtenir:

Bon DAG!

by Jadalytics on 2024-03-10 Laisser un commentaire

Semaine 80 – Débutant

Il y a tout juste dix jours, Snowflake a annoncé la disponibilité générale (General Availability) de la fonction permettant de créer une nouvelle table par simple chargement d’un fichier dans Snowsight. Comment ? En utilisant la fonction de table INFER_SCHEMA pour détecter automatiquement le schéma de métadonnées du fichier, récupérer les définitions de colonnes et générer une nouvelle table.

Tout ce que vous avez à faire est :

Connectez-vous à Snowsight.
Accédez à la section « Data » dans le menu de navigation, puis sélectionnez « Databases ».
Choisissez une base de données et un schéma spécifiques avec lesquels vous souhaitez travailler.
Cliquez sur « Create ».
Dans le menu déroulant, sélectionnez « Table », puis choisissez « From File ».

Et voilà, vous découvrirez à quel point cette nouvelle fonctionnalité est pratique ! Elle vous fera certainement gagner du temps !

by Jadalytics on 2024-03-10 Laisser un commentaire

Semaine 79 – Débutant

Cette semaine, l’accent est mis sur le point d’entrée des utilisateurs Snowflake: l’écran de connexion. Pour réussir ce défi, vous devrez mettre en place deux choses :

Accès uniquement via l’interface utilisateur : Assurez-vous que les utilisateurs accédant au compte Snowflake ne puissent le faire que via l’interface utilisateur Snowflake, et que d’autres clients comme SnowSQL soient restreints.
Authentification du user_1 : Configurez le user_1 pour qu’il puisse accéder uniquement via une méthode d’authentification username/password, en interdisant les authentifications SAML, OAuth ou Keypair.

Votre objectif est de naviguer efficacement à travers ces tâches en explorant et en appliquant les commandes appropriées. Bonne chance pour maîtriser le défi de cette semaine !

Et n’oubliez pas, si vous souhaitez participer aux défis:

by Jadalytics on 2024-03-10 Laisser un commentaire

Semaine 78 – Débutant

Variables de session !

Saviez-vous que vous pouvez utiliser des variables dans vos requêtes SQL en dehors des procédures stockées ? Non ? Eh bien, nous sommes là pour vous faire découvrir que vous le pouvez!

Code de départ :

CREATE TABLE w78 AS
SELECT
  SEQ4() AS sales_id,
  CASE
    WHEN MOD(SEQ4(), 4) = 0 THEN 'Product A'
    WHEN MOD(SEQ4(), 4) = 1 THEN 'Product B'
    WHEN MOD(SEQ4(), 4) = 2 THEN 'Product C'
    ELSE 'Product D'
  END AS product_name,
  UNIFORM(1, 10, RANDOM())::INTEGER AS quantity_sold,
  DATEADD('day', -UNIFORM(1, 365, RANDOM())::INTEGER, CURRENT_DATE()) AS sales_date,
  UNIFORM(20, 100, RANDOM())::FLOAT * UNIFORM(1, 10, RANDOM())::INTEGER AS sales_amount
FROM TABLE(GENERATOR(ROWCOUNT => 1000));

Exécutez le code ci-dessus, puis créez une variable appelée « sales_avg ».

Ensuite, exécutez le script ci-dessous :

SELECT * 
FROM w78 
WHERE sales_amount between $sales_avg - 50 and $sales_avg +50;

Votre résultat devrait ressembler à ce qui suit (les chiffres varieront).

by Jadalytics on 2024-03-10 Laisser un commentaire

Semaine 77 – Difficile

Les shapefiles jouent un rôle crucial en BI en fournissant une fondation géospatiale pour l’analyse des données. Ces fichiers, comprenant des informations géométriques et des attributs, permettent aux entreprises d’intégrer des données basées sur la localisation de manière transparente dans leurs flux analytiques. Reconnaissant l’importance des informations géo-localisées, Snowflake permet aux utilisateurs de stocker, interroger et analyser des données géospatiales. Mais comment charger des données géospatiales qui se trouvent dans un shapefile dans une table Snowflake ?

Quelques étapes préalables avant de commencer le défi :

Téléchargez le shapefile en tant qu’archive .zip à partir d’ici : https://mapcruzin.com/free-italy-arcgis-maps-shapefiles.htm#google_vignette. (N’hésitez pas à choisir un autre type de shapefile à partir d’une autre plateforme, j’aime vraiment les trains alors j’ai choisi celui-ci 🚆).
Ouvrez ce fichier. Vous pouvez le faire en ligne ici : https://mapshaper.org/. Ci-dessous se trouve une capture d’écran du fichier sélectionné ouvert avec Mapshaper.

À ce stade, que le défi commence :

Chargez le fichier .zip dans un stage Snowflake. (Il existe au moins trois façons de le faire !).
Découvrez comment convertir le shapefile en une table Snowflake avec des fonctionnalités géospatiales.
Examinez les résultats (comme sur l’image ci-dessous).

Hâte de voir vos idées !

« Il est impossible de ne pas aimer les trains. Au fait, bon travail ! Vous avez relevé un autre défi ! »

by Jadalytics on 2024-03-10 Laisser un commentaire

Semaine 76 – Intermédiaire

Une des choses que nous essayons de créer en tant qu’ingénieurs est un système robuste qui continue de fonctionner en cas de défaillance. Cette semaine, nous allons étendre ces capacités en examinant les tâches : même si une tâche échoue, sa tâche enchaînée doit continuer à s’exécuter.

Pour ce défi, nous avons une tâche prompte aux erreurs (pour une raison que nous n’avons toujours pas comprise 😉 ), mais même si la tâche échoue, nous voulons quand même une notification dans notre table indiquant que la tâche a échoué.

Le code:

CREATE OR REPLACE TABLE task_table (stamp time, message varchar);

CREATE OR REPLACE TASK main_task 
  SCHEDULE = '1 minute'
  USER_TASK_MANAGED_INITIAL_WAREHOUSE_SIZE = 'XSMALL'
AS
SELECT CASE
    WHEN RANDOM() <0 THEN 1/0
    ELSE 1
END;

CREATE OR REPLACE TASK child_task 
AFTER main_task
AS
INSERT INTO task_table (stamp,message) VALUES(CURRENT_TIMESTAMP,'main_task succes!');

Le défi

Nous voulons que vous écriviez une tâche qui est chaînée à main_task et qui s’exécute toujours même si main_task échoue. La tâche devrait simplement insérer le message ‘task ran’ dans task_table avec un horodatage correspondant.

by Jadalytics on 2024-03-08 Laisser un commentaire

Semaine 75 – Difficile

Une des choses intéressantes à propos des Native Apps est la possibilité de demander des permissions et de les obtenir sans avoir réellement accès au compte du consommateur.

Au lieu de demander les permissions en tant que développeur, c’est l’application elle-même qui obtient les permissions.

Mais comment demander ces permissions ? Découvrons-le. Votre défi consiste à demander :

La permission SELECT sur une table
La permission CREATE DATABASE sur le compte

Votre application native doit ensuite vérifier qu’elle dispose de toutes les autorisations nécessaires. Le processus devrait ressembler à ceci :

Voici un zip contenant le point de départ pour le code. Vous devrez modifier chaque fichier présent dans le dossier.

Bonne chance !

by Jadalytics on 2024-03-02 Laisser un commentaire

Semaine 74 – Intermédiaire

Nous connaissons tous l’intérêt porté par Snowflake aux applications (natives ou non). Imaginons donc le scénario où nous avons développé une application. Elle permet aux clients de FrostyFriday Inc. de charger des fichiers dans une base de données, dans un schéma RAW (bronze) de Snowflake, et d’initier toutes les transformations nécessaires pour obtenir une vue finale (dans un autre schéma) prête à être présentée, simplement en cliquant sur un bouton dans l’application.

La gestion des fichiers est entièrement la responsabilité du client. Dans ce cas spécifique, dans la colonne ‘birthdate’, nous remarquons que certaines lignes sont au format ‘AAAA-MM-JJ’, certaines au format ‘JJ/MM/AAAA’, et même dans certaines lignes, il y a des valeurs comme ‘453921’ qui sont complètement incorrectes.

Le but de ce défi est d’avoir toutes les dates dans le bon format dans la vue finale. Comment le feriez-vous ?

P.S : Il y a un indice sur le type de fonction à utiliser, à vous de le trouver !

Et n’oubliez pas, si vous souhaitez participer aux défis:

by Jadalytics on 2024-03-02 Laisser un commentaire

Semaine 73 – Intermédiaire

Nous avons été informés que certains de nos DBA perdent le contrôle de la structure interne de notre entreprise FakeCompany inc. Essayons de les aider !

Pour cela, nous lançons un défi ! Votre tâche consiste à créer une table de référence qui encapsule les aspects essentiels de la structure interne de notre base de données.

Ce que vous devez faire

Examinez l’image de la table fournie : l’image ci-dessous vous indique le format et les informations que votre table doit inclure.

Créez une table similaire : Développez une table qui reprend la structure ci-dessus. Assurez-vous que votre table est adaptée pour refléter l’architecture de base de données de FakeCompany Inc.

Le code de démarrage pour ce défi :

Code de démarrage

CREATE OR REPLACE table departments (department_name varchar, department_ID int, head_department_ID int);

INSERT INTO departments (department_name, department_ID, head_department_ID) VALUES
    ('Research & Development', 1, NULL),  -- The Research & Development department is the top level.
        ('Product Development', 11, 1),
            ('Software Design', 111, 11),
            ('Product Testing', 112, 11),
        ('Human Resources', 2, 1),
            ('Recruitment', 21, 2),
            ('Employee Relations', 22, 2);

Et n’oubliez pas, si vous souhaitez participer aux défis:

Si vous avez des questions techniques que vous souhaitez poser à la communauté, vous pouvez les poser ici, sur notre thread dédié.