Uncategorized

Cette semaine, nous examinons quelque chose de très précis, mais utile : une table de dimension « date » associée à une fonction UDF qui calcule le nombre de jours ouvrés entre deux dates. (Comme c’est un défi facile, nous n’excluerons pas les jours fériés).

Nous avons parlé avec le Syndicat des Superhéros et avons reçu des plaintes selon lesquelles les horaires des superhéros ne tiennent pas dans une « journée de travail normale' » et que « même les superhéros ont besoin de week-ends de repos ».

Pour commencer ce défi, nous avons besoin que vous construisiez une table de dimension « date » qui contient les informations et colonnes suivantes :

• Toutes les dates depuis le 1er janvier 2000
• L’année en 4 chiffres (pour le 1er janvier 2000, ce serait 2000)
• Les 3 premières lettres du mois (pour le 1er janvier 2000, ce serait Jan)
• Le nom du mois (pour le 1er janvier 2000, ce serait Janvier)
• Le numéro du jour dans ce mois (pour le 1er janvier 2000, ce serait 1)
• Le numéro du jour de la semaine (les lundis sont 1, les mardis sont 2, etc., OU tout autre ordre qui a du sens pour vous)
• Le numéro de la semaine dans cette année (pour le 1er janvier 2000, ce serait 1)
• Le numéro du jour dans cette année (pour le 1er janvier 2000, ce serait 1)

En plus de la table de dimension « date », vous devez créer une fonction pour calculer le nombre de jours ouvrés entre deux dates, qui puisse facilement alterner entre l’inclusion ou l’exclusion de la deuxième date dans le calcul (c’est à dire que du lundi 2 novembre 2020 inclus au vendredi 6 novembre 2020 non inclus, la fonction doit indiquer 4 jours, mais du lundi 2 novembre 2020 inclus au vendredi 6 novembre 2020 inclus, elle indiquera 5 jours).

Utilisez ensuite cette fonction sur les données de test suivantes :

create table testing_data (
id INT,
start_date DATE,
end_date DATE
);
insert into testing_data (id, start_date, end_date) values (1, '11/11/2020', '9/3/2022');
insert into testing_data (id, start_date, end_date) values (2, '12/8/2020', '1/19/2022');
insert into testing_data (id, start_date, end_date) values (3, '12/24/2020', '1/15/2022');
insert into testing_data (id, start_date, end_date) values (4, '12/5/2020', '3/3/2022');
insert into testing_data (id, start_date, end_date) values (5, '12/24/2020', '6/20/2022');
insert into testing_data (id, start_date, end_date) values (6, '12/24/2020', '5/19/2022');
insert into testing_data (id, start_date, end_date) values (7, '12/31/2020', '5/6/2022');
insert into testing_data (id, start_date, end_date) values (8, '12/4/2020', '9/16/2022');
insert into testing_data (id, start_date, end_date) values (9, '11/27/2020', '4/14/2022');
insert into testing_data (id, start_date, end_date) values (10, '11/20/2020', '1/18/2022');
insert into testing_data (id, start_date, end_date) values (11, '12/1/2020', '3/31/2022');
insert into testing_data (id, start_date, end_date) values (12, '11/30/2020', '7/5/2022');
insert into testing_data (id, start_date, end_date) values (13, '11/28/2020', '6/19/2022');
insert into testing_data (id, start_date, end_date) values (14, '12/21/2020', '9/7/2022');
insert into testing_data (id, start_date, end_date) values (15, '12/13/2020', '8/15/2022');
insert into testing_data (id, start_date, end_date) values (16, '11/4/2020', '3/22/2022');
insert into testing_data (id, start_date, end_date) values (17, '12/24/2020', '8/29/2022');
insert into testing_data (id, start_date, end_date) values (18, '11/29/2020', '10/13/2022');
insert into testing_data (id, start_date, end_date) values (19, '12/10/2020', '7/31/2022');
insert into testing_data (id, start_date, end_date) values (20, '11/1/2020', '10/23/2021');

Et n’oubliez pas, si vous souhaitez participer aux défis:
1. Inscrivez-vous en tant que membre de Frosty Friday. –> Vous pouvez le faire en cliquant sur la barre latérale, puis en cliquant sur ‘REGISTER‘ (notez que s’inscrire à notre liste de diffusion ne vous donne pas de compte Frosty Friday).
2. Publiez votre code sur GitHub et rendez-le accessible au public (consultez notre guide si vous ne savez pas comment faire, disponible ici)
3. Postez l’URL dans les commentaires du défi.

Si vous avez des questions techniques que vous souhaitez poser à la communauté, vous pouvez les poser ici, sur notre thread dédié.

Pour le défi de cette semaine, nous sommes très heureux de présenter un défi rédigé par Daniel Myers, de Snowflake ! Nous lui avons donné carte blanche pour choisir n’importe quelle fonctionnalité ou sujet, et nous sommes ravis qu’il ait choisi celui-ci ! Ne vous laissez pas décourager en pensant « ce n’est pas pour moi, je n’ai jamais fait de data science auparavant ». Au contraire, profitez de cette occasion pour acquérir de l’expérience !

Vous ne savez pas par où commencer ? Consultez les ressources sous la section Aide / Astuces / Conseils.

Le défi

L’inflation est en hausse ! Le défi d’aujourd’hui consiste à prédire l’inflation future en utilisant des données économiques réelles provenant de la Marketplace Snowflake. Vous allez entraîner un modèle de régression linéaire dans Snowflake qui prédit les dépenses de consommation personnelles (en anglais Personal consumption expenditures ou PCE) pour n’importe quelle année future donnée ! Pour répondre à ce défi, prédisez les PCE pour 2024.

Les données : https://www.snowflake.com/datasets/knoema-economy-data-atlas/

Aide / Astuces / Conseils

Pour visualiser les données historiques de la consommation personnelle :

SELECT "Date", "Value" FROM "ECONOMY"."BEANIPA" 
WHERE "Table Name" = 'Price Indexes For Personal Consumption Expenditures By Major Type Of Product' 
AND "Indicator Name" = 'Personal consumption expenditures (PCE)' 
AND "Frequency" = 'A' 
AND "Date" >= '1972-01-01'
ORDER BY "Date"

Quickstarts utile : https://quickstarts.snowflake.com/guide/data_apps_summit_lab/

Réponse attendue

Cette fois-ci, nous ne vous montrons pas la réponse complète, mais la valeur d’une année précédente pour vous aider à vérifier que vous êtes sur la bonne voie :

Merci à Daniel d’avoir proposé ce challenge. Vous pouvez suivre Daniel sur LinkedIn ou sur Twitter.

Et n’oubliez pas, si vous souhaitez participer aux défis:
1. Inscrivez-vous en tant que membre de Frosty Friday. –> Vous pouvez le faire en cliquant sur la barre latérale, puis en cliquant sur ‘REGISTER‘ (notez que s’inscrire à notre liste de diffusion ne vous donne pas de compte Frosty Friday).
2. Publiez votre code sur GitHub et rendez-le accessible au public (consultez notre guide si vous ne savez pas comment faire, disponible ici)
3. Postez l’URL dans les commentaires du défi.

Si vous avez des questions techniques que vous souhaitez poser à la communauté, vous pouvez les poser ici, sur notre thread dédié.

C’est vendredi, journée parfaite pour mettre au défi vos compétences en parsing de JSON !

Voici le code de configuration initial :

create or replace file format json_ff
    type = json
    strip_outer_array = TRUE;
    
create or replace stage week_16_frosty_stage
    url = 's3://frostyfridaychallenges/challenge_16/'
    file_format = json_ff;

create or replace table <schema>.week16 as -- replace <schema> by the name of your schema
select t.$1:word::text word, t.$1:url::text url, t.$1:definition::variant definition  
from @week_16_frosty_stage (file_format => 'json_ff', pattern=>'.*week16.*') t;

RÉSULTAT FINAL

Et voici ce que vous devriez obtenir si vous exécutez ce qui suit :

select * 
from (
    <votre requête pour parser le JSON va ici>
) sub
where word like 'l%';

Si c’est correct, alors vous devriez avoir (sans le filtre « where word like ‘l%' ») :

• count(word) devrait vous donner 32 295 lignes
• count(distinct word) devrait vous donner 3 000 lignes

SOURCES DE DONNÉES :

• https://www.ef.co.uk/english-resources/english-vocabulary/top-3000-words/
• https://dictionaryapi.dev/

POINTS BONUS :

Si vous avez la chance d’être dans l’une des régions suivantes, essayez d’appliquer la fonctionnalité Search Optimization sur votre table en utilisant un chemin d’accès de type VARIANT.

Et n’oubliez pas, si vous souhaitez participer aux défis:
1. Inscrivez-vous en tant que membre de Frosty Friday. –> Vous pouvez le faire en cliquant sur la barre latérale, puis en cliquant sur ‘REGISTER‘ (notez que s’inscrire à notre liste de diffusion ne vous donne pas de compte Frosty Friday).
2. Publiez votre code sur GitHub et rendez-le accessible au public (consultez notre guide si vous ne savez pas comment faire, disponible ici)
3. Postez l’URL dans les commentaires du défi.

Si vous avez des questions techniques que vous souhaitez poser à la communauté, vous pouvez les poser ici, sur notre thread dédié.

Cette semaine, nous allons faire l’inverse de ce que les gens font habituellement: nous allons transformer une table en un objet JSON VARIANT.

Voici une table avec des informations sur un ensemble de super-héros. Votre tâche consiste à transformer cette table en un objet JSON VARIANT.

CREATE OR REPLACE TABLE week_14 (
    superhero_name varchar(50),
    country_of_residence varchar(50),
    notable_exploits varchar(150),
    superpower varchar(100),
    second_superpower varchar(100),
    third_superpower varchar(100)
);

INSERT INTO week_14 VALUES ('Superpig', 'Ireland', 'Saved head of Irish Farmer\'s Association from terrorist cell', 'Super-Oinks', NULL, NULL);
INSERT INTO week_14 VALUES ('Señor Mediocre', 'Mexico', 'Defeated corrupt convention of fruit lobbyists by telling anecdote that lasted 33 hours, with 16 tangents that lead to 17 resignations from the board', 'Public speaking', 'Stamp collecting', 'Laser vision');
INSERT INTO week_14 VALUES ('The CLAW', 'USA', 'Horrifically violent duel to the death with mass murdering super villain accidentally created art installation last valued at $14,450,000 by Sotheby\'s', 'Back scratching', 'Extendable arms', NULL);
INSERT INTO week_14 VALUES ('Il Segreto', 'Italy', NULL, NULL, NULL, NULL);
INSERT INTO week_14 VALUES ('Frosty Man', 'UK', 'Rescued a delegation of data engineers from a DevOps conference', 'Knows, by memory, 15 definitions of an obscure codex known as "the data mesh"', 'can copy and paste from StackOverflow with the blink of an eye', NULL);

RÉSULTAT :

Et n’oubliez pas, si vous souhaitez participer aux défis:
1. Inscrivez-vous en tant que membre de Frosty Friday. –> Vous pouvez le faire en cliquant sur la barre latérale, puis en cliquant sur ‘REGISTER‘ (notez que s’inscrire à notre liste de diffusion ne vous donne pas de compte Frosty Friday).
2. Publiez votre code sur GitHub et rendez-le accessible au public (consultez notre guide si vous ne savez pas comment faire, disponible ici)
3. Postez l’URL dans les commentaires du défi.

Si vous avez des questions techniques que vous souhaitez poser à la communauté, vous pouvez les poser ici, sur notre thread dédié.

Cette semaine, nous avons un problème un peu trompeur: très facile à comprendre mais délicat à exécuter en SQL.

create or replace table testing_data(id int autoincrement start 1 increment 1, product string, stock_amount int,date_of_check date);


insert into testing_data (product,stock_amount,date_of_check) values ('Superhero capes',1,'2022-01-01');


insert into testing_data (product,stock_amount,date_of_check) values ('Superhero capes',2,'2022-01-02');


insert into testing_data (product,stock_amount,date_of_check) values ('Superhero capes',NULL,'2022-02-01');


insert into testing_data (product,stock_amount,date_of_check) values ('Superhero capes',NULL,'2022-03-01');


insert into testing_data (product,stock_amount,date_of_check) values ('Superhero masks',5,'2022-01-01');


insert into testing_data (product,stock_amount,date_of_check) values ('Superhero masks',NULL,'2022-02-13');


insert into testing_data (product,stock_amount,date_of_check) values ('Superhero pants',6,'2022-01-01');


insert into testing_data (product,stock_amount,date_of_check) values ('Superhero pants',NULL,'2022-01-01');


insert into testing_data (product,stock_amount,date_of_check) values ('Superhero pants',3,'2022-04-01');


insert into testing_data (product,stock_amount,date_of_check) values ('Superhero pants',2,'2022-07-01');


insert into testing_data (product,stock_amount,date_of_check) values ('Superhero pants',NULL,'2022-01-01');


insert into testing_data (product,stock_amount,date_of_check) values ('Superhero pants',3,'2022-05-01');


insert into testing_data (product,stock_amount,date_of_check) values ('Superhero pants',NULL,'2022-10-01');


insert into testing_data (product,stock_amount,date_of_check) values ('Superhero masks',10,'2022-11-01');


insert into testing_data (product,stock_amount,date_of_check) values ('Superhero masks',NULL,'2022-02-14');


insert into testing_data (product,stock_amount,date_of_check) values ('Superhero masks',NULL,'2022-02-15');


insert into testing_data (product,stock_amount,date_of_check) values ('Superhero masks',NULL,'2022-02-13');

Tout le monde a reçu au moins une fois dans sa vie des données parfaitement lisibles et intelligibles pour les humains, mais inutiles pour les machines. Un bon exemple en est le jeu de données suivant de Superhero Inc. :

La gestion des stocks a été chaotique avec des contrôles irréguliers à différentes dates et un système de gestion des stocks qui aurait vraiment besoin d’un peu d’attention.

En tant qu’humain, nous pouvons facilement extrapoler que la quantité de stock n’a pas été mise-à-jour dans les enregistrement vides parce qu’elle n’a pas changé et que la valeur précédente qui a été remplie s’applique toujours, mais impossible de construire un système là-dessus.

Votre challenge aujourd’hui est donc d’appliquer cette logique à la table en SQL, afin que les cellules vides soient complétées avec la dernière valeur non-nulle. Autrement dit, nous voulons créer la colonne STOCK_AMOUNT_FILLED_OUT comme suit :

Nous savons secrètement que Snowflake a un moyen de faire cela un peu plus facilement que d’autres systèmes. Donc, si vous voulez vraiment vous mettre au défi, vous pouvez essayer de faire ce défi sans utiliser d’outils spécifiques à Snowflake.

Et n’oubliez pas, si vous souhaitez participer aux défis:
1. Inscrivez-vous en tant que membre de Frosty Friday. –> Vous pouvez le faire en cliquant sur la barre latérale, puis en cliquant sur ‘REGISTER‘ (notez que s’inscrire à notre liste de diffusion ne vous donne pas de compte Frosty Friday).
2. Publiez votre code sur GitHub et rendez-le accessible au public (consultez notre guide si vous ne savez pas comment faire, disponible ici)
3. Postez l’URL dans les commentaires du défi.

Si vous avez des questions techniques que vous souhaitez poser à la communauté, vous pouvez les poser ici, sur notre thread dédié.

Le défi de cette semaine est à nouveau sur Streamlit ! Vous allez produire une interface permettant d’ingérer des fichiers dans une table que vous aurez sélectionnée depuis l’interface.

create schema <enter_db_name_here>.world_bank_metadata;

create or replace table <enter_db_name_here>.world_bank_metadata.country_metadata
(
    country_code varchar(3),
    region string,
    income_group string
);

create schema <enter_db_name_here>.world_bank_economic_indicators;

create or replace table <enter_db_name_here>.world_bank_economic_indicators.gdp
(
    country_name string,
    country_code varchar(3),
    year int,
    gdp_usd double
);

create table <enter_db_name_here>.world_bank_economic_indicators.gov_expenditure
(
    country_name string,
    country_code varchar(3),
    year int,
    gov_expenditure_pct_gdp double
);

create schema <enter_db_name_here>.world_bank_social_indiactors;

create or replace table <enter_db_name_here>.world_bank_social_indiactors.life_expectancy
(
    country_name string,
    country_code varchar(3),
    year int,
    life_expectancy float
);

create or replace table <enter_db_name_here>.world_bank_social_indiactors.adult_literacy_rate
(
    country_name string,
    country_code varchar(3),
    year int,
    adult_literacy_rate float
);

create or replace table <enter_db_name_here>.world_bank_social_indiactors.progression_to_secondary_school
(
    country_name string,
    country_code varchar(3),
    year int,
    progression_to_secondary_school float
);

Un niveau basique de Python est nécessaire pour cette semaine. Rassurez-vous, rien qu’un cours d’introduction pour débutants ne puisse combler rapidement !

Vous pouvez trouver les données ici et le logo de FF ici.

RÉSULTAT :

Et n’oubliez pas, si vous souhaitez participer aux défis:
1. Inscrivez-vous en tant que membre de Frosty Friday. –> Vous pouvez le faire en cliquant sur la barre latérale, puis en cliquant sur ‘REGISTER‘ (notez que s’inscrire à notre liste de diffusion ne vous donne pas de compte Frosty Friday).
2. Publiez votre code sur GitHub et rendez-le accessible au public (consultez notre guide si vous ne savez pas comment faire, disponible ici)
3. Postez l’URL dans les commentaires du défi.

Si vous avez des questions techniques que vous souhaitez poser à la communauté, vous pouvez les poser ici, sur notre thread dédié.

Cette semaine, les Fermes Frosty cherchent à créer une série de tâches (Snowflake task) chaînées – deux pour être précis ! Les fermes ont beaucoup de vaches qui produisent du lait, dont une partie est transformée en lait écrémé. Nous voulons que nos données soient transformées pour refléter le fait que le pourcentage de matières grasses du lait a un impact sur les données industrielles disponibles pour chaque lot.

Le lait écrémé subit en effet le processus de réduction des matières grasses dans une centrifugeuse. Les lignes liées à des lots de lait entier n’auront pas de colonnes liées à ce processus, mais les lignes pour les lots de lait écrémé en auront.

Créez une tâche parent et une tâche enfant qui effectueront différentes actions sur les lignes de données en fonction du pourcentage de matières grasses du lait.

-- Set the database and schema
use database <insert_db_name_here>
use schema <insert_schema_name_here>

-- Create the stage that points at the data.
create stage week_11_frosty_stage
    url = 's3://frostyfridaychallenges/challenge_11/'
    file_format = <insert_csv_file_format;

-- Create the table as a CTAS statement.
create or replace table frosty_friday.challenges.week11 as
select m.$1 as milking_datetime,
        m.$2 as cow_number,
        m.$3 as fat_percentage,
        m.$4 as farm_code,
        m.$5 as centrifuge_start_time,
        m.$6 as centrifuge_end_time,
        m.$7 as centrifuge_kwph,
        m.$8 as centrifuge_electricity_used,
        m.$9 as centrifuge_processing_time,
        m.$10 as task_used
from @week_11_frosty_stage (file_format => '<insert_csv_file_format>', pattern => '.*milk_data.*[.]csv') m;


-- TASK 1: Remove all the centrifuge dates and centrifuge kwph and replace them with NULLs WHERE fat = 3. 
-- Add note to task_used.
create or replace task whole_milk_updates
    schedule = '1400 minutes'
as
    <insert_sql_here>


-- TASK 2: Calculate centrifuge processing time (difference between start and end time) WHERE fat != 3. 
-- Add note to task_used.
create or replace task skim_milk_updates
    after frosty_friday.challenges.whole_milk_updates
as
    <insert_sql_here>


-- Manually execute the task.
execute task whole_milk_updates;

-- Check that the data looks as it should.
select * from week11;

-- Check that the numbers are correct.
select task_used, count(*) as row_count from week11 group by task_used;

RÉSULTAT

Lorsque vous exécutez la première requête, les données à 3 % de matières grasses devraient ressembler à ceci :

Et les lignes non à 3 % devraient ressembler à ceci :

La deuxième requête devrait produire quelque chose comme :

Et n’oubliez pas, si vous souhaitez participer aux défis:
1. Inscrivez-vous en tant que membre de Frosty Friday. –> Vous pouvez le faire en cliquant sur la barre latérale, puis en cliquant sur ‘REGISTER‘ (notez que s’inscrire à notre liste de diffusion ne vous donne pas de compte Frosty Friday).
2. Publiez votre code sur GitHub et rendez-le accessible au public (consultez notre guide si vous ne savez pas comment faire, disponible ici)
3. Postez l’URL dans les commentaires du défi.

Si vous avez des questions techniques que vous souhaitez poser à la communauté, vous pouvez les poser ici, sur notre thread dédié.

Frosty Consulting a un client qui souhaite pouvoir charger des données à partir d’un stage de manière manuelle mais dynamique. Plus précisément, il veut être en mesure de :

• Exécuter une seule commande (procédure stockée)
• Le faire manuellement, ce qui signifie qu’elle ne sera pas planifié avec une tâche et qu’il n’y aura pas de Snowpipe à créer
• Déterminer dynamiquement la taille du warehouse en fonction du volume de données à ingérer: si un fichier dépasse 10 Ko, ils veulent utiliser un warehouse Small, tout ce qui est en dessous de cette taille devrait être traité par un warehouse XSmall.

-- Create the warehouses
create warehouse if not exists my_xsmall_wh 
    with warehouse_size = XSMALL
    auto_suspend = 120;
    
create warehouse if not exists my_small_wh 
    with warehouse_size = SMALL
    auto_suspend = 120;

-- Create the table
create or replace table <table_name>
(
    date_time datetime,
    trans_amount double
);

-- Create the stage
create or replace stage week_10_frosty_stage
    url = 's3://frostyfridaychallenges/challenge_10/'
    file_format = <enter_file_format>;

-- Create the stored procedure
create or replace procedure dynamic_warehouse_data_load(stage_name string, table_name string)
<code goes here>

-- Call the stored procedure.
call dynamic_warehouse_data_load('week_10_frosty_friday_stage', '<table_name>');

Utilisez le squelette de script ci-dessus et ajoutez-y la procédure stockée.

RÉSULTAT

Lorsque vous exécutez la dernière ligne du script ci-dessus « call dynamic_warehouse_data_load() », vous devriez obtenir le résultat suivant :

Et lors de la requête sur QUERY_HISTORY, vous devriez voir que différentes warehouses ont été utilisés pour différents fichiers.

Et n’oubliez pas, si vous souhaitez participer aux défis:
1. Inscrivez-vous en tant que membre de Frosty Friday. –> Vous pouvez le faire en cliquant sur la barre latérale, puis en cliquant sur ‘REGISTER‘ (notez que s’inscrire à notre liste de diffusion ne vous donne pas de compte Frosty Friday).
2. Publiez votre code sur GitHub et rendez-le accessible au public (consultez notre guide si vous ne savez pas comment faire, disponible ici)
3. Postez l’URL dans les commentaires du défi.

Si vous avez des questions techniques que vous souhaitez poser à la communauté, vous pouvez les poser ici, sur notre thread dédié.

Bien qu’à l’heure où ce texte est rédigé, l’intégration Snowflake-Streamlit ne soit pas encore disponible, FrostyFriday considère cela comme une raison de plus pour prendre de l’avance et commencer à développer vos compétences en Streamlit.

Même si Streamlit est basé sur Python, et que nous vous encourageons à apprendre Python, coder en Python n’est pas obligatoire pour ce défi. Le squelette de script ci-dessous devrait vous permettre de relever ce défi sans aucune connaissance en Python.

Pour un guide sur comment commencer, rendez-vous ici.

Alors… quel est le défi ?

Et bien, une entreprise dispose d’une table de faits des paiements que vous pouvez trouver ici. Ils veulent que FrostyData les aide en ingérant les données et en créant le graphique ci-dessous.

Résultat :

1. Le script ne doit pas exposer les mots de passe, cela poserait un gros problème de sécurité! Au lieu de cela, il vaut mieux utiliser les secrets Streamlit.
2. Le titre doit être « Payments in 2021 ».
3. Il doit avoir un filtre ‘date minimale’ qui spécifie la date la plus ancienne qu’un utilisateur peut sélectionner. Par défaut, cela devrait être réglé sur la date la plus ancienne présente dans le jeu de données.
4. Il doit avoir un filtre ‘date maximale’ qui spécifie la date la plus récente qu’un utilisateur peut sélectionner. Par défaut, cela devrait être réglé sur la date la plus récente présente dans le jeu de données.
5. Il devrait avoir un graphique en ligne avec les dates sur l’axe X et le montant sur l’axe Y. Les données doivent être agrégées au niveau hebdomadaire.

import streamlit as st
import pandas as pd
import snowflake.connector


# Normally, a secrets file should be saved in C:\Users\<your_user>\.streamlit
# as secrets.toml
ctx = snowflake.connector.connect(
    user="""<enter username here using a secrets.toml file>""",
    password="""<enter password here using a secrets.toml file>""",
    account="""<enter account here using a secrets.toml file>"""
    )
cs = ctx.cursor()

# WARNING - When aggregating columns in this query, keep the column names the same.
query = """<enter SQL here>"""


@st.cache # This keeps a cache in place so the query isn't constantly re-run.
def load_data():
    """
    In Python, def() creates a function. This particular function connects to your Snowflake
    account and executes the query above. If you have no Python experience, I recommend leaving
    this alone.
    """
    cur = ctx.cursor().execute(query)
    payments_df = pd.DataFrame.from_records(iter(cur), columns=[x[0] for x in cur.description])
    payments_df['PAYMENT_DATE'] = pd.to_datetime(payments_df['PAYMENT_DATE'])
    payments_df = payments_df.set_index('PAYMENT_DATE')
    return payments_df


payments_df = load_data() 
# This creates what we call a 'dataframe' called 
# payments_df, think of this as a table. To create 
# the table, we use the above function. So, basically,
# every time your write 'payments_df' in your code, you're 
# referencing the result of your query.

def get_min_date():
"""
This function returns the earliest date present in the dataset.
When you want to use this value, just write get_min_date().
"""
    return min(payments_df.index.to_list()).date()

def get_max_date():
"""
This function returns the latest date present in the dataset.
 When you want to use this value, just write get_max_date().
"""
    return max(payments_df.index.to_list()).date()


def app_creation():
"""
This function is the one your need to edit. 
"""
    # <Create a title here>
    min_filter = # <Create a slider for the min date>
    max_filter = # <Create a slider for the max date>
    mask = (payments_df.index >= pd.to_datetime("""<your minimum filter should go here>""")) \
             & (payments_df.index <= pd.to_datetime("""<your maximum filter should go here>"""))
    payments_df_filtered = payments_df.loc[mask] #This line creates a new dataframe (table) that filters
                                                    # your results to between the range of your min
                                                    # slider, and your max slider.
    # Create a line chart using the new payments_df_filtered dataframe. 

app_creation() # The function above is now invoked.

Et n’oubliez pas, si vous souhaitez participer aux défis:
1. Inscrivez-vous en tant que membre de Frosty Friday. –> Vous pouvez le faire en cliquant sur la barre latérale, puis en cliquant sur ‘REGISTER‘ (notez que s’inscrire à notre liste de diffusion ne vous donne pas de compte Frosty Friday).
2. Publiez votre code sur GitHub et rendez-le accessible au public (consultez notre guide si vous ne savez pas comment faire, disponible ici)
3. Postez l’URL dans les commentaires du défi.

Si vous avez des questions techniques que vous souhaitez poser à la communauté, vous pouvez les poser ici, sur notre thread dédié.

Être un méchant est déjà assez difficile en soi, et les problèmes de données ne sont pas uniquement réservés aux gentils. Les méchants ont beaucoup de r-projets et d’informations à suivre, et EVIL INC. a commencé à utiliser Snowflake pour ses besoins.

Cependant, vous avez remarqué que la partie la plus importante de vore base de données a été divulguée : les pouvoirs secrets !

Heureusement, vous avez mis en place des tags pour vous permettre de suivre qui a accédé à quelles informations !

Votre défi consiste à déterminer qui a accédé aux données qui ont été marquées avec le tag “Level Super Secret A+++++++”.

Comme il pourrait être un peu difficile de créer des utilisateurs pour accéder aux données, nous utilisons des rôles à la place des utilisateurs.

Voici le code d’initialisation que nous voulons que vous exécutiez avant le défi. Notez que account_usage met 2 heures à se mettre à jour, nous vous suggérons donc d’exécuter le code ci-dessous, puis de revenir au défi au moins deux heures plus tard.

-- Create Database
create or replace database FF_WEEK_7;
create or replace warehouse compute_wh with warehouse_size='X-SMALL';
use database FF_WEEK_7;

-- Create Schemas
create schema super_weapons;
create schema super_monsters;
create schema super_villains;

-- Create Tables and Mock data
create or replace table super_villains.villain_information (
id INT,
first_name VARCHAR(50),
last_name VARCHAR(50),
email VARCHAR(50),
Alter_Ego VARCHAR(50)
);
insert into super_villains.villain_information (id, first_name, last_name, email, Alter_Ego) values (1, 'Chrissy', 'Riches', 'criches0@ning.com', 'Waterbuck, defassa');
insert into super_villains.villain_information (id, first_name, last_name, email, Alter_Ego) values (2, 'Libbie', 'Fargher', 'lfargher1@vistaprint.com', 'Ibis, puna');
insert into super_villains.villain_information (id, first_name, last_name, email, Alter_Ego) values (3, 'Becka', 'Attack', 'battack2@altervista.org', 'Falcon, prairie');
insert into super_villains.villain_information (id, first_name, last_name, email, Alter_Ego) values (4, 'Euphemia', 'Whale', 'ewhale3@mozilla.org', 'Egyptian goose');
insert into super_villains.villain_information (id, first_name, last_name, email, Alter_Ego) values (5, 'Dixie', 'Bemlott', 'dbemlott4@moonfruit.com', 'Eagle, long-crested hawk');
insert into super_villains.villain_information (id, first_name, last_name, email, Alter_Ego) values (6, 'Giffard', 'Prendergast', 'gprendergast5@odnoklassniki.ru', 'Armadillo, seven-banded');
insert into super_villains.villain_information (id, first_name, last_name, email, Alter_Ego) values (7, 'Esmaria', 'Anthonies', 'eanthonies6@biblegateway.com', 'Cat, european wild');
insert into super_villains.villain_information (id, first_name, last_name, email, Alter_Ego) values (8, 'Celine', 'Fotitt', 'cfotitt7@baidu.com', 'Clark''s nutcracker');
insert into super_villains.villain_information (id, first_name, last_name, email, Alter_Ego) values (9, 'Leopold', 'Axton', 'laxton8@mac.com', 'Defassa waterbuck');
insert into super_villains.villain_information (id, first_name, last_name, email, Alter_Ego) values (10, 'Tadeas', 'Thorouggood', 'tthorouggood9@va.gov', 'Armadillo, nine-banded');

create or replace table super_monsters.monster_information (
id INT,
monster VARCHAR(50),
hideout_location VARCHAR(50)
);
insert into super_monsters.monster_information (id, monster, hideout_location) values (1, 'Northern elephant seal', 'Huangban');
insert into super_monsters.monster_information (id, monster, hideout_location) values (2, 'Paddy heron (unidentified)', 'Várzea Paulista');
insert into super_monsters.monster_information (id, monster, hideout_location) values (3, 'Australian brush turkey', 'Adelaide Mail Centre');
insert into super_monsters.monster_information (id, monster, hideout_location) values (4, 'Gecko, tokay', 'Tafí Viejo');
insert into super_monsters.monster_information (id, monster, hideout_location) values (5, 'Robin, white-throated', 'Turośń Kościelna');
insert into super_monsters.monster_information (id, monster, hideout_location) values (6, 'Goose, andean', 'Berezovo');
insert into super_monsters.monster_information (id, monster, hideout_location) values (7, 'Puku', 'Mayskiy');
insert into super_monsters.monster_information (id, monster, hideout_location) values (8, 'Frilled lizard', 'Fort Lauderdale');
insert into super_monsters.monster_information (id, monster, hideout_location) values (9, 'Yellow-necked spurfowl', 'Sezemice');
insert into super_monsters.monster_information (id, monster, hideout_location) values (10, 'Agouti', 'Najd al Jumā‘ī');

create table super_weapons.weapon_storage_location (
id INT,
created_by VARCHAR(50),
location VARCHAR(50),
catch_phrase VARCHAR(50),
weapon VARCHAR(50)
);
insert into super_weapons.weapon_storage_location (id, created_by, location, catch_phrase, weapon) values (1, 'Ullrich-Gerhold', 'Mazatenango', 'Assimilated object-oriented extranet', 'Fintone');
insert into super_weapons.weapon_storage_location (id, created_by, location, catch_phrase, weapon) values (2, 'Olson-Lindgren', 'Dvorichna', 'Switchable demand-driven knowledge user', 'Andalax');
insert into super_weapons.weapon_storage_location (id, created_by, location, catch_phrase, weapon) values (3, 'Rodriguez, Flatley and Fritsch', 'Palmira', 'Persevering directional encoding', 'Toughjoyfax');
insert into super_weapons.weapon_storage_location (id, created_by, location, catch_phrase, weapon) values (4, 'Conn-Douglas', 'Rukem', 'Robust tangible Graphical User Interface', 'Flowdesk');
insert into super_weapons.weapon_storage_location (id, created_by, location, catch_phrase, weapon) values (5, 'Huel, Hettinger and Terry', 'Bulawin', 'Multi-channelled radical knowledge user', 'Y-Solowarm');
insert into super_weapons.weapon_storage_location (id, created_by, location, catch_phrase, weapon) values (6, 'Torphy, Ritchie and Lakin', 'Wang Sai Phun', 'Self-enabling client-driven project', 'Alphazap');
insert into super_weapons.weapon_storage_location (id, created_by, location, catch_phrase, weapon) values (7, 'Carroll and Sons', 'Digne-les-Bains', 'Profound radical benchmark', 'Stronghold');
insert into super_weapons.weapon_storage_location (id, created_by, location, catch_phrase, weapon) values (8, 'Hane, Breitenberg and Schoen', 'Huangbu', 'Function-based client-server encoding', 'Asoka');
insert into super_weapons.weapon_storage_location (id, created_by, location, catch_phrase, weapon) values (9, 'Ledner and Sons', 'Bukal Sur', 'Visionary eco-centric budgetary management', 'Ronstring');
insert into super_weapons.weapon_storage_location (id, created_by, location, catch_phrase, weapon) values (10, 'Will-Thiel', 'Zafar', 'Robust even-keeled algorithm', 'Tin');

--Create Tags
create or replace tag security_class comment = 'sensitive data';

--Apply tags
alter table super_villains.villain_information set tag security_class = 'Level Super Secret A+++++++';
alter table super_monsters.monster_information set tag security_class = 'Level B';
alter table super_weapons.weapon_storage_location set tag security_class = 'Level Super Secret A+++++++';

--Create Roles
create role user1;
create role user2;
create role user3;

--Assign Roles to yourself with all needed privileges
grant role user1 to role accountadmin;
grant USAGE on warehouse compute_wh to role user1;
grant usage on database ff_week_7 to role user1;
grant usage on all schemas in database ff_week_7 to role user1;
grant select on all tables in database ff_week_7 to role user1;

grant role user2 to role accountadmin;
grant USAGE on warehouse compute_wh to role user2;
grant usage on database ff_week_7 to role user2;
grant usage on all schemas in database ff_week_7 to role user2;
grant select on all tables in database ff_week_7 to role user2;

grant role user3 to role accountadmin;
grant USAGE on warehouse compute_wh to role user3;
grant usage on database ff_week_7 to role user3;
grant usage on all schemas in database ff_week_7 to role user3;
grant select on all tables in database ff_week_7 to role user3;

--Queries to build history
use role user1;
use database FF_WEEK_7;
select * from super_villains.villain_information;

use role user2;
use database FF_WEEK_7;
select * from super_monsters.monster_information;

use role user3;
use database FF_WEEK_7;
select * from super_weapons.weapon_storage_location;

USE WAREHOUSE <enter_wh_here>;
USE DATABASE <enter_db_here>;
USE SCHEMA <enter_schema_here>;

create or replace table week7_villain_information (
id INT,
first_name VARCHAR(50),
last_name VARCHAR(50),
email VARCHAR(50),
Alter_Ego VARCHAR(50)
);
insert into week7_villain_information (id, first_name, last_name, email, Alter_Ego) values (1, 'Chrissy', 'Riches', 'criches0@ning.com', 'Waterbuck, defassa');
insert into week7_villain_information (id, first_name, last_name, email, Alter_Ego) values (2, 'Libbie', 'Fargher', 'lfargher1@vistaprint.com', 'Ibis, puna');
insert into week7_villain_information (id, first_name, last_name, email, Alter_Ego) values (3, 'Becka', 'Attack', 'battack2@altervista.org', 'Falcon, prairie');
insert into week7_villain_information (id, first_name, last_name, email, Alter_Ego) values (4, 'Euphemia', 'Whale', 'ewhale3@mozilla.org', 'Egyptian goose');
insert into week7_villain_information (id, first_name, last_name, email, Alter_Ego) values (5, 'Dixie', 'Bemlott', 'dbemlott4@moonfruit.com', 'Eagle, long-crested hawk');
insert into week7_villain_information (id, first_name, last_name, email, Alter_Ego) values (6, 'Giffard', 'Prendergast', 'gprendergast5@odnoklassniki.ru', 'Armadillo, seven-banded');
insert into week7_villain_information (id, first_name, last_name, email, Alter_Ego) values (7, 'Esmaria', 'Anthonies', 'eanthonies6@biblegateway.com', 'Cat, european wild');
insert into week7_villain_information (id, first_name, last_name, email, Alter_Ego) values (8, 'Celine', 'Fotitt', 'cfotitt7@baidu.com', 'Clark''s nutcracker');
insert into week7_villain_information (id, first_name, last_name, email, Alter_Ego) values (9, 'Leopold', 'Axton', 'laxton8@mac.com', 'Defassa waterbuck');
insert into week7_villain_information (id, first_name, last_name, email, Alter_Ego) values (10, 'Tadeas', 'Thorouggood', 'tthorouggood9@va.gov', 'Armadillo, nine-banded');

create or replace table week7_monster_information (
id INT,
monster VARCHAR(50),
hideout_location VARCHAR(50)
);

insert into week7_monster_information (id, monster, hideout_location) values (1, 'Northern elephant seal', 'Huangban');
insert into week7_monster_information (id, monster, hideout_location) values (2, 'Paddy heron (unidentified)', 'Várzea Paulista');
insert into week7_monster_information (id, monster, hideout_location) values (3, 'Australian brush turkey', 'Adelaide Mail Centre');
insert into week7_monster_information (id, monster, hideout_location) values (4, 'Gecko, tokay', 'Tafí Viejo');
insert into week7_monster_information (id, monster, hideout_location) values (5, 'Robin, white-throated', 'Turośń Kościelna');
insert into week7_monster_information (id, monster, hideout_location) values (6, 'Goose, andean', 'Berezovo');
insert into week7_monster_information (id, monster, hideout_location) values (7, 'Puku', 'Mayskiy');
insert into week7_monster_information (id, monster, hideout_location) values (8, 'Frilled lizard', 'Fort Lauderdale');
insert into week7_monster_information (id, monster, hideout_location) values (9, 'Yellow-necked spurfowl', 'Sezemice');
insert into week7_monster_information (id, monster, hideout_location) values (10, 'Agouti', 'Najd al Jumā‘ī');

create table week7_weapon_storage_location (
id INT,
created_by VARCHAR(50),
location VARCHAR(50),
catch_phrase VARCHAR(50),
weapon VARCHAR(50)
);

insert into week7_weapon_storage_location (id, created_by, location, catch_phrase, weapon)
values (1, 'Ullrich-Gerhold', 'Mazatenango', 'Assimilated object-oriented extranet', 'Fintone');
insert into week7_weapon_storage_location (id, created_by, location, catch_phrase, weapon)
values (2, 'Olson-Lindgren', 'Dvorichna', 'Switchable demand-driven knowledge user', 'Andalax');
insert into week7_weapon_storage_location (id, created_by, location, catch_phrase, weapon)
values (3, 'Rodriguez, Flatley and Fritsch', 'Palmira', 'Persevering directional encoding', 'Toughjoyfax');
insert into week7_weapon_storage_location (id, created_by, location, catch_phrase, weapon)
values (4, 'Conn-Douglas', 'Rukem', 'Robust tangible Graphical User Interface', 'Flowdesk');
insert into week7_weapon_storage_location (id, created_by, location, catch_phrase, weapon)
values (5, 'Huel, Hettinger and Terry', 'Bulawin', 'Multi-channelled radical knowledge user', 'Y-Solowarm');
insert into week7_weapon_storage_location (id, created_by, location, catch_phrase, weapon)
values (6, 'Torphy, Ritchie and Lakin', 'Wang Sai Phun', 'Self-enabling client-driven project', 'Alphazap');
insert into week7_weapon_storage_location (id, created_by, location, catch_phrase, weapon)
values (7, 'Carroll and Sons', 'Digne-les-Bains', 'Profound radical benchmark', 'Stronghold');
insert into week7_weapon_storage_location (id, created_by, location, catch_phrase, weapon)
values (8, 'Hane, Breitenberg and Schoen', 'Huangbu', 'Function-based client-server encoding', 'Asoka');
insert into week7_weapon_storage_location (id, created_by, location, catch_phrase, weapon)
values (9, 'Ledner and Sons', 'Bukal Sur', 'Visionary eco-centric budgetary management', 'Ronstring');
insert into week7_weapon_storage_location (id, created_by, location, catch_phrase, weapon)
values (10, 'Will-Thiel', 'Zafar', 'Robust even-keeled algorithm', 'Tin');

--Create Tags
create or replace tag security_class comment = 'sensitive data';

--Apply tags
alter table week7_villain_information set tag security_class = 'Level Super Secret A+++++++';
alter table week7_monster_information set tag security_class = 'Level B';
alter table week7_weapon_storage_location set tag security_class = 'Level Super Secret A+++++++';

--Create Roles
create role user1;
create role user2;
create role user3;

--Assign Roles to yourself with all needed privileges
grant role user1 to role accountadmin;
grant USAGE on warehouse to role user1;
grant usage on database to role user1;
grant usage on all schemas in database to role user1;
grant select on all tables in database to role user1;

grant role user2 to role accountadmin;
grant USAGE on warehouse to role user2;
grant usage on database to role user2;
grant usage on all schemas in database to role user2;
grant select on all tables in database to role user2;

grant role user3 to role accountadmin;
grant USAGE on warehouse to role user3;
grant usage on database to role user3;
grant usage on all schemas in database to role user3;
grant select on all tables in database to role user3;

--Queries to build history
use role user1;
select * from week7_villain_information;

use role user2;
select * from week7_monster_information;

use role user3;
select * from week7_weapon_storage_location;

Résultat :

Votre réponse devrait ressembler à ce qui suit :

Et n’oubliez pas, si vous souhaitez participer aux défis:
1. Inscrivez-vous en tant que membre de Frosty Friday. –> Vous pouvez le faire en cliquant sur la barre latérale, puis en cliquant sur ‘REGISTER‘ (notez que s’inscrire à notre liste de diffusion ne vous donne pas de compte Frosty Friday).
2. Publiez votre code sur GitHub et rendez-le accessible au public (consultez notre guide si vous ne savez pas comment faire, disponible ici)
3. Postez l’URL dans les commentaires du défi.

Si vous avez des questions techniques que vous souhaitez poser à la communauté, vous pouvez les poser ici, sur notre thread dédié.