Archivo de diciembre 2023

Esta semana pedimos una combinación de diferentes habilidades y resolución de problemas.

Hemos consultado distintos conjuntos de datos en el Marketplace y nos preguntamos si combinarlos podría ayudarnos en el futuro.

Su reto para esta semana :

– Conectar con el conjunto de datos públicos «COVID-19 Epidemiological Data» de Starschema (enlace)

– Conectar con el conjunto de datos públicos «Daily Weather Data» de Knoema (enlace) 

– Para la última fecha notificada (busque una bandera) , para cada país del conjunto COVID , devuelva el valor máximo de la Temperatura media (Fahrenheit) de la estación meteorológica de ese país que tenga el «nombre más alto». También esperamos que utilice RANK() para determinar esa estación meteorológica específica.

– Ordenado por nombre de país en orden ascendente

El resultado que estamos buscando, se parece a esto :

Sabemos que estamos pidiendo una combinación de habilidades en el desafío de esta semana, pero no te desanimes y trabaja paso a paso.

Recuerda que si deseas participar:

1. Regístrate como miembro de Frosty Friday. Puedes hacerlo haciendo clic en la barra lateral y luego yendo a «REGISTRARSE» (ten en cuenta que unirte a nuestra lista de correo no te proporcionará una cuenta de Frosty Friday).
2. Publica tu código en GitHub y asegúrate de que sea de acceso público (consulta nuestra guía si no sabes cómo hacerlo).
3. Publica la URL en los comentarios del desafío.

Si tienes alguna pregunta técnica que te gustaría plantear a la comunidad, puedes hacerlo aquí, en nuestro hilo dedicado a estos retos.

Para celebrar Women in Data y el próximo evento Data+Women, nos asociamos con Gaia Pometto, una consultora de datos en los Países Bajos, para lanzar un desafío para el evento Data+Women. Pasará por el desafío, en vivo, en el evento y puedes encontrarla en LinkedIn, Twitter y YouTube.

También quiso hacer una mención especial al colega Atzmon Ben Binyamin quien colaboró ​​con ella en este reto y fue de gran ayuda durante todo el proceso. Puedes encontrar a Atzmon en LinkedIn.

El reto

Para preparar un futuro flujo de ingesta de datos, su organización quiere obtener datos de una API meteorológica en Snowflake. Al final del flujo, se espera crear una tabla de hechos para que la utilicen los consumidores. 

Su colega Atzmon ya extrajo una muestra de los datos meteorológicos de la API y los almacenó momentáneamente en un depósito s3. El depósito s3 contiene un archivo JSON con datos por hora durante 7 días. 

Su flujo constará de 3 capas (esquemas) de datos:

a. Zona de aterrizaje (external stage, raw table – weather_raw)

b. Zona seleccionada (tabla analizada de datos sin procesar – weather_parsed)

c. Zona de consumo (tabla de datos agregados – weather_agg)

Objetivos: 

1. Crear un escenario para la capa de aterrizaje y copiar el JSON. 

2. Analice el JSON y cree una tabla: weather_parsed (en la zona seleccionada). 

3. Cree una tabla para el consumo weather_agg (en la zona de consumo).     

La tabla debe tener agregados por día para: 

a. Temperatura       

b. Velocidad del viento       

c. Distintas definiciones de ‘ícono’ para un día (p. ej. [“nublado”, “lluvia”])

Aquí está el enlace al depósito s3 (pista: depósito = desafíos de frostyfriday, ruta = desafío_25).

¡Buena suerte!

La solución debería ser algo como esto: 

Recuerda que si deseas participar:

1. Regístrate como miembro de Frosty Friday. Puedes hacerlo haciendo clic en la barra lateral y luego yendo a «REGISTRARSE» (ten en cuenta que unirte a nuestra lista de correo no te proporcionará una cuenta de Frosty Friday).
2. Publica tu código en GitHub y asegúrate de que sea de acceso público (consulta nuestra guía si no sabes cómo hacerlo).
3. Publica la URL en los comentarios del desafío.

Si tienes alguna pregunta técnica que te gustaría plantear a la comunidad, puedes hacerlo aquí, en nuestro hilo dedicado a estos retos.

Esta semana vamos a ver una función que acaba de llegar a Preview Feature – Open : Envío de notificaciones por correo electrónico.

Te pedimos que utilices esta función junto con tareas enlazadas para crear una cadena muy pequeña mientras abordas 2 temas diferentes.

El reto

La tarea para esta semana es doble :

• Crear una tarea programada (tarea nº 1) que inserte la marca de tiempo actual en una tabla cada 5 minutos.
• Crear una tarea vinculada (tarea nº 2) que envíe un correo electrónico que confirme la ejecución de la tarea nº 1 y que contenga la siguiente información:

La tarea ha finalizado con éxito en <cuenta> que está desplegada en la región <región> en <timestamp>».

Recuerda que si deseas participar:

1. Regístrate como miembro de Frosty Friday. Puedes hacerlo haciendo clic en la barra lateral y luego yendo a «REGISTRARSE» (ten en cuenta que unirte a nuestra lista de correo no te proporcionará una cuenta de Frosty Friday).
2. Publica tu código en GitHub y asegúrate de que sea de acceso público (consulta nuestra guía si no sabes cómo hacerlo).
3. Publica la URL en los comentarios del desafío.

Si tienes alguna pregunta técnica que te gustaría plantear a la comunidad, puedes hacerlo aquí, en nuestro hilo dedicado a estos retos.

Esta semana estamos investigando otra característica que la mayoría de los principiantes no han tocado antes: SnowSQL

“SnowSQL es el cliente de línea de comandos para conectarse a Snowflake para ejecutar consultas SQL y realizar todas las operaciones DDL y DML, incluida la carga y descarga de datos de las tablas de la base de datos”. (https://docs.snowflake.com/en/user-guide/snowsql.html )

Sin embargo, esta semana, le pediremos que lo use para una de las funciones por las que es más conocido: la función de carga masiva.

Se le ha pedido que cargue algunos archivos en una tabla y el gerente de ventas dijo que «solo le tomará unos 2 minutos».

Así que tenemos bastante claro que nos llevará al menos 15 .

El reto :

• Descargue el archivo zip que contiene los archivos CSV aquí
• Descargue e instale SnowSQL en su máquina desde esta página
• Conéctese a su instancia de Snowflake con SnowSQL
• Cargue de forma masiva los archivos que terminan en ‘1’ (data_batch_1-1.csv, data_batch_1-11.csv, etc.)
• Omitir cualquier archivo erróneo

El resultado deseado debería verse así:

Recuerda que si deseas participar:

1. Regístrate como miembro de Frosty Friday. Puedes hacerlo haciendo clic en la barra lateral y luego yendo a «REGISTRARSE» (ten en cuenta que unirte a nuestra lista de correo no te proporcionará una cuenta de Frosty Friday).
2. Publica tu código en GitHub y asegúrate de que sea de acceso público (consulta nuestra guía si no sabes cómo hacerlo).
3. Publica la URL en los comentarios del desafío.

Si tienes alguna pregunta técnica que te gustaría plantear a la comunidad, puedes hacerlo aquí, en nuestro hilo dedicado a estos retos.

Para celebrar el lanzamiento de Snowpark para Python en GA y el lanzamiento de la integración de Streamlit en la vista previa privada, ¡vamos a hacer un desafío doble de Snowpark y Streamlit!

Tu reto es crear una aplicación que se parezca a la de abajo:

Requisitos:

• Debes permitir al usuario seleccionar entre los siguientes objetos:
• ‘None’
• ‘Shares’
• ‘Roles’
• ‘Grants’
• ‘Users’
• ‘Warehouses’
• ‘Databases’
• ‘Schemas’
• ‘Tables’
• ‘Views’
• La aplicación debe mostrar el logotipo de FF
• Debe mostrar la versión de Snowpark que está utilizando
• Debe mostrar los resultados de las sentencias show como un marco de datos.
• Los esquemas, las tablas, las vistas y las concesiones deben ser a nivel de cuenta (es decir, no por base de datos, etc…)

Aquí está el archivo .png para el logotipo, haga clic derecho para descargar:

Recuerda que si deseas participar:

1. Regístrate como miembro de Frosty Friday. Puedes hacerlo haciendo clic en la barra lateral y luego yendo a «REGISTRARSE» (ten en cuenta que unirte a nuestra lista de correo no te proporcionará una cuenta de Frosty Friday).
2. Publica tu código en GitHub y asegúrate de que sea de acceso público (consulta nuestra guía si no sabes cómo hacerlo).
3. Publica la URL en los comentarios del desafío.

Si tienes alguna pregunta técnica que te gustaría plantear a la comunidad, puedes hacerlo aquí, en nuestro hilo dedicado a estos retos.

Puede que sea nuestra culpa que nuestros nuevos pasantes vean nuestra recopilación de datos, pero no todos en SuperHero Inc. conocen los datos como nos gustaría.

Hemos recibido informes de que simplemente tomaron algunas hojas viejas de papel para marcar y las convirtieron en datos recopilados.

Nuestros analistas no están muy entusiasmados con los resultados y nos han pedido que limpiemos un poco los datos.

Actualmente, los superhéroes están registrados en una sola fila y se ha marcado ++, + o – en la columna para cada superpoder que tienen.

Los analistas tienen problemas para contar los valores y mostrarlos fácilmente, y nos preguntaron si podíamos crear una nueva fila para el poder de cada héroe.

Lo que crearon los pasantes se parece a lo siguiente:

Datos originales

Como puedes ver, cada héroe tiene 2 poderes, señalados como ‘++’ para el poder principal y + para un poder secundario.

Lo que buscan los analistas es el siguiente resultado:

Resultado previsto

La tarea para esta semana:

• Transforme los datos de tal manera que cada héroe obtenga 1 fila
• Ponga los poderes ++ en la columna poder_principal
• Ponga los poderes + en la columna de poder_secundario

create or replace table hero_powers (
hero_name VARCHAR(50),
flight VARCHAR(50),
laser_eyes VARCHAR(50),
invisibility VARCHAR(50),
invincibility VARCHAR(50),
psychic VARCHAR(50),
magic VARCHAR(50),
super_speed VARCHAR(50),
super_strength VARCHAR(50)
);
insert into hero_powers (hero_name, flight, laser_eyes, invisibility, invincibility, psychic, magic, super_speed, super_strength) values ('The Impossible Guard', '++', '-', '-', '-', '-', '-', '-', '+');
insert into hero_powers (hero_name, flight, laser_eyes, invisibility, invincibility, psychic, magic, super_speed, super_strength) values ('The Clever Daggers', '-', '+', '-', '-', '-', '-', '-', '++');
insert into hero_powers (hero_name, flight, laser_eyes, invisibility, invincibility, psychic, magic, super_speed, super_strength) values ('The Quick Jackal', '+', '-', '++', '-', '-', '-', '-', '-');
insert into hero_powers (hero_name, flight, laser_eyes, invisibility, invincibility, psychic, magic, super_speed, super_strength) values ('The Steel Spy', '-', '++', '-', '-', '+', '-', '-', '-');
insert into hero_powers (hero_name, flight, laser_eyes, invisibility, invincibility, psychic, magic, super_speed, super_strength) values ('Agent Thundering Sage', '++', '+', '-', '-', '-', '-', '-', '-');
insert into hero_powers (hero_name, flight, laser_eyes, invisibility, invincibility, psychic, magic, super_speed, super_strength) values ('Mister Unarmed Genius', '-', '-', '-', '-', '-', '-', '-', '-');
insert into hero_powers (hero_name, flight, laser_eyes, invisibility, invincibility, psychic, magic, super_speed, super_strength) values ('Doctor Galactic Spectacle', '-', '-', '-', '++', '-', '-', '-', '+');
insert into hero_powers (hero_name, flight, laser_eyes, invisibility, invincibility, psychic, magic, super_speed, super_strength) values ('Master Rapid Illusionist', '-', '-', '-', '-', '++', '-', '+', '-');
insert into hero_powers (hero_name, flight, laser_eyes, invisibility, invincibility, psychic, magic, super_speed, super_strength) values ('Galactic Gargoyle', '+', '-', '-', '-', '-', '-', '++', '-');
insert into hero_powers (hero_name, flight, laser_eyes, invisibility, invincibility, psychic, magic, super_speed, super_strength) values ('Alley Cat', '-', '++', '-', '-', '-', '-', '-', '+');

Recuerda que si deseas participar:

1. Regístrate como miembro de Frosty Friday. Puedes hacerlo haciendo clic en la barra lateral y luego yendo a «REGISTRARSE» (ten en cuenta que unirte a nuestra lista de correo no te proporcionará una cuenta de Frosty Friday).
2. Publica tu código en GitHub y asegúrate de que sea de acceso público (consulta nuestra guía si no sabes cómo hacerlo).
3. Publica la URL en los comentarios del desafío.

Si tienes alguna pregunta técnica que te gustaría plantear a la comunidad, puedes hacerlo aquí, en nuestro hilo dedicado a estos retos.

El jefe de ventas de Frosty Sales no tiene amigos. Por lo tanto, en lugar de dar a cada representante de ventas una lista de ciudades, ha decidido ordenarlas de forma que las ciudades-distrito con un id impar pertenezcan a rep1, y las pares a rep2.

Tu trabajo es crear una vista segura que:

1. Garantice que rep1 sólo pueda ver las ciudades-distrito con un id impar.
2. Garantice que rep2 sólo pueda ver las ciudades-distrito con id par.

Los campos ‘id’ son en realidad un id generado aleatoriamente (para que podamos cumplir con las mejores prácticas de vista segura)

-- File format to read the CSV 

create or replace file format frosty_csv 

type = csv 

field_delimiter = ',' 

field_optionally_enclosed_by = '"' 

skip_header = 1; 

-- Creates stage to read the CSV 

create or replace stage w22_frosty_stage 

url = 's3://frostyfridaychallenges/challenge_22/' 

file_format = frosty_csv; 

-- Roles needed for challenge 

create role rep1; 

create role rep2; 

-- Grant roles to self for testing 

grant role rep1 to user <INSERT_YOUR_USERNAME>; 

grant role rep2 to user <INSERT_YOUR_USERNAME>; 

-- Enable warehouse usage. Assumes that `public` has access to the warehouse

grant role public to role rep1; 

grant role public to role rep2; 

-- Create the table from the CSV in S3 

create table <YOUR_DB_NAME>.<YOUR_SCHEMA_NAME>.week22 as 

select t.$1::int id, t.$2::varchar(50) city, t.$3::int district 

from @w22_frosty_stage (pattern=>'.*sales_areas.*') t; 

-- Code for creating the secure view 

<ENTER_CODE_HERE>

 -- Roles need DB access 

grant usage on database <YOUR_DB_NAME> to role rep1; 

grant usage on database <YOUR_DB_NAME> to role rep2; 

-- And schema access 

grant usage on schema <YOUR_DB_NAME>.challenges to role rep1; 

grant usage on schema <YOUR_DB_NAME>.challenges to role rep2; 

-- And usage of view 

grant select on view <YOUR_DB_NAME>.<YOUR_SCHEMA_NAME>.secure_cities to role rep1; 

grant select on view <YOUR_DB_NAME>.<YOUR_SCHEMA_NAME>.secure_cities to role rep2; 

-- Get the result of queries 

use role rep1 

select * from <YOUR_DB_NAME>.<YOUR_SCHEMA_NAME>.secure_cities; 

use role rep2 

select * from <YOUR_DB_NAME>.<YOUR_SCHEMA_NAME>.secure_cities;

Resultados

Cuando rep1 consulta, debería ver esto:

Cuando rep2 consulta, deberían ver esto:

Recuerda que si deseas participar:

1. Regístrate como miembro de Frosty Friday. Puedes hacerlo haciendo clic en la barra lateral y luego yendo a «REGISTRARSE» (ten en cuenta que unirte a nuestra lista de correo no te proporcionará una cuenta de Frosty Friday).
2. Publica tu código en GitHub y asegúrate de que sea de acceso público (consulta nuestra guía si no sabes cómo hacerlo).
3. Publica la URL en los comentarios del desafío.

Si tienes alguna pregunta técnica que te gustaría plantear a la comunidad, puedes hacerlo aquí, en nuestro hilo dedicado a estos retos.

Esta semana estamos viendo algo peculiar pero útil: la dimensión de la fecha junto con un UDF que calcula la cantidad de días hábiles entre 2 fechas (y debido a que es un desafío fácil, no estamos excluyendo los días festivos).

Hemos hablado con la Unión de Superhéroes y hemos recibido quejas de que los horarios de cualquier héroe no tienen en cuenta una «rutina de trabajo normal» y que «incluso los superhéroes necesitan fines de semana libres».

Para comenzar esta empresa, necesitamos que construya una tabla de dimensión de fecha que contenga lo siguiente: 

• La fecha, a partir del 1-1-2000
• El año en 4 números (para el 1-1-2000 sería 2000)
• Las 3 primeras letras del mes (para el 1-1-2000 sería Ene)
• El nombre del mes (para el 1-1-2000 sería enero)       
• El número del día dentro de ese mes (para 1-1-2000 sería 1)
• El número del día de la semana (los lunes son 1, los martes son 2, etc., O cualquier otro orden que tenga sentido para usted)
• El número de la semana de ese año (para el 1-1-2000 sería 1)       
• El número del día en ese año (para 1-1-2000 sería 1)

Además de la dimensión de la fecha, también debe crear una función para calcular la cantidad de días hábiles entre 2 fechas que pueda cambiar fácilmente entre incluir o excluir la segunda fecha en el cálculo (es decir, desde el lunes 2 de noviembre de 2020 incluido, hasta el viernes 6 de noviembre de 2020, pero sin incluirlo, serán 4 días, pero desde el lunes 2 de noviembre de 2020 inclusive hasta el viernes 6 de noviembre de 2020 inclusive son 5 días)

Ejemplo de la función

Entonces use esta función en los siguientes prueba_datos:

create table testing_data (
id INT,
start_date DATE,
end_date DATE
);
insert into testing_data (id, start_date, end_date) values (1, '11/11/2020', '9/3/2022');
insert into testing_data (id, start_date, end_date) values (2, '12/8/2020', '1/19/2022');
insert into testing_data (id, start_date, end_date) values (3, '12/24/2020', '1/15/2022');
insert into testing_data (id, start_date, end_date) values (4, '12/5/2020', '3/3/2022');
insert into testing_data (id, start_date, end_date) values (5, '12/24/2020', '6/20/2022');
insert into testing_data (id, start_date, end_date) values (6, '12/24/2020', '5/19/2022');
insert into testing_data (id, start_date, end_date) values (7, '12/31/2020', '5/6/2022');
insert into testing_data (id, start_date, end_date) values (8, '12/4/2020', '9/16/2022');
insert into testing_data (id, start_date, end_date) values (9, '11/27/2020', '4/14/2022');
insert into testing_data (id, start_date, end_date) values (10, '11/20/2020', '1/18/2022');
insert into testing_data (id, start_date, end_date) values (11, '12/1/2020', '3/31/2022');
insert into testing_data (id, start_date, end_date) values (12, '11/30/2020', '7/5/2022');
insert into testing_data (id, start_date, end_date) values (13, '11/28/2020', '6/19/2022');
insert into testing_data (id, start_date, end_date) values (14, '12/21/2020', '9/7/2022');
insert into testing_data (id, start_date, end_date) values (15, '12/13/2020', '8/15/2022');
insert into testing_data (id, start_date, end_date) values (16, '11/4/2020', '3/22/2022');
insert into testing_data (id, start_date, end_date) values (17, '12/24/2020', '8/29/2022');
insert into testing_data (id, start_date, end_date) values (18, '11/29/2020', '10/13/2022');
insert into testing_data (id, start_date, end_date) values (19, '12/10/2020', '7/31/2022');
insert into testing_data (id, start_date, end_date) values (20, '11/1/2020', '10/23/2021');

Recuerda que si deseas participar:

1. Regístrate como miembro de Frosty Friday. Puedes hacerlo haciendo clic en la barra lateral y luego yendo a «REGISTRARSE» (ten en cuenta que unirte a nuestra lista de correo no te proporcionará una cuenta de Frosty Friday).
2. Publica tu código en GitHub y asegúrate de que sea de acceso público (consulta nuestra guía si no sabes cómo hacerlo).
3. Publica la URL en los comentarios del desafío.

Si tienes alguna pregunta técnica que te gustaría plantear a la comunidad, puedes hacerlo aquí, en nuestro hilo dedicado a estos retos.

Si conoces tus factoides de SnowPro, sabrás que cuando CLONAS un objeto, sólo puedes replicar las concesiones sobre ese objeto si ese objeto es una tabla. ¿Pero no sería la vida más fácil si ese no fuera el caso? Pues… ¡haz que lo sea!

Su reto es crear un procedimiento almacenado que no sólo cree un clon de un esquema, sino que replique todas las concesiones en ese esquema. Este procedimiento debe ser capaz de aceptar una sentencia personalizada ‘AT’ o ‘BEFORE’ escrita por el usuario.

create or replace role frosty_role_one; 
create or replace role frosty_role_two; 
create or replace role frosty_role_three; 
create or replace schema cold_lonely_schema; 
create or replace table cold_lonely_schema.table_one (key int, value varchar); grant all on schema cold_lonely_schema to frosty_role_one; 
grant all on schema cold_lonely_schema to frosty_role_two; 
grant all on schema cold_lonely_schema to frosty_role_three;
grant all on table cold_lonely_schema.table_one to frosty_role_one; 
grant all on table cold_lonely_schema.table_one to frosty_role_two; 
grant all on table cold_lonely_schema.table_one to frosty_role_three; 
create or replace procedure schema_clone_with_copy_grants(database_name string, <code_here> 
call schema_clone_with_copy_grants('frosty_friday', 'cold_lonely_schema', 'frosty_friday', 'cold_lonely_clone', NULL); 
select * from table(information_schema.query_history_by_session()) order by start_time desc;

Preste atención a los parámetros que se pasan a la función:

• database_name = este debe ser el nombre de la base de datos del esquema original
• schema_name = debe ser el nombre del esquema original
• target_database = debe ser la base de datos del esquema clonado
• cloned_schema_name = debe ser el nombre del esquema clonado
• at_or_before_statement = el usuario debe poder proporcionar una sentencia AT/BEFORE personalizada que se añadirá a la sentencia CREATE …. CLONE. Por ejemplo

• ‘at (timestamp => to_timestamp_tz(’04/05/2013 01:02:03’, ‘mm/dd/yyyy hh24:mi:ss’));’
• ‘before (statement => ‘8e5d0ca9-005e-44e6-b858-a8f5b37c5726′);’

Con el último parámetro, el código anterior pasa un NULL. ¡Puntos extra para los que comprueben que esta parte de su código funciona!

Resultado

La primera consulta de la sentencia ‘call’ debería producir lo siguiente:

El segundo debe producir un resultado como este:

Recuerda que si deseas participar:

1. Regístrate como miembro de Frosty Friday. Puedes hacerlo haciendo clic en la barra lateral y luego yendo a «REGISTRARSE» (ten en cuenta que unirte a nuestra lista de correo no te proporcionará una cuenta de Frosty Friday).
2. Publica tu código en GitHub y asegúrate de que sea de acceso público (consulta nuestra guía si no sabes cómo hacerlo).
3. Publica la URL en los comentarios del desafío.

Si tienes alguna pregunta técnica que te gustaría plantear a la comunidad, puedes hacerlo aquí, en nuestro hilo dedicado a estos retos.