iglesiasd

¡Descubriendo uniones que causan revuelo!

Todos nos hemos encontrado con esa molesta unión que se multiplica inesperadamente o simplemente se vuelve loca. Anteriormente, profundizábamos en nuestros conjuntos de datos, tratando de identificar al culpable. Ahora, diseñemos una función para agilizar este trabajo de detective.

Su desafío esta semana: diseñar una función que tome un ID de consulta y identifique cualquier unión dentro de ella que produzca más filas que la proporción 1:1 anticipada. En pocas palabras, si una combinación combina 10 filas desde la izquierda y 80 desde la derecha, pero da como resultado más de 80 filas, su función debería resaltar tales discrepancias.

--Schema creation
create or replace schema week_63;

--T1 creation
CREATE TABLE t1 (value CHAR(1));

INSERT INTO t1
SELECT 'a' FROM (SELECT 1 UNION ALL SELECT 2 UNION ALL SELECT 3 UNION ALL SELECT 4 UNION ALL SELECT 5 UNION ALL SELECT 6 UNION ALL SELECT 7 UNION ALL SELECT 8 UNION ALL SELECT 9 UNION ALL SELECT 10) AS temp1

UNION ALL

SELECT 'b' FROM (SELECT 1 UNION ALL SELECT 2 UNION ALL SELECT 3 UNION ALL SELECT 4 UNION ALL SELECT 5 UNION ALL SELECT 6 UNION ALL SELECT 7 UNION ALL SELECT 8 UNION ALL SELECT 9 UNION ALL SELECT 10 UNION ALL SELECT 11 UNION ALL SELECT 12 UNION ALL SELECT 13 UNION ALL SELECT 14 UNION ALL SELECT 15 UNION ALL SELECT 16 UNION ALL SELECT 17 UNION ALL SELECT 18 UNION ALL SELECT 19 UNION ALL SELECT 20) AS temp2

UNION ALL

SELECT 'c' FROM (SELECT 1 UNION ALL SELECT 2 UNION ALL SELECT 3 UNION ALL SELECT 4 UNION ALL SELECT 5 UNION ALL SELECT 6 UNION ALL SELECT 7 UNION ALL SELECT 8 UNION ALL SELECT 9 UNION ALL SELECT 10 UNION ALL SELECT 11 UNION ALL SELECT 12 UNION ALL SELECT 13 UNION ALL SELECT 14 UNION ALL SELECT 15 UNION ALL SELECT 16 UNION ALL SELECT 17 UNION ALL SELECT 18 UNION ALL SELECT 19 UNION ALL SELECT 20 UNION ALL SELECT 21 UNION ALL SELECT 22 UNION ALL SELECT 23 UNION ALL SELECT 24 UNION ALL SELECT 25 UNION ALL SELECT 26 UNION ALL SELECT 27 UNION ALL SELECT 28 UNION ALL SELECT 29 UNION ALL SELECT 30) AS temp3

UNION ALL

SELECT 'd' FROM (SELECT 1 UNION ALL SELECT 2 UNION ALL SELECT 3 UNION ALL SELECT 4 UNION ALL SELECT 5 UNION ALL SELECT 6 UNION ALL SELECT 7 UNION ALL SELECT 8 UNION ALL SELECT 9 UNION ALL SELECT 10 UNION ALL SELECT 11 UNION ALL SELECT 12 UNION ALL SELECT 13 UNION ALL SELECT 14 UNION ALL SELECT 15 UNION ALL SELECT 16 UNION ALL SELECT 17 UNION ALL SELECT 18 UNION ALL SELECT 19 UNION ALL SELECT 20) AS temp4

;

-- Create table t2 and insert one 'b' value
CREATE TABLE t2 (value CHAR(1));
INSERT INTO t2 (value) VALUES ('b');

-- Create table t3 and insert ten 'c' values
CREATE TABLE t3 (value CHAR(1));
INSERT INTO t3
SELECT 'c' FROM (SELECT 1 UNION ALL SELECT 2 UNION ALL SELECT 3 UNION ALL SELECT 4 UNION ALL SELECT 5 UNION ALL SELECT 6 UNION ALL SELECT 7 UNION ALL SELECT 8 UNION ALL SELECT 9 UNION ALL SELECT 10) AS temp;

-- Create table t4 and insert one 'd' value
CREATE TABLE t4 (value CHAR(1));
INSERT INTO t4 (value) VALUES ('d');

La consulta que nos gustaría que comprobaras:

SELECT *
FROM t1
    LEFT JOIN t2 ON t1.value = t2.value
    LEFT JOIN t3 ON t1.value = t3.value
    LEFT JOIN t4 ON t1.value = t4.value;

El resultado de su función debería ser similar a este:

¡Buena suerte!

Bienvenue à tous, es un placer anunciar que el 5 de octubre, en el Data Cloud World Tour Paris , gracias al increíble trabajo duro de Jade Le Van y Maxime Simon , lanzaremos Jeudis Givrés .

Todos los desafíos de Frosty Friday se traducirán al francés y se lanzarán el jueves siguiente (en aras de la aliteración), seguidos de muchos eventos comunitarios para ayudar a mejorar esas habilidades parisinas (y francesas en general) de Snowflake.

Para celebrarlo, volvemos a visitar nuestro desafío de la Semana 4 sobre las monarcas españolas, pero esta vez, en XML (que fue parcialmente inventado por un francés). ¿Puedes analizar a los monarcas franceses?

create or replace file format frosty_parquet
type = 'parquet';

create or replace stage s3_stage
    url = 's3://frostyfridaychallenges'

create or replace table week64 as
select parse_xml($1:"DATA") as data
from @s3_stage/challenge_64/french_monarchs.parquet
    (file_format => frosty_parquet);

Recuerda si quieres participar:

1. Regístrate como miembro de Frosty Friday. Puede hacer esto haciendo clic en la barra lateral y luego yendo a ‘ REGISTRARSE ‘ (tenga en cuenta que unirse a nuestra lista de correo no le otorga una cuenta de Frosty Friday)
2. Publique su código en GitHub y póngalo a disposición del público (consulte nuestra guía si no sabe cómo hacerlo  aquí ).
3. Publica la URL en los comentarios del desafío.

¡Bienvenidos al Desafío del Viernes Helado! Soy Dorian Banutoiu de canonicalized.com y tengo un
desafío apasionante para ti.

¡Prepárese para mostrar sus habilidades de manipulación de datos y su destreza en la manipulación de JSON!

Detalles del desafío
Imagine que está trabajando en una empresa de telecomunicaciones y su colega Rick le ha enviado una hoja de cálculo que contiene una lista de productos.

Su tarea es limpiar y transformar estos datos en una tabla Snowflake y crear un archivo JSON en un
formato específico para que Rick lo cargue en una herramienta de terceros.

Pero hay que hacer algunas limpiezas antes de que los datos puedan usarse de manera efectiva. En su intento de hacer que la hoja de cálculo sea bonita, Rick fusionó algunas celdas en la columna Marca, lo que por supuesto te hará la vida más difícil.

[Archivo de datos](s3://frostyfridaychallenges/challenge_61/Telecom Products – Sheet1.csv)

Tareas

Limpieza de datos:
– Complete los valores nulos en la columna “Marca” con el valor de la primera fila no vacía desde
arriba (relleno hacia adelante)
– Complete los valores nulos en la columna “URL amigable” con la URL correspondiente de la segunda
columna
– Elimine filas con valores nulos en la columna Categoría.

Creación de objetos JSON:
– Transforme los datos limpios en un objeto JSON anidado utilizando el siguiente formato

{
  "Category": {
    "Brand": [
      {"Product Name": "Friendly URL"}
    ],
  "Brand": [
    {"Product Name": "Friendly URL"},
    {"Product Name": "Friendly URL"}
  ]
},
  "Category": {
"Brand": [
    {"Product Name": "Friendly URL"}
  ]
},
...
}

Descargar datos:
– Una vez creado el objeto JSON, descargue los datos en un archivo JSON a una etapa Snowflake.
Envíe a su colega [un enlace prefirmado]() al archivo.

Resultados finales:

Tabla de copos de nieve: un conjunto de datos limpio y transformado que está listo para que usted y sus
colegas lo utilicen y se parece a la siguiente captura de pantalla.

Archivo JSON: un archivo JSON en el formato requerido, adecuado para que Rick lo cargue en una herramienta de terceros. Preste atención al caso de la columna Categoría.

Consejos

• Las funciones de ventana deberían facilitar el reenvío de valores vacíos en Snowflake
• Puede crear una UDF para que sea más fácil convertir el caso de los valores de categoría.
• Se requiere cifrado del lado del servidor en la etapa de descarga para poder generar una URL prefirmada. ¡
  Diviértete!

Recuerda, si quieres participar:

1. Regístrate como miembro de Frosty Friday. Puede hacer esto haciendo clic en la barra lateral y luego yendo a ‘ REGISTRARSE ‘ .
2. Publique su código en GitHub y póngalo a disposición del público (consulte nuestra guía si no sabe cómo hacerlo  aquí ).
3. Publica la URL en los comentarios del desafío.

Snowpark ML es otra característica de vista previa pública con la que estamos muy emocionados de jugar. Ahora bien, las habilidades en ciencia de datos son habilidades especializadas, por lo que no queremos profundizar demasiado aquí, por lo que lo hemos hecho lo más fácil posible.

(1) Ingerir los datos

(2) Cree un connection.jsonarchivo que se parezca un poco al siguiente

{
  "account"            : "",
  "user"               : "",
  "password"           : "",
  "role"               : "",
  "warehouse"          : "",
  "database"           : "",
  "schema"             : ""
}

(3) Conéctese a sus datos como en el siguiente código

connection_parameters = json.load(open('credentials/connection.json'))
session = Session.builder.configs(connection_parameters).create()

(4) Rellena los huecos

#Load table
week59 = session.table('week59').to_pandas()

# Initialize the DecisionTreeClassifier with column names
model = 

# Fit the model to the data


# Make predictions


# Display the predictions

Su resultado debería verse así:

Recuerda, si quieres participar:

1. Regístrate como miembro de Frosty Friday. Puede hacer esto haciendo clic en la barra lateral y luego yendo a ‘ REGISTRARSE ‘ .
2. Publique su código en GitHub y póngalo a disposición del público (consulte nuestra guía si no sabe cómo hacerlo  aquí ).
3. Publica la URL en los comentarios del desafío.

Hemos tenido algunos problemas con nuestro centro de llamadas.

Cuando un cliente llama, da su nombre y nuestro soporte técnico lo verifica en la base de datos. Si no se puede encontrar el cliente, se crea un nuevo cliente.

Pensábamos que habíamos creado un sistema infalible pero, lamentablemente, no es así. ¡Si alguien escribe un nombre de manera diferente entonces no podrá ser encontrado! Esta noticia fue tan impactante que le asignamos la tarea de filtrar nuestra base de datos en función de esos nombres que suenan similares.

Como prueba de concepto, tenemos la siguiente tabla:

Y esperamos que descubra que las filas 1 y 2 suenan similares, pero las filas 5 y 6 no.

En la tabla devuelta, nos gustaría que muestre que ha comparado la fila 1 con la fila 2-14, pero que la fila 2 se comparará con la 3-14 (pero no con la fila 1, ya que ya lo ha verificado). :

CREATE OR REPLACE TABLE week_60 (
    name VARCHAR
);

INSERT INTO week_60 (name)
VALUES
    ('John Smith'),
    ('Jon Smyth'),
    ('Jane Doe'),
    ('Jan Do'),
    ('Michael Johnson'),
    ('Mike Johnson'),
    ('Sarah Williams'),
    ('Sara Williams'),
    ('Robert Brown'),
    ('Roberto Brown'),
    ('Emily White'),
    ('Emilie Whyte'),
    ('David Lee'),
    ('Davey Li');

¡Buena suerte!

Después de la semana 57, ¡continuamos con nuestras opciones SELECCIONAR con REEMPLAZAR!
Dado nuestro código de inicio a continuación, nos gustaría que hiciera lo siguiente:
– restar 1 a la edad (porque el interno olvidó que los bebés comienzan en 0, no en 1)
– agregar 10 % al peso de todos porque la báscula parecía estar desactivado
Reemplaza el género de todos por «desconocido» si estaba marcado como «otro».

CREATE OR REPLACE TABLE measurements (
height INT,
weight INT,
age INT,
gender VARCHAR(),
id INT
);
insert into measurements (height, weight, age, gender, id) values (41, 178, 74, 'other', 1);
insert into measurements (height, weight, age, gender, id) values (188, 145, 87, 'other', 2);
insert into measurements (height, weight, age, gender, id) values (215, 725, 30, 'male', 3);
insert into measurements (height, weight, age, gender, id) values (159, 48, 116, 'female', 4);
insert into measurements (height, weight, age, gender, id) values (243, 204, 6, 'other', 5);
insert into measurements (height, weight, age, gender, id) values (232, 306, 30, 'male', 6);
insert into measurements (height, weight, age, gender, id) values (261, 602, 62, 'other', 7);
insert into measurements (height, weight, age, gender, id) values (143, 829, 113, 'female', 8);
insert into measurements (height, weight, age, gender, id) values (62, 190, 86, 'male', 9);
insert into measurements (height, weight, age, gender, id) values (249, 15, 73, 'male', 10);

El desafío es hacer esto con 1 consulta y los resultados finales se verán así:

(Puede que haya una pequeña trampa escondida en nuestro desafío de esta semana, así que no te desanimes si no la consigues en el primer intento)