Archivo de abril 2024

¡Bienvenidos al Desafío del Viernes Helado! Soy Dorian Banutoiu de canonicalized.com y tengo un
desafío apasionante para ti.

¡Prepárese para mostrar sus habilidades de manipulación de datos y su destreza en la manipulación de JSON!

Detalles del desafío
Imagine que está trabajando en una empresa de telecomunicaciones y su colega Rick le ha enviado una hoja de cálculo que contiene una lista de productos.

Su tarea es limpiar y transformar estos datos en una tabla Snowflake y crear un archivo JSON en un
formato específico para que Rick lo cargue en una herramienta de terceros.

Pero hay que hacer algunas limpiezas antes de que los datos puedan usarse de manera efectiva. En su intento de hacer que la hoja de cálculo sea bonita, Rick fusionó algunas celdas en la columna Marca, lo que por supuesto te hará la vida más difícil.

[Archivo de datos](s3://frostyfridaychallenges/challenge_61/Telecom Products – Sheet1.csv)

Tareas

Limpieza de datos:
– Complete los valores nulos en la columna “Marca” con el valor de la primera fila no vacía desde
arriba (relleno hacia adelante)
– Complete los valores nulos en la columna “URL amigable” con la URL correspondiente de la segunda
columna
– Elimine filas con valores nulos en la columna Categoría.

Creación de objetos JSON:
– Transforme los datos limpios en un objeto JSON anidado utilizando el siguiente formato

{
  "Category": {
    "Brand": [
      {"Product Name": "Friendly URL"}
    ],
  "Brand": [
    {"Product Name": "Friendly URL"},
    {"Product Name": "Friendly URL"}
  ]
},
  "Category": {
"Brand": [
    {"Product Name": "Friendly URL"}
  ]
},
...
}

Descargar datos:
– Una vez creado el objeto JSON, descargue los datos en un archivo JSON a una etapa Snowflake.
Envíe a su colega [un enlace prefirmado]() al archivo.

Resultados finales:

Tabla de copos de nieve: un conjunto de datos limpio y transformado que está listo para que usted y sus
colegas lo utilicen y se parece a la siguiente captura de pantalla.

Archivo JSON: un archivo JSON en el formato requerido, adecuado para que Rick lo cargue en una herramienta de terceros. Preste atención al caso de la columna Categoría.

Consejos

• Las funciones de ventana deberían facilitar el reenvío de valores vacíos en Snowflake
• Puede crear una UDF para que sea más fácil convertir el caso de los valores de categoría.
• Se requiere cifrado del lado del servidor en la etapa de descarga para poder generar una URL prefirmada. ¡
  Diviértete!

Recuerda, si quieres participar:

1. Regístrate como miembro de Frosty Friday. Puede hacer esto haciendo clic en la barra lateral y luego yendo a ‘ REGISTRARSE ‘ .
2. Publique su código en GitHub y póngalo a disposición del público (consulte nuestra guía si no sabe cómo hacerlo  aquí ).
3. Publica la URL en los comentarios del desafío.

Snowpark ML es otra característica de vista previa pública con la que estamos muy emocionados de jugar. Ahora bien, las habilidades en ciencia de datos son habilidades especializadas, por lo que no queremos profundizar demasiado aquí, por lo que lo hemos hecho lo más fácil posible.

(1) Ingerir los datos

(2) Cree un connection.jsonarchivo que se parezca un poco al siguiente

{
  "account"            : "",
  "user"               : "",
  "password"           : "",
  "role"               : "",
  "warehouse"          : "",
  "database"           : "",
  "schema"             : ""
}

(3) Conéctese a sus datos como en el siguiente código

connection_parameters = json.load(open('credentials/connection.json'))
session = Session.builder.configs(connection_parameters).create()

(4) Rellena los huecos

#Load table
week59 = session.table('week59').to_pandas()

# Initialize the DecisionTreeClassifier with column names
model = 

# Fit the model to the data


# Make predictions


# Display the predictions

Su resultado debería verse así:

Recuerda, si quieres participar:

1. Regístrate como miembro de Frosty Friday. Puede hacer esto haciendo clic en la barra lateral y luego yendo a ‘ REGISTRARSE ‘ .
2. Publique su código en GitHub y póngalo a disposición del público (consulte nuestra guía si no sabe cómo hacerlo  aquí ).
3. Publica la URL en los comentarios del desafío.

Hemos tenido algunos problemas con nuestro centro de llamadas.

Cuando un cliente llama, da su nombre y nuestro soporte técnico lo verifica en la base de datos. Si no se puede encontrar el cliente, se crea un nuevo cliente.

Pensábamos que habíamos creado un sistema infalible pero, lamentablemente, no es así. ¡Si alguien escribe un nombre de manera diferente entonces no podrá ser encontrado! Esta noticia fue tan impactante que le asignamos la tarea de filtrar nuestra base de datos en función de esos nombres que suenan similares.

Como prueba de concepto, tenemos la siguiente tabla:

Y esperamos que descubra que las filas 1 y 2 suenan similares, pero las filas 5 y 6 no.

En la tabla devuelta, nos gustaría que muestre que ha comparado la fila 1 con la fila 2-14, pero que la fila 2 se comparará con la 3-14 (pero no con la fila 1, ya que ya lo ha verificado). :

CREATE OR REPLACE TABLE week_60 (
    name VARCHAR
);

INSERT INTO week_60 (name)
VALUES
    ('John Smith'),
    ('Jon Smyth'),
    ('Jane Doe'),
    ('Jan Do'),
    ('Michael Johnson'),
    ('Mike Johnson'),
    ('Sarah Williams'),
    ('Sara Williams'),
    ('Robert Brown'),
    ('Roberto Brown'),
    ('Emily White'),
    ('Emilie Whyte'),
    ('David Lee'),
    ('Davey Li');

¡Buena suerte!

Después de la semana 57, ¡continuamos con nuestras opciones SELECCIONAR con REEMPLAZAR!
Dado nuestro código de inicio a continuación, nos gustaría que hiciera lo siguiente:
– restar 1 a la edad (porque el interno olvidó que los bebés comienzan en 0, no en 1)
– agregar 10 % al peso de todos porque la báscula parecía estar desactivado
Reemplaza el género de todos por «desconocido» si estaba marcado como «otro».

CREATE OR REPLACE TABLE measurements (
height INT,
weight INT,
age INT,
gender VARCHAR(),
id INT
);
insert into measurements (height, weight, age, gender, id) values (41, 178, 74, 'other', 1);
insert into measurements (height, weight, age, gender, id) values (188, 145, 87, 'other', 2);
insert into measurements (height, weight, age, gender, id) values (215, 725, 30, 'male', 3);
insert into measurements (height, weight, age, gender, id) values (159, 48, 116, 'female', 4);
insert into measurements (height, weight, age, gender, id) values (243, 204, 6, 'other', 5);
insert into measurements (height, weight, age, gender, id) values (232, 306, 30, 'male', 6);
insert into measurements (height, weight, age, gender, id) values (261, 602, 62, 'other', 7);
insert into measurements (height, weight, age, gender, id) values (143, 829, 113, 'female', 8);
insert into measurements (height, weight, age, gender, id) values (62, 190, 86, 'male', 9);
insert into measurements (height, weight, age, gender, id) values (249, 15, 73, 'male', 10);

El desafío es hacer esto con 1 consulta y los resultados finales se verán así:

(Puede que haya una pequeña trampa escondida en nuestro desafío de esta semana, así que no te desanimes si no la consigues en el primer intento)