Uncategorized

Esta semana, avanzamos con nuestro desafío anterior de la Semana 65 y mostramos nuestra preferencia por los datos semiestructurados y generaremos nuestro propio Objeto.

Esta semana, nos sumergiremos nuevamente en el conjunto de datos “Cybersyn US Patent Grants” del Market Place y utilizaremos nuestras propias funciones para interactuar con él.

El aspecto fascinante de los datos semiestructurados y los tipos de columnas VARIANT en Snowflake es que ofrecen una forma flexible de manejar diversos formatos de datos. Actúan como un repositorio dinámico, lo que le permite almacenar y analizar información multifacética sin estar restringido a un esquema rígido. Además, combinarlos con la capacidad de Snowflake para almacenar y recuperar objetos brinda a todo el equipo un modelo de datos escalable. Y aquí hay una ventaja: puede aprovechar estas funciones en conjuntos de datos públicos, como el de Cybersyn.

Entonces, aquí está el plan de juego:

• Obtenga el conjunto de datos Cybersyn US Patent Grants del mercado.
• Utilice la consulta SQL de Cybersyn para buscar todas las patentes relacionadas con Nvidia (hemos puesto un límite de 10 para no abrumarlo con los resultados).

SELECT patent_index.patent_id
    , invention_title
    , patent_type
    , application_date 
    , document_publication_date
FROM cybersyn_us_patent_grants.cybersyn.uspto_contributor_index AS contributor_index
INNER JOIN
    cybersyn_us_patent_grants.cybersyn.uspto_patent_contributor_relationships AS relationships
    ON contributor_index.contributor_id = relationships.contributor_id
INNER JOIN
    cybersyn_us_patent_grants.cybersyn.uspto_patent_index AS patent_index
    ON relationships.patent_id = patent_index.patent_id
WHERE contributor_index.contributor_name ILIKE 'NVIDIA CORPORATION'
    AND relationships.contribution_type = 'Assignee - United States Company Or Corporation'
LIMIT 10

• Cree una función que cree un objeto en una columna VARIANT, comparable a la captura de pantalla que se muestra a continuación. La función de la semana 65 no ha cambiado mucho: Calcular el intervalo entre  APPLICATION_DATE y  PUBLICATION_DATE puede ser de 365 días para las patentes de “reedición” y de 2 años para las de “diseño”. Tener una designación de verdadero o falso si estamos DENTRO del conjunto de parámetros para cualquiera de las patentes

• Como último objetivo; Obtenga los valores inside_of_projection en una columna diferente (lo que significa que queremos que los saque del objeto)

Después de nuestro lanzamiento en París de la versión francesa de FROSTY_FRIDAY(), ¡tenemos noticias para ti! ¡ En el Data Cloud World Tour Madrid , lanzamos nuestra versión en español!

Para celebrarlo, aquí tenéis un desafío en español.

Puede acceder a los datos en este URI: s3://frostyfridaychallenges/challenge_68/

Tu tarea es recrear lo siguiente en SiS (Streamlit in Snowflake):

Fuente de datos: WorldPopulationReview.com

Esta semana, nos sumergiremos en el conjunto de datos “Cybersyn US Patent Grants” del Market Place y usaremos nuestras propias funciones para interactuar con él.

Lo bueno de las funciones definidas por el usuario (UDF) es que son como su conjunto de herramientas personal. Puede usarlos para guardar un cálculo específico, compartirlo con todo el equipo e incluso modificarlo de forma centralizada cuando cambien las necesidades del negocio. ¿Y adivina qué? Puede usarlos en conjuntos de datos públicos, como el de Cybersyn.

Entonces, aquí está el plan de juego:

• Obtenga el conjunto de datos Cybersyn US Patent Grants del mercado.
• Utilice la consulta SQL de Cybersyn para buscar todas las patentes relacionadas con Nvidia (hemos puesto un límite de 10 para no abrumarlo con los resultados):

SELECT patent_index.patent_id
    , invention_title
    , patent_type
    , application_date 
    , document_publication_date
FROM cybersyn_us_patent_grants.cybersyn.uspto_contributor_index AS contributor_index
INNER JOIN
    cybersyn_us_patent_grants.cybersyn.uspto_patent_contributor_relationships AS relationships
    ON contributor_index.contributor_id = relationships.contributor_id
INNER JOIN
    cybersyn_us_patent_grants.cybersyn.uspto_patent_index AS patent_index
    ON relationships.patent_id = patent_index.patent_id
WHERE contributor_index.contributor_name ILIKE 'NVIDIA CORPORATION'
    AND relationships.contribution_type = 'Assignee - United States Company Or Corporation'
LIMIT 10

• Cree una función que muestre el visto bueno (VERDADERO) o el pulgar hacia abajo (FALSO) basándose en esto: La brecha entre APPLICATION_DATEy PUBLICATION_DATEpuede ser de 365 días para las patentes de “reedición” y de 2 años para las de “diseño”.
  
  ¿Todo claro? ¡Hagámoslo!

Ha pasado un tiempo desde que tuvimos un desafío de Snowpark, ¿no es así?

Bien, toma el siguiente código:

import snowflake.snowpark as snowpark
from snowflake.snowpark.functions import col

def main(session: snowpark.Session): 
    tableName = 'snowflake.account_usage.tables'
    dataframe = session.table(tableName)

    return dataframe

Y edítelo para obtener el siguiente resultado:

Hay tres condiciones:

1 – la tabla no debe ser transitoria
2 – la tabla no debe haber sido eliminada
3 – la tabla debe tener más de 0 filas

¡Esto debe hacerse en una hoja de trabajo de Python!

¡Buena suerte!

¡Descubriendo uniones que causan revuelo!

Todos nos hemos encontrado con esa molesta unión que se multiplica inesperadamente o simplemente se vuelve loca. Anteriormente, profundizábamos en nuestros conjuntos de datos, tratando de identificar al culpable. Ahora, diseñemos una función para agilizar este trabajo de detective.

Su desafío esta semana: diseñar una función que tome un ID de consulta y identifique cualquier unión dentro de ella que produzca más filas que la proporción 1:1 anticipada. En pocas palabras, si una combinación combina 10 filas desde la izquierda y 80 desde la derecha, pero da como resultado más de 80 filas, su función debería resaltar tales discrepancias.

--Schema creation
create or replace schema week_63;

--T1 creation
CREATE TABLE t1 (value CHAR(1));

INSERT INTO t1
SELECT 'a' FROM (SELECT 1 UNION ALL SELECT 2 UNION ALL SELECT 3 UNION ALL SELECT 4 UNION ALL SELECT 5 UNION ALL SELECT 6 UNION ALL SELECT 7 UNION ALL SELECT 8 UNION ALL SELECT 9 UNION ALL SELECT 10) AS temp1

UNION ALL

SELECT 'b' FROM (SELECT 1 UNION ALL SELECT 2 UNION ALL SELECT 3 UNION ALL SELECT 4 UNION ALL SELECT 5 UNION ALL SELECT 6 UNION ALL SELECT 7 UNION ALL SELECT 8 UNION ALL SELECT 9 UNION ALL SELECT 10 UNION ALL SELECT 11 UNION ALL SELECT 12 UNION ALL SELECT 13 UNION ALL SELECT 14 UNION ALL SELECT 15 UNION ALL SELECT 16 UNION ALL SELECT 17 UNION ALL SELECT 18 UNION ALL SELECT 19 UNION ALL SELECT 20) AS temp2

UNION ALL

SELECT 'c' FROM (SELECT 1 UNION ALL SELECT 2 UNION ALL SELECT 3 UNION ALL SELECT 4 UNION ALL SELECT 5 UNION ALL SELECT 6 UNION ALL SELECT 7 UNION ALL SELECT 8 UNION ALL SELECT 9 UNION ALL SELECT 10 UNION ALL SELECT 11 UNION ALL SELECT 12 UNION ALL SELECT 13 UNION ALL SELECT 14 UNION ALL SELECT 15 UNION ALL SELECT 16 UNION ALL SELECT 17 UNION ALL SELECT 18 UNION ALL SELECT 19 UNION ALL SELECT 20 UNION ALL SELECT 21 UNION ALL SELECT 22 UNION ALL SELECT 23 UNION ALL SELECT 24 UNION ALL SELECT 25 UNION ALL SELECT 26 UNION ALL SELECT 27 UNION ALL SELECT 28 UNION ALL SELECT 29 UNION ALL SELECT 30) AS temp3

UNION ALL

SELECT 'd' FROM (SELECT 1 UNION ALL SELECT 2 UNION ALL SELECT 3 UNION ALL SELECT 4 UNION ALL SELECT 5 UNION ALL SELECT 6 UNION ALL SELECT 7 UNION ALL SELECT 8 UNION ALL SELECT 9 UNION ALL SELECT 10 UNION ALL SELECT 11 UNION ALL SELECT 12 UNION ALL SELECT 13 UNION ALL SELECT 14 UNION ALL SELECT 15 UNION ALL SELECT 16 UNION ALL SELECT 17 UNION ALL SELECT 18 UNION ALL SELECT 19 UNION ALL SELECT 20) AS temp4

;

-- Create table t2 and insert one 'b' value
CREATE TABLE t2 (value CHAR(1));
INSERT INTO t2 (value) VALUES ('b');

-- Create table t3 and insert ten 'c' values
CREATE TABLE t3 (value CHAR(1));
INSERT INTO t3
SELECT 'c' FROM (SELECT 1 UNION ALL SELECT 2 UNION ALL SELECT 3 UNION ALL SELECT 4 UNION ALL SELECT 5 UNION ALL SELECT 6 UNION ALL SELECT 7 UNION ALL SELECT 8 UNION ALL SELECT 9 UNION ALL SELECT 10) AS temp;

-- Create table t4 and insert one 'd' value
CREATE TABLE t4 (value CHAR(1));
INSERT INTO t4 (value) VALUES ('d');

La consulta que nos gustaría que comprobaras:

SELECT *
FROM t1
    LEFT JOIN t2 ON t1.value = t2.value
    LEFT JOIN t3 ON t1.value = t3.value
    LEFT JOIN t4 ON t1.value = t4.value;

El resultado de su función debería ser similar a este:

¡Buena suerte!

Bienvenue à tous, es un placer anunciar que el 5 de octubre, en el Data Cloud World Tour Paris , gracias al increíble trabajo duro de Jade Le Van y Maxime Simon , lanzaremos Jeudis Givrés .

Todos los desafíos de Frosty Friday se traducirán al francés y se lanzarán el jueves siguiente (en aras de la aliteración), seguidos de muchos eventos comunitarios para ayudar a mejorar esas habilidades parisinas (y francesas en general) de Snowflake.

Para celebrarlo, volvemos a visitar nuestro desafío de la Semana 4 sobre las monarcas españolas, pero esta vez, en XML (que fue parcialmente inventado por un francés). ¿Puedes analizar a los monarcas franceses?

create or replace file format frosty_parquet
type = 'parquet';

create or replace stage s3_stage
    url = 's3://frostyfridaychallenges'

create or replace table week64 as
select parse_xml($1:"DATA") as data
from @s3_stage/challenge_64/french_monarchs.parquet
    (file_format => frosty_parquet);

Recuerda si quieres participar:

1. Regístrate como miembro de Frosty Friday. Puede hacer esto haciendo clic en la barra lateral y luego yendo a ‘ REGISTRARSE ‘ (tenga en cuenta que unirse a nuestra lista de correo no le otorga una cuenta de Frosty Friday)
2. Publique su código en GitHub y póngalo a disposición del público (consulte nuestra guía si no sabe cómo hacerlo  aquí ).
3. Publica la URL en los comentarios del desafío.

¡Bienvenidos al Desafío del Viernes Helado! Soy Dorian Banutoiu de canonicalized.com y tengo un
desafío apasionante para ti.

¡Prepárese para mostrar sus habilidades de manipulación de datos y su destreza en la manipulación de JSON!

Detalles del desafío
Imagine que está trabajando en una empresa de telecomunicaciones y su colega Rick le ha enviado una hoja de cálculo que contiene una lista de productos.

Su tarea es limpiar y transformar estos datos en una tabla Snowflake y crear un archivo JSON en un
formato específico para que Rick lo cargue en una herramienta de terceros.

Pero hay que hacer algunas limpiezas antes de que los datos puedan usarse de manera efectiva. En su intento de hacer que la hoja de cálculo sea bonita, Rick fusionó algunas celdas en la columna Marca, lo que por supuesto te hará la vida más difícil.

[Archivo de datos](s3://frostyfridaychallenges/challenge_61/Telecom Products – Sheet1.csv)

Tareas

Limpieza de datos:
– Complete los valores nulos en la columna “Marca” con el valor de la primera fila no vacía desde
arriba (relleno hacia adelante)
– Complete los valores nulos en la columna “URL amigable” con la URL correspondiente de la segunda
columna
– Elimine filas con valores nulos en la columna Categoría.

Creación de objetos JSON:
– Transforme los datos limpios en un objeto JSON anidado utilizando el siguiente formato

{
  "Category": {
    "Brand": [
      {"Product Name": "Friendly URL"}
    ],
  "Brand": [
    {"Product Name": "Friendly URL"},
    {"Product Name": "Friendly URL"}
  ]
},
  "Category": {
"Brand": [
    {"Product Name": "Friendly URL"}
  ]
},
...
}

Descargar datos:
– Una vez creado el objeto JSON, descargue los datos en un archivo JSON a una etapa Snowflake.
Envíe a su colega [un enlace prefirmado]() al archivo.

Resultados finales:

Tabla de copos de nieve: un conjunto de datos limpio y transformado que está listo para que usted y sus
colegas lo utilicen y se parece a la siguiente captura de pantalla.

Archivo JSON: un archivo JSON en el formato requerido, adecuado para que Rick lo cargue en una herramienta de terceros. Preste atención al caso de la columna Categoría.

Consejos

• Las funciones de ventana deberían facilitar el reenvío de valores vacíos en Snowflake
• Puede crear una UDF para que sea más fácil convertir el caso de los valores de categoría.
• Se requiere cifrado del lado del servidor en la etapa de descarga para poder generar una URL prefirmada. ¡
  Diviértete!

Recuerda, si quieres participar:

1. Regístrate como miembro de Frosty Friday. Puede hacer esto haciendo clic en la barra lateral y luego yendo a ‘ REGISTRARSE ‘ .
2. Publique su código en GitHub y póngalo a disposición del público (consulte nuestra guía si no sabe cómo hacerlo  aquí ).
3. Publica la URL en los comentarios del desafío.

Snowpark ML es otra característica de vista previa pública con la que estamos muy emocionados de jugar. Ahora bien, las habilidades en ciencia de datos son habilidades especializadas, por lo que no queremos profundizar demasiado aquí, por lo que lo hemos hecho lo más fácil posible.

(1) Ingerir los datos

(2) Cree un connection.jsonarchivo que se parezca un poco al siguiente

{
  "account"            : "",
  "user"               : "",
  "password"           : "",
  "role"               : "",
  "warehouse"          : "",
  "database"           : "",
  "schema"             : ""
}

(3) Conéctese a sus datos como en el siguiente código

connection_parameters = json.load(open('credentials/connection.json'))
session = Session.builder.configs(connection_parameters).create()

(4) Rellena los huecos

#Load table
week59 = session.table('week59').to_pandas()

# Initialize the DecisionTreeClassifier with column names
model = 

# Fit the model to the data


# Make predictions


# Display the predictions

Su resultado debería verse así:

Recuerda, si quieres participar:

1. Regístrate como miembro de Frosty Friday. Puede hacer esto haciendo clic en la barra lateral y luego yendo a ‘ REGISTRARSE ‘ .
2. Publique su código en GitHub y póngalo a disposición del público (consulte nuestra guía si no sabe cómo hacerlo  aquí ).
3. Publica la URL en los comentarios del desafío.

Hemos tenido algunos problemas con nuestro centro de llamadas.

Cuando un cliente llama, da su nombre y nuestro soporte técnico lo verifica en la base de datos. Si no se puede encontrar el cliente, se crea un nuevo cliente.

Pensábamos que habíamos creado un sistema infalible pero, lamentablemente, no es así. ¡Si alguien escribe un nombre de manera diferente entonces no podrá ser encontrado! Esta noticia fue tan impactante que le asignamos la tarea de filtrar nuestra base de datos en función de esos nombres que suenan similares.

Como prueba de concepto, tenemos la siguiente tabla:

Y esperamos que descubra que las filas 1 y 2 suenan similares, pero las filas 5 y 6 no.

En la tabla devuelta, nos gustaría que muestre que ha comparado la fila 1 con la fila 2-14, pero que la fila 2 se comparará con la 3-14 (pero no con la fila 1, ya que ya lo ha verificado). :

CREATE OR REPLACE TABLE week_60 (
    name VARCHAR
);

INSERT INTO week_60 (name)
VALUES
    ('John Smith'),
    ('Jon Smyth'),
    ('Jane Doe'),
    ('Jan Do'),
    ('Michael Johnson'),
    ('Mike Johnson'),
    ('Sarah Williams'),
    ('Sara Williams'),
    ('Robert Brown'),
    ('Roberto Brown'),
    ('Emily White'),
    ('Emilie Whyte'),
    ('David Lee'),
    ('Davey Li');

¡Buena suerte!