Big Data Engineer

Il team tecnologico di Yoox è alla ricerca di un talentuoso Big Data Engineer che entri a far part dell’Azienda. 

Il Big Data Engineer lavorerà sulla raccolta, l’archiviazione e l’elaborazione di enormi insiemi di dati. L’obiettivo principale sarà la scelta di soluzioni ottimali da utilizzare per questi scopi, nonché il loro mantenimento, implementazione e monitoraggio, ma saranno anche responsabili dell’integrazione delle soluzioni con l’architettura utilizzata in tutta l’azienda.   

Alcuni degli elementi essenziali da sapere sono: 

• Sede:  la nostra sede di Bologna a Zola Predosa (BO); o la nostra sede di Milano (MI)
• Dimensione del reparto:   10
• Riporto a:  Delivery Manager

Un assaggio del nostro stack tecnologico e dei nostri strumenti:  Hadoop, MapReduce, HDFS; Maiale, Alveare, Impala.

Ecco ciò che farai:

• Selezione e integrazione di strumenti e framework per Big Data necessari per fornire le funzionalità richieste 
• Sviluppo di soluzioni di Reporting e Analisi Dati Multidimensionali
• Implementazione di pipeline di acquisizione dati dai sistemi di origine per archiviare dati grezzi
• Lavorare sull’integrazione dei dati tramite ETL/API
• Implementazione di trasformazioni di dati su dati grezzi per fornire informazioni aziendali rilevanti
• Implementazione di pipeline di consegna dei dati a consumatori personalizzati, applicando metodologie agili
• Monitoraggio delle prestazioni e avviso di eventuali modifiche all’infrastruttura necessarie 
• Definizione delle politiche di conservazione dei dati 

Il tipo di persona che stiamo cercando:

• Comprensione avanzata dei principi del   calcolo distribuito
• Competenza con Hadoop, MapReduce, HDFS
• Conoscenza degli strumenti di interrogazione di Big Data, come Pig, Hive, Impala
• Esperienza con Spark
• Conoscenza di varie tecniche e framework ETL, come Flume
• Esperienza con sistemi di messaggistica, come Kafka o RabbitMQ
• Esperienza di base sulle attività Dev-ops  
• Laurea in Ingegneria/Informatica o esperienza lavorativa equivalente
• Conoscenza dell’architettura e dei servizi AWS (EMR, Lamda, SQS, API Gateway, S3)
• Conoscenza di database NoSQL, come HBase, Cassandra, MongoDB

 Sarà considerato un plus:

• Esperienza nella creazione di sistemi di elaborazione dei flussi, utilizzando soluzioni come Storm o Spark-Streaming
• Esperienza con l’integrazione di dati da più fonti di dati
• Buona conoscenza dell’architettura Lambda, insieme ai suoi vantaggi e svantaggi