DATA ENGINEER
Descripción de la oferta de empleo
¿Qué buscamos? Licenciatura en Informática, Ingeniería o un campo relacionado; se valorará un máster.
Experiencia demostrada como ingeniero de datos o en un puesto similar, con al menos 5 años de experiencia relevante.
Dominio de Python y bash scripting.
Scala es una ventaja Amplia experiencia con canalización de datos y herramientas de gestión de flujo de trabajo como Airflow, Luigi o Prefect.
Experiencia en tecnologías de contenerización (Docker, Kubernetes).
Tecnologías de Big Data (Spark, EMR, PySpark).
Conocimiento profundo de conceptos de Data Warehouse (OLAP, Star Schema) y experiencia con Redshift, Snowflake, e idealmente, BigQuery.
Experiencia con soluciones Data Lake y SQL sobre herramientas de catálogo de datos (Trino, Athena, SparkSQL).
¿Qué harías? Integración de datos.
Aprovechar Apache NiFi o Prefect para integrar datos de nuevos proveedores en nuestro lago de datos.
Manejar datos en streaming desde fuentes como Kinesis, SQS, Confluent y Kafka, asegurando un almacenamiento eficiente en S3, Redshift, Clickhouse, o publicando vía API a otros almacenes como Tiny Bird.
Desarrollo de Pipeline.
En base a las propuestas de soluciones de Data Architect, diseñar e implementar pipelines de datos tanto batch como streaming utilizando Python.
Emplear orquestadores como Luigi, Airflow o Prefect, junto con la lógica interna del sistema operativo a través de secuencias de comandos bash.
Utilizar tecnologías de contenedores como Docker y Kubernetes, y desarrollar Big Data pipelines con Spark y EMR utilizando PySpark.
Mantenimiento del almacén de datos.
Administrar y optimizar nuestro entorno de Data Warehouse, incluido el diseño de OLAP / Star Schema Data Store, la optimización de consultas y el mantenimiento.
Poseer un fuerte conocimiento técnico de Redshift, Snowflake, y la familiaridad con BigQuery u otros almacenes de datos es una ventaja.
¿Qué ofrecemos? Contrato indefinido directamente con cliente final Horario flexible de entrada y salida Horario estándar de L a J de 9 a , viernes intensivo Durante los meses de julio y agosto, 4 días a la semana de trabajo (opcional) 4 días Remoto 1 en oficina Beneficios sociales como por ejemplo, Gimnasio gratuito, Seguro de médico gratuito, tickets restaurants.
Si crees que puede interesarte, ¡aplica!
Detalles de la oferta
- Sin especificar
- En toda España
- Sin especificar - Sin especificar
- 03/04/2024
- 02/07/2024
Are you a big data engineer looking for a new challenge? so... solid knowledge of data structures and experience with integration of data from multiple sources... ensures that non-functional/support aspects of data classification and data sharing agreements (dsas) and sign-offs are fulfilled... com/es-es/meetup-de-innoit-consulting-en-barcelona/?_locale=es-es......
Verify data accuracy by reviewing and comparing source documents to entered data... responsibilities:accurately enter data into our systems, including customer information, inventory data, and financial data... as a data entry clerk, you will be responsible for accurately entering and maintaining data......
We're looking for a meticulous data verification specialist to ensure the accuracy of data entered into our systems... if you have a strong background in data analysis and verification and a passion for data management, we encourage you to apply... the ideal candidate will be analytical and detail-oriented......
Your profile: at least 3y of experience working as a qa automation engineer... are you a qa automation engineer looking for new challenge? we aspire to reach everyone and connect them to top projects... what we can offer you: you will join a highly motivated team, where everyone is developing themselves......
Electrical fv engineer bizkaiajob description: company dedicated to engineering, assembly and industrial maintenance... job description electrical engineer (solar project designer), for the development of epc projects in the photovoltaic sector... requisitos del puestorequired qualifications electrical......
Exciting opportunity for a cad engineer in the recycling industry! are you a skilled engineer with a passion for developing machines and promoting sustainability through recycling? if you have experience in cad drawing using solidworks and a deep understanding of conveyors, shredders, mills, and structural......
Our division focuses on gathering, enriching, and processing data for machine learning in different ai domains... we offer high-quality data for human-machine interaction to some of the most prestigious technology companies in the world... position: data contributor project location: spain(remote) engagement......
Who are we looking for ? the space and resilient communications and systems unit is looking for a satellite communications engineer... * cvs and any other information gathered during this process will be handled confidentially who are we? the center tecnològic de telecomunicaciones de catalunya (cttc)......
Who are we looking for ? the space and resilient communications and systems unit is looking for a satellite communications engineer... * cvs and any other information gathered during this process will be handled confidentially who are we? the center tecnològic de telecomunicaciones de catalunya (cttc)......
Requisitos: experiencia de 1-3 años como data scientist... tecnologías clave requeridas: conocimiento en lenguaje go (golang), data modeling y algorithms for software engineering... oportunidades de crecimiento personal y profesional en un ambiente de innovación y colaboración......
