Adding Value Consulting
Advanced Streaming Big Data with Spark - eLearning
Software & Cloud

Advanced Streaming Big Data with Spark - eLearning

3.500,00 DKK

  • 25 hours
eLearning

Træd ind i realtidsdatabehandling med kurset Streaming Big Data with Spark Training, der er designet til at hjælpe dig med at opbygge højtydende, skalerbare datapipelines, som behandler information, i samme øjeblik den opstår. Dette kursus introducerer dig til Apache Sparks streamingfunktioner og gør dig i stand til at arbejde med kontinuerlige datastrømme til moderne analyse- og beslutningssystemer.

Nøglefunktioner

Sprog

Kursus og materiale på engelsk

Niveau

Mellem- til avanceret niveau

Adgang

1 års adgang til læringsplatformen

9 timers on-demand videoer

med over 25 anbefalede timers studietid

38 guidede praktiske øvelser

13 automatisk bedømte opgaver

33 huskequizzer

3 virkelige projekter

Certifikat

Certifikat for gennemført program medfølger

Hero

Læringsudbytte

Når du har gennemført dette kursus, vil du være i stand til at forstå:

Kørselsmiljø

Få en fuldstændig forståelse af Sparks runtime-arkitektur

DataFrame

Udfør vigtige DataFrame‑operationer og -funktioner i Spark

Stream

Lær det grundlæggende i stream-behandling med Spark

Kafka

Udforsk direkte integration af Spark Streaming med Apache Kafka

Amazon

Arbejd med Spark Streaming ved hjælp af Amazon Kinesis

Anvend

Forstå og anvend sliding window‑operationer i stream‑behandling

Hero

Kursusforløb

  1. Spark-kørselsmiljøet

    Lektion 01

    • Forståelse af Spark RDD
    • Forståelse af Spark DataFrame
    • Oversigt over Spark-runtimearkitektur

  2. ETL med Spark

    Lektion 02

    • Korttransformationer
    • Forvandlingerne
    • Grundlæggende handlinger
    • Transformationer af nøgle-værdi-par
    • Join-operationer
    • Numeriske RDD‑operationer og udtagningsfunktioner
    • Partitionering i Spark
    • Styring af partitioner i Spark
    • Brug af eksterne programmer med Spark

  3. SparkSQL og DataFrames

    Lektion 03

    • Spark SQL-arkitektur
    • Oversigt over DataFrame API'et
    • Oprettelse af DataFrames
    • DataFrame-datamodel og skemaer
    • Grundlæggende DataFrame-operationer
    • DataFrame-funktioner
    • Mængdeoperationer og aggregeringer i DataFrames
    • DataFrame-lagring og -output
    • DEMO Spark SQL og DataFrames

  4. Introduktion til stream-behandling med Spark

    Lektion 04

    • Introduktion til Spark Streaming
    • Introduktion til DStreams
    • DStream-operationerne

  5. Tilstandsfyldt behandling med Spark Streaming

    Lektion 05

    • Statslige operationer
    • Introduktion til Event Sourcing
    • Demonstration af tilstandsbaseret streaming med Spark

  6. Glidende vinduesoperationer med Spark Streaming

    Lektion 06

    • Vinduesoperationer
    • Vinduesfunktioner
    • DEMO af sliding window-operationer med Spark Streaming

  7. Introduktion til Structured Streaming

    Lektion 07

    • Oversigt over struktureret streaming
    • Outputtilstande og udløsning med Structured Streaming
    • DEMO Introduktion til Structured Streaming

  8. Introduktion til Apache Kafka

    Lektion 08

    • Apache Kafka – overblik og arkitektur
    • Beskeder med Kafka
    • Demo: Lokal installation af Apache Kafka

  9. Kafka-integration med Spark Streaming

    Lektion 09

    Brug af Spark Streaming med Apache Kafka

  10. Ved hjælp af modtager-tilgangen

    Lektion 10

    • Demo: Lokal installation af Apache Kafka
    • Ved at bruge den direkte tilgang
    • DEMO af Spark Streaming med Apache Kafka ved hjælp af den direkte tilgang

  11. Kafka-integration med Structured Streaming

    Lektion 11

    • Struktureret streaming og Kafka
    • Læse og skrive data til Kafka med Structured Streaming
    • DEMO Kafka og Structured Streaming

  12. Brug af Spark Streaming med Kinesis

    Lektion 12

    • Brug af Amazon Kinesis Producer- og klientbibliotekerne
    • DEMO Introduktion til Amazon Kinesis

  13. Brug af Spark Streaming med Kinesis

    Lektion 13

    • Brug af Spark Streaming med Amazon Kinesis
    • DEMO Brug af Spark Streaming med Amazon Kinesis
    • Brug af Structured Streaming med Amazon Kinesis
    • DEMO Brug af Structured Streaming med Amazon Kinesis

  14. Yderligere Spark Streaming-integrationer

    Lektion 14

    • Spark Streaming med MQTT
    • Spark Streaming og Apache Flume
    • Spark Streaming og Twitter
    • Spark Streaming og Snowflake
    • DEMO Structured Streaming med Snowflake
Avanceret streaming af big data med Spark

Hvem bør tilmelde sig dette program?

Dataingeniører, der arbejder med realtidsdatasystemer

Big data-specialister og Spark-udviklere

Softwareingeniører, der skifter til dataingeniørroller

Datascientister med interesse for streaminganalyse

Backend-udviklere, der bygger dataintensive applikationer

IT-professionelle, der arbejder med distribuerede systemer i stor skala

Start kurset nu

Forudsætninger

  • Grundlæggende forståelse af programmering (helst Java, Scala eller Python)
  • Kendskab til big data‑koncepter og distribuerede systemer
  • Grundlæggende kendskab til databehandling eller analyse‑workflows
  • Forståelse af databaser og SQL (hjælpsomt, men ikke obligatorisk)
  • Der kræves ingen tidligere erfaring med Spark Streaming.

Udtalelser

Licensering og akkreditering

Dette kursus tilbydes i henhold til Partnerprogramaftalen og overholder kravene i licensaftalen

Lighedspolitik

Kandidater opfordres til at kontakte AVC for vejledning og støtte gennem hele processen med tilpasning af arbejdsforhold.


Ofte stillede spørgsmål

Contact background

Har du brug for virksomhedsløsninger eller LMS-integration?

Fandt du ikke kurset eller programmet, der ville være til gavn for din virksomhed? Har du brug for LMS-integration? Skriv til os, vi løser alt!