Kursuok.lt analitika
07 Tema | Išsamus gidas

ETL procesai ir
Power Query galimybės

Sisteminė apžvalga: nuo duomenų išgavimo iš chaotiškų šaltinių iki pilnai automatizuoto analitinio modelio paruošimo naudojant „Power Query“ ir M kalbą.

01. Kas yra ETL procesas?

E – Extract

Duomenų išgavimas iš šaltinių: SQL, CSV, Web ar kitų Excel failų.

T – Transform

Valymas ir struktūrizavimas: filtravimas, formatų keitimas, „Unpivot“ funkcijos.

L – Load

Įkėlimas į Excel lentelę arba Duomenų modelį (Data Model) tolimesnei analizei.

„Power Query“ techninės galimybės

Duomenų konsolidavimas

Sujunkite šimtus failų iš vieno katalogo į vieną bendrą lentelę. Nauji failai įtraukiami automatiškai paspaudus „Refresh“.

„Unpivot“ (Išskleidimas)

Paverčia kryžmines ataskaitas (mėnesiai stulpeliuose) į plokščias lenteles, kurios yra vienintelis tinkamas formatas „Pivot Table“ analizei.

Sujungimas (Merge)

Pakeičia sudėtingas VLOOKUP formules. Galite sujungti lenteles pagal raktinius laukus be jokių klaidų pavojaus.

Išmanus tekstas ir datos

Automatinis tarpų šalinimas, raidžių registro keitimas, finansinių ketvirčių generavimas iš paprastos datos.

Ką praktiškai galite padaryti?

Scenarijus A

Mėnesinių failų jungimas

Užuot kopijavę 12 failų rankiniu būdu, nurodote „Power Query“ kelią iki aplanko. Sistema pati suklijuoja duomenis ir atpažįsta failo pavadinimą kaip datą.


Scenarijus B

Duomenų traukimas iš PDF

Importuokite lenteles tiesiai iš PDF sąskaitų ar ataskaitų. „Power Query“ atpažįsta lentelės struktūrą net jei ji tęsiasi per kelis puslapius.


Scenarijus C

Web duomenų analizė

Prisijunkite prie valiutų kursų ar akcijų kainų svetainių. Kiekvieną kartą atidarius failą, turėsite naujausius rinkos duomenis be jokio rankinio darbo.

Duomenų įkėlimo pasirinkimai

Table

Standartinė Excel lentelė. Rekomenduojama mažiems duomenų kiekiams (iki 100 tūkst. eilučių).

Connection Only

Duomenys neįkeliami į lapą, o tik paruošiami sujungimui. Puikiai tinka tarpinėms užklausoms.

Data Model

Duomenys keliami į „Power Pivot“. Leidžia dirbti su milijonais eilučių neprarandant greičio.

M kalba: nematomas variklis

Kiekvienas paspaudimas generuoja M kalbos kodą. Jį galite matyti „Advanced Editor“. Tai užtikrina pilną skaidrumą – bet kada galite peržiūrėti „Applied Steps“ ir grįžti į bet kurį transformacijos žingsnį.

AI Patarimas

Naudokite „Column From Examples“ funkciją. Tiesiog įrašykite kelis pavyzdžius, kaip norite matyti rezultatą, ir „Power Query“ pats sugeneruos reikiamą M kodą už jus. Tai DI galia jūsų Excel programoje.

// M kodo pavyzdys
let
  Source = Folder.Files("C:\SalesData"),
  FilterRows = Table.SelectRows(Source, each ([Extension] = ".csv")),
  CleanHeaders = Table.TransformColumnNames(FilterRows, Text.Clean),
  Unpivoted = Table.UnpivotOtherColumns(CleanHeaders, {"ID"}, "Date", "Value")
in
  Unpivoted

Gerosios praktikos

Aiškių pavadinimų naudojimas
Jokių tarpų užklausų varduose
Ankstyvas nereikalingų stulpelių šalinimas
Duomenų tipų nustatymas kiekvienam stulpeliui