Čo je fáza spracovania údajov?

Fáza spracovania údajov je rozhodujúcou súčasťou akéhokoľvek procesu založeného na údajoch. Je to fáza, v ktorej sa prvotné údaje transformujú do použiteľného a zmysluplného formátu pre analýzu, vykazovanie alebo iné aplikácie. Zahŕňa to sériu krokov, ktoré sa môžu líšiť v závislosti od kontextu, ale vo všeobecnosti zahŕňa:

Kľúčové činnosti vo fáze spracovania údajov:

* Čistenie údajov: Toto je často najnáročnejšia časť. Zahŕňa identifikáciu a korekciu alebo odstránenie nepresných, neúplných, irelevantných, duplikovaných alebo nekonzistentných údajov. Techniky zahŕňajú manipuláciu s chýbajúcimi hodnotami (imputácia alebo odstránenie), vyhladzovanie hlučných údajov a vyriešenie nezrovnalostí.

* Transformácia údajov: Táto fáza sa zameriava na premenu údajov na vhodnejší formát pre analýzu. Bežné transformácie zahŕňajú:

* Konverzia typu údajov: Zmena údajov z jedného typu na druhý (napr. Reťazec na číselný).

* agregácia údajov: Kombinácia údajov z viacerých zdrojov do súhrnnej štatistiky (napr. Výpočet priemerov, sumy, počet).

* Normalizácia údajov: Škálovanie údajov do špecifického rozsahu, aby sa zabránilo funkciám s väčšími hodnotami v dominancii analýzy.

* Funkcia Engineering: Vytváranie nových funkcií z existujúcich funkcií na zlepšenie presnosti modelu (napr. Kombinovanie funkcií dátumu a času na vytvorenie funkcie dňa v týždni).

* Redukcia údajov: Cieľom je znížiť veľkosť súboru údajov pri zachovaní dôležitých informácií. Techniky zahŕňajú:

* Redukcia dimenzie: Zníženie počtu premenných (funkcií) pri zachovaní väčšiny relevantných informácií. Analýza hlavných komponentov (PCA) je bežná metóda.

* Redukcia numerozity: Výmena údajov menším reprezentáciám (napr. Použitie parametrických modelov alebo histogramov).

* Kompresia údajov: Zníženie úložného priestoru potrebného pre údaje.

* Integrácia údajov: Kombinácia údajov z viacerých zdrojov do jednotného pohľadu. Vyžaduje si to starostlivé riešenie nezrovnalostí a potenciálnych prepúšťaní.

* Overenie údajov: Kontrola presnosti a konzistentnosti spracovaných údajov, aby sa zabezpečilo, že spĺňa normy kvality. To by mohlo zahŕňať porovnanie spracovaných údajov s zdrojovými údajmi alebo používanie pravidiel validácie.

Výstup fázy spracovania údajov:

Výsledkom je čistý, konzistentný a transformovaný súbor údajov, ktorý je pripravený na ďalšiu analýzu, modelovanie alebo vizualizáciu. Tieto spracované údaje sú zvyčajne uložené v dátovom skladu alebo v dátovom jazere, aby ste mali ľahký prístup a vyhľadávanie.

Špecifické kroky a techniky použité v štádiu spracovania údajov do značnej miery závisia od typu údajov, cieľov analýzy a dostupných nástrojov a zdrojov. Je to často iteračný proces, ktorý si vyžaduje viacnásobné prechody rôznymi krokmi na dosiahnutie požadovanej úrovne kvality a vhodnosti údajov.

• Predchádzajúca strana: Koľko typov používateľov databázového systému? 
• Ďalšia strana: Aké sú ďalšie DBMS okrem prístupu Microsoft Office?