Google Dataform – data-mallinnus suoraan BigQueryssä
Dataform tuo testauksen ja versionhallinnan BigQueryn data-mallinnukseen, jotta raportointiin päätyvät luvut pitävät paikkansa, ilmaiseksi ja suoraan tietovaraston sisällä.
Yleiskuvaus
Kun BigQueryyn kerätty raakadata muokataan raporteille hajanaisilla, käsin ylläpidetyillä SQL-skripteillä, muutosten vaikutusten jäljittäminen ja virheiden löytäminen käy hankalaksi projektien kasvaessa. Google Dataform ratkaisee tämän: se on palvelu, jonka avulla data-analyytikot ja -insinöörit kehittävät, testaavat, versionhallitsevat ja ajastavat datanmuunnostyönkulkuja suoraan BigQueryssä. Se hoitaa ELT-prosessin viimeisen vaiheen, kun raakadata on jo ladattu tietovarastoon: Dataform muuntaa sen analysointi- ja raportointikelpoiseksi SQL:llä ja JavaScriptillä.
Dataform oli alun perin itsenäinen, vuonna 2017 perustettu startup, jonka Google Cloud hankki vuonna 2020. Hankinnan myötä Dataformista tehtiin ilmainen kaikille käyttäjille, ja se integroitiin osaksi BigQueryä ja Google Cloud Consolea. Valitsette siis työkalun, jota Google itse ylläpitää ja kehittää natiivisti osana BigQueryä, ei erillistä kolmannen osapuolen tuotetta, jonka jatkuvuudesta pitäisi huolehtia erikseen.
Projektit organisoidaan repositorioihin, jotka sisältävät SQLX-, JSON- ja JavaScript-tiedostoja. Kehitystyö tehdään workspacessa, joka on muokattava kopio repositoriosta. SQLX-tiedostomuoto yhdistää konfiguraation ja SQL-kyselyn samaan tiedostoon ja laajentaa SQL:ää riippuvuuksien hallinnalla, automaattisella testauksella ja dokumentaatiolla.
Hinnoittelu
Dataform on itsessään ilmainen käyttää, joten sen käyttöönotto ei tuo erillistä lisenssikustannusta. Se ajaa kyselynsä BigQueryssä, joten laskutus tulee käytetystä BigQuery-kapasiteetista ja pakollisesta Cloud Loggingista, eli maksatte vain siitä, mitä jo käytätte tietovarastossa. Mahdollinen ajastukseen käytettävä palvelu, kuten Cloud Composer, Cloud Scheduler tai Workflows, laskutetaan erikseen. Ratkaisu keskittyy yksinomaan Googlen ekosysteemiin, mikä rajoittaa käytön Googlen palvelutarjontaan ja siihen liittyviin työkaluihin.
Huomioitavaa
Sopii parhaiten, kun tarvitsette lisäkerroksen tietovaraston ja raportointityökalun välille varmistaaksenne, että datan laatu ja rakenne pysyvät raportointivaatimustenne tasolla myös silloin, kun malleja ja tunnuslukuja tulee koko ajan lisää. Ilman tätä kerrosta muunnoslogiikka päätyy hajanaisesti raportointityökaluun tai yksittäisten tekijöiden omiin SQL-skripteihin, jolloin virheiden jäljittäminen ja uusien työntekijöiden perehdyttäminen hankaloituu. Toimii BigQueryn kanssa tietovarastoratkaisuna, ja natiivi integraatio tekee siitä QuickBI:n ensisijaisen valinnan BigQuery-pohjaisiin tietovarastoihin.
Dataformin komponentit
Repositoriot ja workspacet : projektien säilytyspaikka, joka sisältää SQLX-, JSON- ja JavaScript-tiedostot; workspace on muokattava kopio repositoriosta, jossa varsinainen kehitystyö tehdään.
SQLX ja Dataform core : SQL:ää laajentava tiedostomuoto, joka yhdistää konfiguraation ja kyselyn samaan tiedostoon ja tuo mukanaan riippuvuuksien hallinnan, automaattisen testauksen ja dokumentaation.
Kääntäminen (compilation) : Dataform kääntää määritykset standardin SQL:n työnkuluksi, tarkistaa puuttuvat ja kehämäiset riippuvuudet ja tuottaa aina samasta koodista saman lopputuloksen.
Assertiot : sisäänrakennetut datan laadun testit, joilla voidaan tarkistaa, ovatko arvot uniikkeja, sisältävätkö kentät null-arvoja, tai täyttyykö sääntö, jonka itse määrittelette, osana riippuvuuspuuta.
Versionhallinta : suora integraatio GitHubiin, GitLabiin, Azure DevOpsiin ja Bitbucketiin, jolloin muutokset committoidaan, pullataan ja pushataan suoraan workspacesta.
Miksi valita Dataform?
Ilmainen ja natiivisti integroitu BigQueryyn
Dataformin käyttö ei maksa mitään, ja se toimii suoraan BigQueryn sisällä osana Google Cloud Consolea, eikä erillisiä palvelimia tai lisenssejä tarvita.
Riippuvuuksien hallinta SQLX:llä
SQLX-tiedostomuoto mahdollistaa taulujen, näkymien ja lähteiden riippuvuuksien määrittelyn suoraan SQL:n sisällä, ja Dataform ratkaisee ajojärjestyksen automaattisesti, joten sitä ei tarvitse suunnitella tai ylläpitää käsin.
Automaattinen datan laadun testaus
Sisäänrakennetut assertiot havaitsevat esimerkiksi puuttuvat arvot tai duplikaatit osana riippuvuuspuuta, ennen kuin virheet päätyvät raporteille.
Versionhallinta suosituimpiin Git-palveluihin
Suora integraatio GitHubiin, GitLabiin, Azure DevOpsiin ja Bitbucketiin tuo koodikatselmukset ja muutosten seurannan osaksi mallinnustyötä.
Koodin uudelleenkäyttö JavaScriptillä
JavaScriptillä logiikkaa voi jakaa yhden tiedoston, koko repositorion (includes) tai useiden repositorioiden (packages) kesken, jolloin samaa muunnoslogiikkaa ei tarvitse kirjoittaa moneen kertaan.
Joustava ajastus
Ajot voidaan käynnistää suoraan Dataformin omilla, aikaperusteisilla workflow configurations -asetuksilla tai orkestroida ulkoisesti: Cloud Composerilla (hallinnoitu Apache Airflow), Cloud Schedulerin käynnistämällä Cloud Workflows -työnkululla tai Git-repositorioon sidotulla Cloud Build -triggerillä. Ajot sopivat siis osaksi organisaation olemassa olevaa orkestrointia.
QuickBI käyttää Dataformia ensisijaisena mallinnustyökaluna
Kun data-mallit ovat testattuja ja versionhallittuja suoraan BigQueryn sisällä, raportoinnin lukuihin voi luottaa eikä erillistä muunnosalustaa tarvitse ylläpitää tai maksaa siitä lisenssimaksuja. Kaivo, QuickBI:n tietovarastotuote, hyödyntää Dataformia ensisijaisena datatransformaatiotyökalunaan asiakkaiden BigQuery-tietovarastoissa.
Kun tavoitteenanne on luotettava ja hyvin testattu data-mallinnus BigQueryssä, ota yhteyttä QuickBI:hin.
Haluaisitko toimivat raportointiratkaisut?
Aloita varaamalla 30-minuutin kartoitus konsultillemme.