Liidestused ja andmetorud, mis ei purune kunagi vaikselt
Lühidalt
Mis on andmetoru?
Andmetoru, mida sageli nimetatakse ETL-iks, võtab andmed allikast, kujundab need teie toote vajadustele vastavaks ja laadib kohta, kust neid saab kiiresti pärida. Seda on vaja, kui andmed elavad süsteemis, mida te ei kontrolli. Onpolar ehitab andmetorud Go ja PostgreSQL peale, kontrollide ja häiretega, nii et ükski rike ei jää märkamata.
- Suurim töös olev
- 19 riiklikku andmestikku, värskendus iga päev
- Põhitehnoloogia
- Go · PostgreSQL · River
- Mustrid
- Partiitöötlus · voogtöötlus · veebihaagid
Uuendatud
Näide
Üks öine käivitus
Näide sellest, kuidas igapäevane andmetoru töötab.
- 01:00ToomineIga allikas tõmmatakse selle päringupiirangute piires.
- 01:20KontrollKõigepealt testitakse ridade arvu, skeemi ja värskust.
- 01:30TeisendusAndmed kujundatakse ümber päringuteks, mida teie toode teeb.
- 01:45LaadimineUued andmed lähevad elavaks ühe lülitusega — või üldse mitte.
- 07:00Hommikuks värskeVõi on häire juba kellelegi öelnud, miks mitte.
Mida saate
API-liidestused
CRM-id, ERP-d, maksed, transport ja raamatupidamine ühendatud, päringupiiranguid austades.
Andmetorud
Ajastatud käivitused, mida saab korrata, nii et halb päev allikas käivitatakse uuesti, mitte ei parandata käsitsi.
Veebihaagid ja sündmused
Töödeldakse üks kord ka siis, kui need saabuvad kaks korda, ja allkirjad kontrollitakse.
Seire ja häired
Häire, kui oodatud töö jääb tegemata, mitte ainult siis, kui midagi viga annab.
Kuidas see töötab
- 01
Allikate kaardistamine
Mida iga süsteem päriselt tagastab, kui tihti see muutub ja kuidas see rikki läheb.
- 02
Korratav ehitus
Ohutud kordused, püsiv tööjärjekord, kvaliteedikontrollid ja tagantjärele täitmine esimesest päevast.
- 03
Üleandmine
Töölauad, häired ja tegevusjuhend, mida teie tiim saab ilma meieta kasutada.
Võrdlus
Valvatud andmetoru vs kiire skript
| Võrdluse alus | Valvatud andmetoru | Kiire skript |
|---|---|---|
| Kui see katkeb | Häire, kui käivitus hilineb või jääb lühikeseks | Märgatakse nädalaid hiljem |
| Halb päev allikas | Käivita töö uuesti | Paranda andmed käsitsi |
| Topeltsündmused | Töödeldakse üks kord | Loetakse kaks korda |
| Kes saab seda käivitada | Teie tiim, tegevusjuhendiga | Ainult selle kirjutaja |
Küsimused
Kuidas hoida ära, et igapäevane andmetoru vaikselt katki ei läheks?
Värskuskontrollide ja häiretega puuduva töö kohta, mitte ainult vigade kohta. Kui käivitus, mis peaks andma 40 000 rida, annab 12, kukub käivitus läbi ja keegi saab teate. Deal.ee värskendab just nii iga päev üheksateist riiklikku andmestikku.
Mis siis, kui kolmanda osapoole API on halvasti dokumenteeritud või ebausaldusväärne?
See on tavaline olukord. Onpolar uurib API läbi, paneb kirja, mida see päriselt tagastab — ka seda, kuidas see rikki läheb — ja ehitab selle järgi. Päringupiirangud saavad eelarve, ebakindlad otspunktid järkjärgulise kordamise ja dokumenteerimata käitumine pannakse järgmise inimese jaoks kirja.
Kas saate ühendada süsteeme, millel API-t polegi?
Tavaliselt küll. Ajastatud failiekspordid, SFTP-kaustad, andmebaasi koopia või kraapija seal, kus kasutustingimused seda lubavad. Kehvem liides ei ole takistus; see muudab vaid seda, milliste riketega peab andmetoru arvestama.
Kas meil on andmeladu vaja?
Tavaliselt mitte. Kui andmed toidavad toodet, on PostgreSQL, mis on modelleeritud just teie päris päringute jaoks, kiirem, odavam ja lihtsam kui andmeladu. Andmeladu tasub end ära siis, kui andmete peamised kasutajad on analüütikud, mitte rakendus.
Kui kaua API-liidestus aega võtab?
Üks hästi dokumenteeritud API võtab päevi. Andmetoru mitmest allikast koos kvaliteedikontrollide ja tagantjärele täitmisega võtab kolm kuni viis nädalat. Muutuja on peaaegu alati see, kui ebatavaliseks lähteandmed osutuvad, kui need kõik on läbi vaadatud.