Liidestused ja andmetorud, mis ei purune kunagi vaikselt

CRM-id, ERP-d, makseteenused ja avaandmed ühendatud üheks töökindlaks allikaks, koos häirega kohe, kui midagi seiskub.

Lühidalt

Mis on andmetoru?

Andmetoru, mida sageli nimetatakse ETL-iks, võtab andmed allikast, kujundab need teie toote vajadustele vastavaks ja laadib kohta, kust neid saab kiiresti pärida. Seda on vaja, kui andmed elavad süsteemis, mida te ei kontrolli. Onpolar ehitab andmetorud Go ja PostgreSQL peale, kontrollide ja häiretega, nii et ükski rike ei jää märkamata.

Suurim töös olev
19 riiklikku andmestikku, värskendus iga päev
Põhitehnoloogia
Go · PostgreSQL · River
Mustrid
Partiitöötlus · voogtöötlus · veebihaagid

Uuendatud

Näide

Üks öine käivitus

Näide sellest, kuidas igapäevane andmetoru töötab.

  1. 01:00ToomineIga allikas tõmmatakse selle päringupiirangute piires.
  2. 01:20KontrollKõigepealt testitakse ridade arvu, skeemi ja värskust.
  3. 01:30TeisendusAndmed kujundatakse ümber päringuteks, mida teie toode teeb.
  4. 01:45LaadimineUued andmed lähevad elavaks ühe lülitusega — või üldse mitte.
  5. 07:00Hommikuks värskeVõi on häire juba kellelegi öelnud, miks mitte.

Mida saate

  • API-liidestused

    CRM-id, ERP-d, maksed, transport ja raamatupidamine ühendatud, päringupiiranguid austades.

  • Andmetorud

    Ajastatud käivitused, mida saab korrata, nii et halb päev allikas käivitatakse uuesti, mitte ei parandata käsitsi.

  • Veebihaagid ja sündmused

    Töödeldakse üks kord ka siis, kui need saabuvad kaks korda, ja allkirjad kontrollitakse.

  • Seire ja häired

    Häire, kui oodatud töö jääb tegemata, mitte ainult siis, kui midagi viga annab.

Kuidas see töötab

  1. 01

    Allikate kaardistamine

    Mida iga süsteem päriselt tagastab, kui tihti see muutub ja kuidas see rikki läheb.

  2. 02

    Korratav ehitus

    Ohutud kordused, püsiv tööjärjekord, kvaliteedikontrollid ja tagantjärele täitmine esimesest päevast.

  3. 03

    Üleandmine

    Töölauad, häired ja tegevusjuhend, mida teie tiim saab ilma meieta kasutada.

Võrdlus

Valvatud andmetoru vs kiire skript

Võrdluse alusValvatud andmetoruKiire skript
Kui see katkebHäire, kui käivitus hilineb või jääb lühikeseksMärgatakse nädalaid hiljem
Halb päev allikasKäivita töö uuestiParanda andmed käsitsi
TopeltsündmusedTöödeldakse üks kordLoetakse kaks korda
Kes saab seda käivitadaTeie tiim, tegevusjuhendigaAinult selle kirjutaja

Küsimused

Kuidas hoida ära, et igapäevane andmetoru vaikselt katki ei läheks?

Värskuskontrollide ja häiretega puuduva töö kohta, mitte ainult vigade kohta. Kui käivitus, mis peaks andma 40 000 rida, annab 12, kukub käivitus läbi ja keegi saab teate. Deal.ee värskendab just nii iga päev üheksateist riiklikku andmestikku.

Mis siis, kui kolmanda osapoole API on halvasti dokumenteeritud või ebausaldusväärne?

See on tavaline olukord. Onpolar uurib API läbi, paneb kirja, mida see päriselt tagastab — ka seda, kuidas see rikki läheb — ja ehitab selle järgi. Päringupiirangud saavad eelarve, ebakindlad otspunktid järkjärgulise kordamise ja dokumenteerimata käitumine pannakse järgmise inimese jaoks kirja.

Kas saate ühendada süsteeme, millel API-t polegi?

Tavaliselt küll. Ajastatud failiekspordid, SFTP-kaustad, andmebaasi koopia või kraapija seal, kus kasutustingimused seda lubavad. Kehvem liides ei ole takistus; see muudab vaid seda, milliste riketega peab andmetoru arvestama.

Kas meil on andmeladu vaja?

Tavaliselt mitte. Kui andmed toidavad toodet, on PostgreSQL, mis on modelleeritud just teie päris päringute jaoks, kiirem, odavam ja lihtsam kui andmeladu. Andmeladu tasub end ära siis, kui andmete peamised kasutajad on analüütikud, mitte rakendus.

Kui kaua API-liidestus aega võtab?

Üks hästi dokumenteeritud API võtab päevi. Andmetoru mitmest allikast koos kvaliteedikontrollide ja tagantjärele täitmisega võtab kolm kuni viis nädalat. Muutuja on peaaegu alati see, kui ebatavaliseks lähteandmed osutuvad, kui need kõik on läbi vaadatud.