Programm kogub avalikest portaalidest ja failidest nimekirju ning ühendab need ühtseks andmekoguks. Kirjete päritolu jääb alles; kahtlased aadressid ja kordused vajavad kontrolli.
Avalik veebileht ei tähenda veel lihtsalt kättesaadavaid andmeid. Selle projekti töö algas allikate leidmisest ja kogumisest: kui üks viis ei toiminud, tuli proovida teist. Alles seejärel sai tegeleda veerunimede, aadresside ja korduvate kirjetega.
Pythonis ehitatud töövoog avastas ja laadis alla avalikke nimekirju, säilitas allikasalvestused ning luges CSV-, XLSX- ja JSON-vorminguid. Eri veerunimed seoti ühise struktuuriga, kirjed valideeriti ja kordusi kontrolliti enne kasutatavasse tabelisse jõudmist. Lisaks valmis ülevaatuse järjekord ning CSV- ja Markdown-väljundite koostamine. Väljundi koostamine ei tähenda kirjade automaatset saatmist.
Portaal, API või allalaaditav nimekiri.
Proovi kogumisviisi. Hoia algmaterjal alles.
CSV, XLSX või JSON ühisesse struktuuri.
Eralda aadressiosad ja kontrolli väärtusi.
Otsi duplikaate ja kontrolli tundlikke välju.
Kontrollitud kirjed kataloogi või eksporti.
Andmed tulid avalikest portaalidest, API-dest ja failidest. Ühe kogumisviisi ebaõnnestumine ei lõpetanud kogu tööd: kasutusel olid ka alternatiivsed viisid. Kui infot ei õnnestunud kätte saada, ei tohtinud seda oletustega asendada. Saadud algmaterjal säilitati, et hiljem saaks tulemust allikaga võrrelda.
Struktureeritud lugejad eraldavad väljad. Eri allikate veerunimed vastendatakse ühisele struktuurile.
Aadressiosad eraldatakse, väärtusi kontrollitakse ja korduvaid kirjeid otsitakse. Sama veerunimi ei taga sama sisu.
Kahtlased kirjed liiguvad ülevaatusse. AI saab aidata ülevaatusega, kuid parandused ja kvaliteedikontroll peavad eelnema andmete kasutusse võtmisele.
Kontrollitud struktuurist saab koostada kataloogi või valitud väljadega ekspordi. Avalik allikas ei muuda iga isikuandme edasist kasutust automaatselt sobivaks.
Ühes allikas jõudis linna asemele osariik koos postiindeksiga, teises büroo number. Parserit parandati, lisati regressioonitestid ja mõjutatud andmed imporditi uuesti. Ainult koodi parandamisest ei piisanud.
Topelt käivitatud import tekitas kordusi. Andmed ehitati uuesti üles. Alles jäi protseduuriline piirang: korduste kontroll sõltus juba koostatud tabelist, mistõttu tuli enne uut importi see taastada.
Elukohana kasutatavate asutuste tänavaaadressid jäeti teatud tüübimarkerite järgi väljundist välja. Uus või ootamatu tüübikirjeldus võib kontrollist mööda minna; see ei ole garantii, et kõik tundlikud väljad alati tuvastatakse.
Mina määrasin andmete kasutuseesmärgi, sihtrühma ja eelarvepiirid. Minu juhitud AI-agendid aitasid allikaid uurida, lugejaid kirjutada ning teste ja parandusi teha. Ülevaatuse leid pidi jõudma parandusse enne andmete edasist kasutamist.
Andmebaas ja failid olid kohalikud. Avalikke allikaid küsiti väljast ning AI-ga ülevaatus kasutas välist mudeliteenust. Avalikud andmed ja kohalik hoidmine ei võrdu automaatselt piiranguteta kasutuse ega täielikult kohaliku töötlusega.
Allikad: projekti lähteülevaade ja minu kasutuskogemus. Näited on koostatud, mitte päris kasutajaandmed.
Avalikud allikad tulevad erinevates formaatides. Veeru nimi võib olla sama, kuid sisu erinev: ühesugune veerg ei tähenda ühesuguseid andmeid.
Määrasin ulatuse ja kvaliteedinõuded ning tegin lõpliku ülevaatuse.
AI aitas kirjutada laadijat, normaliseerimist ja teste.
Aadressi parsimise viga õpetas, et päris variatsioonid vajavad regressioonijuhtumeid. Lisaks täpne nüanss: duplikaadiimpordi taastamis- ja protsessireegel ei ole püsiv idempotentsus. See on taastumisreegel üheks olukorraks, mitte garantii, et sama import tulevikus alati ohutult kordub.
Aitan sul ehitada AI abil nii, et kontroll tulemuse üle jääks sinule.