Skrevet i samarbeid med KI - Gemini 3.7 Flash
Teknologi - Python
Verktøy - TypeScript, KI
- Oppdaget at systemet kun sendte forespørsler til forsiden i stedet for å følge hele listen med underlenker.
- Erstattet den begrensede forespørselen med en funksjon som henter ut og prosesserer alle tilgjengelige lenker fra nettsiden.
- Omgjorde kjernelogikken slik at forespørsler nå sendes i grupper på 10 av gangen for å hindre overbelastning av både eget system og eksterne servere.
- Introduserte styring av samtidige forespørsler for å fjerne uventede hopp i minnebruken og unngå å bli blokkert av eksterne nettsiders begrensninger.
- Gått fra en enkel og mangelfull innsamling til en fullstendig metode for datainnsamling som dekker hele innholdsfortegnelsen.
- Økt gjennomstrømmingen i verktøyet, noe som gjør tjenesten klar for større datamengder.
- Gjennomført kvalitetssikring som understreker viktigheten av å validere hvilken funksjon som kalles tidlig i prosjektet for å sikre et korrekt datagrunnlag.
Kjenner at jeg er litt slapp idag, men ellers en ok dag.
Utfordring & Løsninger
Jeg hadde ved et uhell koblet systemet til en funksjon som kun sendte forespørsler til hovednettsiden. Dette førte til at verktøyet bare samlet inn informasjon fra forsiden, i stedet for å gå gjennom den faktiske listen med lenker som var tilgjengelig. Systemet manglet dermed informasjon, noe som resulterte i et mangelfullt datagrunnlag for applikasjonen. Jeg ønsket også å rette funksjonaliteten for å gruppere flere forespørsler til å håndtere større mengder med data.
Hensikten var å rette opp i denne logiske feilkoblingen og transformere arbeidsflyten fra enkel henting til fullstendig datautvinning. Jeg trengte å prosessere innholdet fra hele listen med lenker på en sikker måte som var effektiv, og som ikke overbelastet systemet eller de eksterne nettsidene underveis.
- Jeg rettet opp logikken i bindeleddet mellom server og verktøyet ved å erstatte den enkle forespørselen med funksjonaliteten som henter ut lister med lenker fra nettsiden. Dette sikrer at applikasjonen nå går gjennom hele listen med lenker og faktisk prosesserer innholdet på hver enkelt side.
- For å sikre systemet mot systemoverbelastning omgjorde jeg kjerne-logikken til å behandle lenker ved å gruppere forespørselene i grupper på 10 om gangen. Dette fungerer som en kontrollert flyt som hindrer at verktøyet treffer nettsidens begrensninger.
- Ved å styre samtidige forespørsler effektivt, minimerte jeg risikoen for å treffe nettsidens begrensninger og uventede hopp i minnebruken.
Ved å gå fra å skrape forsiden til å utvinne data fra hele listen med lenker, har jeg et verktøy som henter informasjon fra nettsider. Gjennomstrømmingen er forbedret, og gruppering-håndteringen gjør at verktøyet kan håndtere mengder med lenker. Systemet fremstår nå som en tjeneste som er klargjort for videre vekst.
Jeg har erfart at selv en liten feilkobling i hvilken funksjon man kaller, kan redusere hele datainnsamling dersom man bare skraper overflaten. Denne erfaringen understreker viktigheten av å validere dataflyten tidlig i prosjektet. Ved å kombinere riktig utvinningsmetode med kontrollert batch-prosessering, har jeg erfart hvordan man bygger en systemoppbygging som er effektiv og pålitelig over tid.
