Kertoimien automaattinen haku

[Vade]

Tarkoituksenani olisi tehdä softa, joka automaattisesti hakisi kertoimia eri bookkereiden sivuilta tietyin aikavälein. Toisinsanottuna idea olisi suunnilleen sama kuin esim. tip-ex:n, mutta etuna olisi se, että kertoimet tallettuisivat aina suoraan omaan tietokantaan.

Suurin ongelmani tässä on se, että miten ja millä tekniikalla rakentaa yleispätevä systeemi, jolla bookkereiden kertoimet webistä luetaan. Jos jollain olisi tähän hyviä vinkkejä, niin kuulisin niitä mielelläni.

[MarkusM]

Suurin ongelmani tässä on se, että miten ja millä tekniikalla rakentaa yleispätevä systeemi, jolla bookkereiden kertoimet webistä luetaan. Jos jollain olisi tähän hyviä vinkkejä, niin kuulisin niitä mielelläni.

Mitään täysin yleispätevää systeemiä on täysin mahdoton tehdä, kuitenkin 9/10 tapausta menee pa. html sivun parseroinniksi. Parilta edityneelta välittäjältä löytyy jonkinlainen XML exportti mistä kertoimet ja kohteet saa luettua helposti mutta suurimalla osalla firmoista homma menee tosiaan html sivujen parseroinniksi.

Ongelmia ja säätöä tuollaisessa systeemissä onkin sitten huomattavasti enemmän kuin voi uskoa. Jatkuvasti muuttuvat sivujen layoutit, sessiot, kirjautumiset, timeoutit, eri kerroinmuodot, eri pelimuodot, pvm ja aikamuodot ja vyöhykkeet, eri termit ja eri nimet joukkueille sekä sarjoille. Loputtomaan päivitys ja korjaus kierteeseen on syytä varautua tuollaisen systeemin kanssa jos meinaa oikeasti tukea useampaa kuin 1-2 firmaa.

Omien kokemuksen pohjalta suosittelisin suosittelisin unohtamaan koko idean ja lukemaan kertoimet suoraan tip-ex:stä. +10 firman kerroinkannan ylläpitäminen ja jatkuvat kehittäminen vie jo aivan hitosti aikaa ja käytettävä tekniikka on syytä olla enemmän kuin hyvin hallussa.

[Vaakina]

Aika hyvältä kirjalta vaikuttaa (en ole vielä tarkemmin ehtinyt tutustua) Jeff Heatonin Programming Spiders, Bots and Aggregators in Java. Sisältää myös paketin, jossa iso määrä valmiita luokkia.