Internet-sivulta tietoa Mac-sovellukseen.

[tisshann]

Haluaisin tehdä ohjelman tai sovelluksen, jolla saisin napattua internetin nettisivulta muuttuvan tiedon (sana) tai useita tietoja (useita sanoja) johonkin Macin ohjelmaan. Macissä jatkaisin sitten saadun tiedon analysointia esim laskemalla sanojen lukumäärän jne jne. Mikä ohjelmointitapa olisi Macissa tähän paras? Windows-puolella yksi mahdollisuus on mm Excel + Visual Basic, jolloin avaan internet sivun ensin Excelissä, kopioin sivulta haluamani tiedon ja lisään sen sitten Worksheetin tietokantaan laskentaa ja analysointia varten.

Ehdotuksia otetaan mielellään vastaan. Kiitos jo etukäteen.

[morbusg]

En nyt ihan äkkiseltään keksi mitä järkeä on hakea joltain sivulta jotain sanaa, koska jos se pitää antaa syötteeksi, niin samantienhän sen voi palauttaa ilman mitään internet-sivu hakujakin.
Tällä palautuu rivi(t) jolla sana: (Päätteeseen)

Koodi: Valitse kaikki

# curl -s domain.tld/polku/sivu.html | grep 'sana'

Tällä kaikki rivit sanojen "sana1" ja "sana2" väliltä:

Koodi: Valitse kaikki

# curl -s domain.tld/polku/sivu.html | awk '/sana1/, /sana2/'

jnejne.

Mutta kun se nyt on html:ää, niin jotkut esim. laittavat koko sivun koodin tyyliin yhdelle riville, eli ei tuolla välttämättä saavuteta haluttua lopputulosta.

Tuota voi sitten ketjuttaa vielä jollekkin html-parsettajallekkin tietty.
Tai lähtökohtaisestikkin voidaan käyttää parsettajaa, ilman mitään em. ohjelmia, riippuen siitä mitä haluaa tehdä. Tai sitten voi parsettaa lennosta itse, ei sekään ole mahdotonta, saatikka vaikeaa.

Ja sitten tuon sanojen lukumääränkin voi ketjuttaa siihen päälle päätteeksi.

Koodi: Valitse kaikki

# curl -s domain.tld/polku/sivu.html | grep 'sana' | wc -w

[tisshann]

Sivulla, josta tätä mainitsemaani "sanaa" haluan kaapata on seuraavanlainen koodin pätkä: <span id="TUOTE_ID" class="tieto">

Tämä "tieto" vaihtuu/päivittyy jatkuvasti ennalta määräämättömän ajan kuluessa. Tieto ei päivity koodiin, vaan ainoastaan selaimen näkymään. Minä siis haluan kerätä tuon tiedon, jotta pystyn laskemaan esim sanan "lumilapio" tms esiintymismäärän. Kyseisen nettisivu on minun ymmärryksen mukaan tehty käyttäen php:tä ja javascriptiä.

Laitan tähän linkin, joka varmaankin auttaa asian ymmärtämisessä. http://visualbasic.about.com/od/learnvb ... excela.htm
Haluaisin siis vastaavaa tulosta, mutta Mac koneeseen. Sovellus ei saisi myöskään olla raskas, eikä liiaksi laajakaistaa rasittavaa. Excelissä (PC) onnistuu kyllä sivun lataaminen ensin Worksheetille, mutta sekään ei pysty noukkimaan tuota <span id="TUOTE_ID" class="tieto"> sylkäisemää dataa. Ja vaikka tieto jollain konstilla siten onnistuisikin, muodostuisi jatkuva reaaliaikainen tiedon nappaus hitaaksi. Hitaus korostuisi entisestään, koska haluan hakea tietoa usealta sivulta samanaikaisesti.

Kiitoksia muuten aikaisemmasta vastauksestasi.

[morbusg]

No esimerkiksi yhdenlaista parsettajaa käyttäen:

Koodi: Valitse kaikki

# esim.rb
require 'rubygems'
require 'hpricot'
require 'open-uri'
query_page = Hpricot(open("http://domain.tld/polku/sivu.html"))
haettu_sana = (query_page/".tieto").inner_html
puts haettu_sana

Tallenna tiedostoon, ja suorita päätteellä: # ruby esim.rb

Tai sitten voidaan vielä jatkaa tuolla curl -pohjallakin:

Koodi: Valitse kaikki

# curl -s -m 3 'http://domain.tld/polku/sivu.html' | grep -e '<span.*class="tieto">' | sed -e :a -e 's/<[^>]*>//g;/</N;//ba'

***
Eli ensin haetaan haluttu sivu, sitten haetaan sen sisältä rivejä joilta löytyy tuo span -elementti tuolla "tieto" -luokalla, ja sitten vaan poistetaan kaikki html-tagit. Pelkän sivun voisi vielä cachettaa jonnekkin talteen, ja seuraavaa kyselyä tehtäessä saattaisi olla mahdollista tehdä vertailu (headereilla) että onko mikään muuttunut, ja vain jos on, hakea tietoa uudelleen. Mutta se menee jo kikkailuksi.

Perl olis varmaan aika ihanteellinen tähän kohtaan, mutta itse en osaa sitä.

Kun taas verrataan VBScript+Excel+IE -kombinaatioon, niin kaikkien em. pitäisi olla kevyempiä, joska VB:llä luodaan aina uusi kokonainen IE-objekti jokaista linkkiä varten, puhumattakaan että ohjelmat itse eivät ole keveydeltään verrattavissa komentorivipohjaisiin ohjelmiin jo pelkästään ikkunoinnin edellyttämien tarpeiden vuoksi.

Tieto ei päivity koodiin, vaan ainoastaan selaimen näkymään.

Oletko nyt aivan varma? Ainut ensimmäisenä päähän pälkähtävä tilanne jossa noin voisi olla, olisi että kys. tieto generoidaan aina asiakaspäässä suoritettavalla javascriptillä, ja uskallan epäillä ettei tässä ole kyse siitä.

*** Sed on rivi-orientoitunut ohjelma, joten se palauttaisi silloin ympäröivienkin tagien sisällön jos ne ovat samalla rivillä.

EDIT: sen verran haluisin vielä tuosta reaaliaikaisuudesta lätistä, että htt-protokolla ei lienne se otollisin millekkään reaali-aikaiselle. Eli aina pyyntöön vastataan esim. koko sivulla. Sitten on tietty vaihtoehtona XMLHttpRequest mikäli tuon sivun taustalla pyörivä ohjelma kys. tyyppisiin pyyntöihin osaa vastata. Se olisi ideaalia sikäli että ei tarvitsisi tosiaan pyytää kun vain ja ainoastaan se muuttuva data.


EDIT2:

Minä siis haluan kerätä tuon tiedon, jotta pystyn laskemaan esim sanan "lumilapio" tms esiintymismäärän.

Koodi: Valitse kaikki

curl -s 'http://hopeinenomena.net/viewtopic.php?f=40&t=120721&p=653241#p653241' | grep -o 'lumilapio' | wc -l

(ylläoleva kaikki yhdellä rivillä) Grep palauttaa vain osumat, ja wc (tulee sanoista Word Count) palauttaa parametrilla "-l" vain rivien määrän (eli montako osumaa).

[tisshann]

Kiitos vastauksestasi Täytyy jossain vaiheessa kokeilla.