Mikä tekee hakukoneista niin tärkeitä? Periaatteessa ne ovat internetin tärkeimpiä markkinatekijöitä. Ne yhdistävät kuluttajat palveluntuottajiin ja -myyjiin jo siitä hetkestä lähtien, kun kuluttajakiinnostus herää tuotetta kohtaan. Kuluttajat pystyvät hakukoneiden avulla löytämään juuri sen, mitä haluavat juuri sillä hetkellä, kun haluavat. Hakukoneet tuovat internetiin kaivattua tehokkuutta, mutta miten ne oikeasti toimivat?

Kaikilla hakukoneilla – esimerkkinä Google – on oma indeksinsä. Tämä on eräänlainen sisällysluettelo, jossa on tiedot kaikista hakukoneella löytyvistä sivuista, ja tästä sisällysluettelosta  me saamme tietoa kun teemme hakuja. Ilman tätä hakemistoa on mahdotonta käydä sivuja ja niiden sisältöä läpi riittävän nopeasti.

Kuinka hakemistot syntyvät?

Jokainen hakukone käyttää hakukonerobotteja. Nämä botit – jotka lontooksi tunnetaan nimellä spider – tonkivat internetin syviä sisältövesiä. Botit seuraavat netistä löytyviä linkkejä ja lukevat niistä löytyvää sisältöä samaan tapaan kuin me länsimaalaiset luemme sanomalehteä: aloittavat vasemmasta yläreunasta ja lukevat sivun sisällön rivistä riviin vasemmalta oikealle.

Se mitä botit lukevat, riippuu hakukoneen indeksointikriteereistä. Hakurobotit noudattavat tiettyjä ehtoja, joiden mukaan indeksoitavat sivut valitaan. Useimmat botit jättävät lisäämättä sivut, joissa on linkkejä aikuisviihdepalveluihin, mainoksia aikuisviihdepalveluista tai mitkä vaikuttavat ylipäätään huijaussivuilta.

Kun botti kohtaa linkin, jota se voi seurata, se indeksoi kyseisen linkin ja samanaikaisesti lähettää toisen botin indeksoimaan ja kopioimaan linkissä olevan sisällön. Robottien keräämä tieto lähtee eteenpäin Googlelle, joka arvioi linkin sisällön ja muodostaa yhteyden niiden saittien välille, jotka kuuluvat samaan aihepiiriin. Tämän jälkeen tieto muunnetaan hakemistoksi. Yksikään eri hakukoneiden tarjoamista hakemistoista ei tuo identtisiä hakutuloksia, mikä kohtuu niiden eroista kattavuuden suhteen.

Miten hakemistot toimivat?

Kun mattimeikälaiset tekevät hakuja, botit käyttävät niiden indeksoimaa tietoa hakemistossa näyttääkseen kaikista oleellisimmat tulokset hakuun liittyen. Esimerkkiterminä vaikka ”rakenna omat kotisivut”.

Hakukone etsii hakemistostaan hakuun sopivat tulokset käyttäen hyväksi sen omaa hakukonealgoritmia. Se miten nämä algoritmit toimivat on hakukonekohtaista, ja miten ne tasan tarkkaan toimivat, on varjeltu liikesalaisuus. Mutta esimerkiksi Googlen käyttämä PageRank-algoritmi tulkitsee linkin sivulta A sivulle B aivan kuin A antaisi yhden äänen sivulle B. Google ei silti tarkastele pelkästään ääniä, jotka on annettu kyseiselle sivulle, vaan se tarkastelee myös äänen antanutta sivua. Jos äänen antanut sivu tulkitaan "tärkeäksi", sen ääni merkitsee enemmän kuin "vähemmän tärkeän" sivun ääni. Siispä tärkeät sivut auttavat indeksoitavaa sivua tulemaan tärkeäksi. Googlen mukaan tämä yrittää jäljitellä ihmisen toimintaa, mutta ihmisen ja botin käsitys tärkeästä voi vaihdella.

Hakualgoritmin mukaan tapahtuu myös tärkeä hakutulosten järjestäminen yllä mainittuun PageRankiin, eli paremmuusjärjestykseen. Ymmärrettävästi tärkeäksi merkityt sivut ovat rankattu korkeammalle kuin vähemmän tärkeämmät sivut. Haun tulokset voidaan jakaa kahteen eri leiriin: orgaanisiin eli hakupohjaisiin linkkeihin ja sponsoroituihin linkkeihin. Orgaaniset hakutulokset ovat ne kaikista oleellisimmat tulokset hakua koskien, kun taas sponsoroidut linkit ovat maksullisia, mainostajien asettamia hakutermeihin liittyviä linkkejä.