Za nas je poganjanje testov hitrosti internetne povezave zabava, za ponudnika te storitve pa pomeni mukotrpno prebijanje skozi podatke, odkrivanje potencialnih poskusov goljufanja, analiziranje in nenazadnje razglašanje zmagovalcev, pri čemer ne sme biti kakšnih dvomov o zanesljivosti izbire. O vsem tem in še čem smo povprašali našega tokratnega sogovornika. To je Luke Kehoe iz podjetja Ookla, ki je nedavno podelil tudi nagrado za ta čas najhitrejše slovensko mobilno omrežje Telekomu Slovenije.
Na novinarski konferenci ste omenili, da vaši uporabniki izvedejo milijarde testov vsakodnevno. Kaj vse številka vključuje, koliko k njej prispevamo v našem delu sveta in kako se potem prebijete skozi vso to množico podatkov in ves šum, ki ob tem neizbežno nastane?
Najprej moram malce pojasniti, kako vse skupaj deluje. Ko sem omenjal milijarde testov na dnevni ravni, sem imel v mislih vse vhodne podatke, ki jih zbiramo. Komponenta, ki jo sproži uporabnik, če denimo eden od naju zažene aplikacijo Speedtest in izvede test hitrosti, na dnevni ravni ne predstavlja milijard testiranj, temveč nekaj, morda deset milijonov. To so podatki, iz katerih lahko objavimo analize in podelimo nagrade za najhitrejša omrežja. Tu gledamo hitrost prenosa podatkov, zakasnitev, hitrost nalaganja. Za nagrado za najhitrejše mobilno omrežje v Sloveniji smo uporabili podatke več kot 135.000 testov, izvedenih v prvi polovici leta.
Kaj potem predstavlja in od kod pride vse ostalo do tiste milijardne številke?
Imamo tudi druge formate podatkov. Ti so morda nekako bolj podobni podatkom, ki jih zbirajo nekatera druga podjetja, denimo preverjanje signala v ozadju ali podatki SDK različnih aplikacij. Ko uporabljate, na primer lokalno taksi aplikacijo ali kaj podobnega, imamo lahko dogovor z njenim ponudnikom, da nam lahko naprava pošlje nekaj podatkov o signalu in pogojih, medtem ko je ta aplikacija odprta. Ti podatki o vzorcih v ozadju tvorijo ključni del metodologije še zlasti pri določanju ocen o pokritosti. Za nagrado glede pokritost smo v Sloveniji nazadnje obdelali več kot 25 milijonov vzorcev ali testov. Skeniranje v ozadju nam daje nekakšen vpogled v stvari, ki jih ne moremo dobiti s testom hitrosti.
Kako preprečite goljufanje s testi?
Vsekakor temu problemu, ki se občasno pojavi na manjšem številu trgov, posvečamo velikop pozornosti. Občasno smo identificirali scenarije, kjer en operater bodisi izvaja veliko testov na zares dobrih območjih v svojem omrežju. Videli pa smo celo primere, kar je še bolj zanimivo, ko so izvajali veliko število testov hitrosti na slabih območjih v omrežjih svojih konkurentov in tako poskušali vplivati na rezultate. Imamo zelo robustne ukrepe za preprečevanje tega. Najpomembnejši je, da za nagrade ne upoštevamo posameznih testov, temveč vzorce. Poleg tega ne morete narediti desetih zaporednih testov in pričakovati, da bomo šteli vse. V statistiko bo šla ena, povprečna vrednost. Princip en glasovalec, en glas. Nadalje, ko primerjamo operaterje, moramo imeti minimalno število vzorcev, pri katerem smo prepričani, da je eden dejansko »najhitrejši.«
Lahko navedete številko? Koliko testov denimo v centru Ljubljane potrebujete, da ste res prepričani, kateri od operaterjev ima najhitrejše omrežje?
Seveda je odvisno od primera do primera, vendar bi za Ljubljano rekel, da vsekakor v redu velikosti nekaj tisoč vzorcev. Če je v hipotetičnem scenariju srednja hitrost prenosa pri Telekomu Slovenije iz naših podatkov 50 megabitov na sekundo, pri A1 pa 45 Mb/s, na papirju izgleda, da je Telekom hitrejši. Vendar moremo kar tako povleči takega zaključka, ker smo še vedno preblizu statistične napake in ne moremo z dovolj veliko zanesljivostjo in zadostnim intervalom zaupanja potrditi, da je res. V takih primerih zato nagrade ne podelimo.
Poskušate poleg svojih testov in zalednih informacij pridobiti tudi določene zunanje podatkovne točke, kot so denimo o tem, kakšno je bilo vreme v času testa ali če je denimo potekal kakšen večji dogodek?
Da, veliko se ukvarjamo z množičnimi dogodki in z vplivom neviht. V kontekstu koncertnih prizorišč običajno vidimo ogromen skok v številu ljudi, ki izvajajo teste hitrosti. Najprej zato, ker želijo videti, kako dobro deluje moje omrežje, in nato, ker preverjajo, ali se dejansko dogaja preobremenitev. Tako tudi vidimo precejšen delež neuspelih ali delnih testov. Vsekakor na koncertih in podobnih dogodkih dobimo veliko informacij glede spreminjanja hitrosti in obnašanja omrežij. Določena lahko v času postavljanja in testiranj izpadejo odlično, med samim dogodkom pa precej slabše.
Kdo pregleduje vse podatke, vzorce, jih analizira in dela zaključke? Ali uporabljate pri tem tudi že umetno inteligenco?
Imamo dve ekipi, namenjeni podatkom. Prva je ekipa za podatkovno znanost (data science team) in njena vloga je, da pregleda statistične robustnosti, da vse absolutno drži, da so vsi rezultati strogo usklajeni z metodologijo. Potem pa imamo še analitike omrežnih podatkov (network data analysts), ki delujejo nekoliko bolj inženirsko. So zelo kreativni, sposobni ustvariti nove metodologije. Ali uporabljamo UI? Da, vedno bolj jo začenjamo vgrajevati v delovne procese, vendar še vedno v zgodnji fazi. Razvojne ekipe denimo uporabljajo oblačno kodo in druge pripomočke, da pohitrijo delo. Na strani podatkovne znanosti preverjamo, ali je preproste stvari potencialno mogoče avtomatizirati. Seveda pa zelo pazimo, da se ne bi dogajale napake, ker vemo, da UI dokaj pogosto halucinira, in če bi se v rezultatih izkazalo, da kaj ne štima, bi bilo lahko to precej škodljivo za ugled podjetja.
Hitrostni testi so dokaj intenzivni glede pasovne širine. Ali lahko predstavljajo relevanten delež v omrežnem prometu posameznega operaterja?
(smeh) Vem, da so se v določenih državah že pojavila taka vprašanja. V splošnem bi sicer rekel, da to zagotovo ni velik delež prometa, hkrati pa tudi ni nepomemben in zanemarljiv. Zlasti na povezavah 5G pri hitrosti prenosa prek 600, 700 megabitov na sekundo, lahko posamičen test porabi približno gigabajt podatkov ali še več. Vsekakor pomeni obremenitev za omrežje in je tudi zasnovan tako, da preizkusi njegovo polno zmogljivost.
Kaj bi rekli, da so v praksi prinesla omrežja 5G? Imate kakšne referenčne podatke o tem, kako izboljšujejo hitrosti, zakasnitev in morda še kaj?
Na začetku cikla 5G v nekaterih državah hitrosti sploh niso bile višje kot prej v omrežjih 4G, predvsem na račun dinamične delitve spektra in uporabe enakih frekvenčnih pasov. S tem so operaterji lahko zelo hitro in zelo poceni zapolnili svoje zemljevide pokritosti, ampak ni bilo tako odlično za izkušnjo končnega uporabnika. Toda v zadnjem letu se je po vseh Evropi zgodila bistvena sprememba. Hitrosti prenosa podatkov so se precej povečale zaradi uporabe srednjepasovnega spektra. Do 100 megahercev širine je resnično razširilo zmogljivosti, pozna se velik napredek pri hitrostih nalaganja vsebin. Izboljšanje zakasnitve je bilo malo manj opazno, pretežno le tam, kot denimo v Grčiji, kjer so prešli na samostojno omrežje 5G (SA). Tamkaj vidimo približno 20 do 30 odstotkov nižje zakasnitve kot pri nesamostojnih (NSA) omrežjih. Torej teh, ki si jedrni del delijo s 4G. Kar zadeva Slovenijo. Med julijem in septembrom 2024 je bila povprečna hitrost prenosa na mobilnem omrežju na nacionalni ravni 73,7 Mb/s. V istem obdobju letos pa 136,02 Mb/s. Skoraj dvakratna pohitritev v enem letu. Kot rečeno, na ravni države, pri vseh operaterjih. Torej se je zgodil res velik napredek, predvsem zaradi same zasnove omrežij, uporabe dodatnega spektra in drugih posodobitev.
Brez komentarjev