Waarom verschillen de resultaten van de ene snelheidstest van de andere?

Elk hulpmiddel heeft zijn eigen specialisatie

Zou je voor een snelheidstest op een racecircuit kiezen voor een gezinswagen, een monovolume, een SUV of een sportwagen? Al deze wagens kunnen een snelheidstest uitvoeren, maar de resultaten zullen uiteraard niet hetzelfde zijn. Die conclusie lijkt vanzelfsprekend!

Bij internetsnelheidstests kan hetzelfde principe gelden, maar dat is veel minder duidelijk. Daarom raden we aan om voorzichtig te zijn en je tests met meerdere hulpmiddelen te bevestigen.
 

Bijvoorbeeld:

• Speedtest.net (van Ookla) is een wereldwijd ontworpen en gebruikte tool om internetsnelheden te meten.
• De oplossing die Test Aankoop gebruikt, is de NDT-tool (M-Lab), oorspronkelijk ontwikkeld door universiteiten voor het oplossen van netwerkproblemen (meer info).
• FAST.com is een zeer eenvoudige tool ontwikkeld door Netflix (meer info).
• De oplossing nPerf.com is zeer uitgebreid en ligt dicht bij een normaal internetgebruik (meer info).
   

Veel factoren kunnen de resultaten beïnvloeden

Je browser, je computer, het gebruik van wifi, de aanwezigheid van andere gebruikers, het netwerk, maar ook de meettool zelf kunnen allemaal invloed hebben op de resultaten.

Bepaalde eigenschappen in het ontwerp van dit soort tools hebben een grote invloed op de uitkomst.
 

• De mogelijkheid van de tool om gelijktijdige tests uit te voeren

De tests van nPerf, Ookla/Speedtest en FAST.com voeren meerdere tests tegelijk uit. Dit is de beste manier om de mogelijkheden van je browser, processor en beschikbare bandbreedte optimaal te benutten. Zo werken de meeste toepassingen tegenwoordig trouwens ook.

De NDT-test voert slechts één test uit in één sessie. Het resultaat kan daardoor sterk verschillen van de ene poging tot de andere.

 

• Het algoritme waarmee resultaten van gelijktijdige tests worden samengevoegd

Bijvoorbeeld: om het gemiddelde te berekenen houdt nPerf geen rekening met de 5% snelste en de 5% traagste metingen. Bij Ookla wordt het resultaat berekend op basis van het beste gemiddelde uit een reeks opeenvolgende tests. Die reeks vertegenwoordigt 50% van de metingen.

 

Een meer diepgaande uitleg

Het MIT (Massachusetts Institute of Technology) publiceerde in 2010 een interessante studie waarin verschillende snelheidstesttools werden vergeleken (waaronder Ookla/Speedtest en NDT [M-Lab]).
 

In het gedeelte over Ookla vind je:
 

• Een uitleg over het belang van meerdere sessies voor een snelheidsmeting, vooral wanneer hoge snelheden moeten worden gemeten.

(...) By employing multiple TCP connections they don’t harm the performance of tests running from machines that would be capable of saturating a single TCP connection, and they gain the benefit of moving the likely performance bottleneck back into the network (assuming that is what the measurements are trying to understand). Multiple simultaneous TCP connections are representative of many typical applications on the Internet today. Web browsers like Firefox, Microsoft’s Internet Explorer 8, and Google’s Chrome open four to six simultaneous connections per domain. Coupled with the common practice of websites using two or more sub-domains, the number of simultaneous TCP connections can easily be four to eight.48 Other applications like peer-to-peer traffic similarly open multiple simultaneous TCP connections. (There are exceptions to this -- web-based video traffic tends to be carried on a single TCP connection and large file transfers also employ a single TCP connection.) So employing multiple TCP connections both increases the odds that the test will measure a bottleneck in the network and is a representative test for many common usage patterns. (Page 28)

 

• Een uitleg over het algoritme van Ookla. Er wordt ook uitgelegd hoe Ookla de resultaten van verschillende gelijktijdig uitgevoerde tests samenvat. Dit onderdeel wordt het vaakst bekritiseerd, omdat Ookla een deel van de meetresultaten niet meeneemt. (De hieronder beschreven methode werd in 2010 gebruikt voor HTTP-tests. Deze methode is sindsdien gewijzigd.)

(...) The next important differentiator for the Speedtest/Ookla methodology relates to how they filter the test results. Ookla's results are based on disregarding the fastest 10% and slowest 30% of the measurements collected while the TCP connections were in progress. This is important because they deliberately do not take the total data transferred divided by the total time... (Page 18)

 

In het gedeelte over NDT vind je:

• Een uitleg over het nut van de NDT-tool voor het oplossen van problemen en het identificeren van netwerkproblemen, en over het feit dat de tool slechts één TCP-verbinding gebruikt.
• Het doel van NDT is vooral om lokale knelpunten te begrijpen en problemen met de prestaties van een netwerk snel te identificeren. Onderzoeken hebben aangetoond dat veel netwerkprestatieproblemen zich voordoen op of dichtbij de computer van de gebruiker.

 

(...) Understanding these local bottlenecks is indeed one of the prime reasons the test was built in the first place. Several studies have shown that the majority of network performance problems occur in or near the users’ desktop/laptop computer. These problems include, but are not limited to, duplex mismatch conditions on Ethernet […] links, incorrectly set TCP buffers in the user’s computer, or problems with the local network infrastructure. The NDT is designed to quickly and easily identify a specific set of conditions that are known to impact network performance...