Zie ook Hoe we proefritten maken
Testbed3: IPEAK SPT auditenDe hoeksteen van SR's nieuwe derde generatie testbed is Intel's IPEAK SPT, een programma dat de weg vrijmaakt voor een ongeëvenaarde beoordeling van de prestaties van harde schijven. De resultaten van de tools van IPEAK zijn een beetje verrassend; inderdaad, veel lezers weigeren de resultaten te accepteren omdat ze niet overeenkomen met lang gekoesterde opvattingen. Meer specifiek zijn mensen gewend aan het idee dat SCSI-harde schijven, hoewel sterk geoptimaliseerd voor willekeurige, niet-gelokaliseerde situaties met meerdere gebruikers, altijd superieure prestaties leveren in vergelijking met ATA-schijven, zelfs in desktop- en single-user-situaties. Als gevolg hiervan, wanneer een fabrikant als Western Digital de grenzen verlegt en SCSI-achtige prestaties levert in een ATA-drive met een buffer van 8 Mb en IPEAK-resultaten deze tot de beste SCSI-drives voor desktopprestaties, ontvangst binnen de enthousiaste gemeenschap plaatst, ogenschijnlijk is de doelmarkt voor zo'n eenheid gemengd. Hoewel veel mensen erkennen dat de nieuwste schijf van WD echt speciaal is, suggereren anderen dat deze weergave "bewijst" dat benchmarks nooit echt accuraat kunnen zijn. Het is tijd om deze misvattingen los te laten! Zo'n argument vraagt om premissen van een vooraf bepaalde conclusie, en dat is irrationeel. |
De Desktop DriveMarks van StorageReview.com bestaan uit tracebestanden die zijn opgenomen met IPEAK's WinTrace32. Deze bestanden kunnen vervolgens worden geanalyseerd met AnalyzeTrace en nauwkeurig worden afgespeeld via RankDisk. De combinatie van opnemen en afspelen die WinTrace32-RankDisk biedt, geeft ons de verbazingwekkende mogelijkheid om de schijftoegang die wordt gegenereerd door elk type systeemactiviteit op een groot aantal testschijven te reconstrueren. WinTrace32 onderschept alle verzoeken die naar de controllerdriver gaan, terwijl RankDisk de weergave van deze verzoeken op driverniveau start. Hierdoor hebben de CPU, het RAM-geheugen, het besturingssysteem, de cache en alle andere ondersteunende hardware en software slechts één keer invloed op de weergave, wat resulteert in een perfecte reproductie van de belangrijkste variabelen. Bekijk de volgende reeks van een schijflees- of schrijfbewerking:
|
Het perfecte, niet-overlappende systeem van WinTrace32 en RankDisk levert in theorie de best denkbare combinatie tussen gecontroleerde trials en relevante toegangspatronen. De vraag van een miljoen dollar: weten we zeker dat WinTrace32 en RankDisk precies doen wat ze beweren?
WinTrace32WinTrace32 is een op de achtergrond aanwezig programma dat alle verzoeken onderschept die naar het stuurprogramma van een hostadapter worden verzonden. Voor elk gegeven onderschept verzoek wordt een starttijdstempel, startsector #, lengte van het verzoek in sectoren en een bijbehorende OP-code (lezen, schrijven, gereed) toegevoegd. Dankzij de tijdstempels kan RankDisk de interarrivaltijden tussen verzoeken behouden en zo eventuele voordelen van een bestuurder of apparaat (bijvoorbeeld gemarkeerde wachtrijen) laten voelen. |
Registreert WinTrace32 nauwkeurig schijfaanvragen?
Een ander programma van Intel, IOMeter, stelt gebruikers in staat om toegangspatronen te definiëren via instellingen zoals blokgroottes, lezen versus schrijven, sequentiële toegang versus willekeurige toegang, enz. Dienovereenkomstig, als we een bepaald toegangspatroon met bekende instellingen nemen en er doorheen lopen tijdens het opnemen van de toegangen met WinTrace32, zou AnalyseTrace dan in staat moeten zijn om het bestand te onderzoeken en de overeenkomsten en/of verschillen op te merken tussen wat IOMeter beweert naar de schijf te sturen en wat WinTrace32 beweert naar de schijf te zien gaan.
Laten we het toegangspatroon van de bestandsserver eens nader bekijken, opgenomen in het standaard wrkloads.icf-bestand dat wordt meegeleverd met IOMeter:
Grootte, % toegang, % gelezen en % willekeurig zijn de belangrijkste instellingen. % Toegang bepaalt hoeveel van het totale patroon uit de andere drie instellingen zal bestaan. Met andere woorden, voor de eerste ingang zal 10% (% Access) van het toegangspatroon bestaan uit 512 byte verzoeken (Size) waarvan 80% gelezen zal worden en 20% geschreven zal zijn (% Read). 100% van deze verzoeken zijn willekeurig. Dezelfde uitleg is van toepassing op alle vermeldingen die volgen.
Via deze instellingen probeert Intel de schijftoegang van een typische bestandsserver synthetisch te reproduceren. Een belangrijke instelling, het aantal uitstaande I/O's (wachtrijdiepte), wordt ingesteld op een ander scherm:
We hebben dit patroon 10 minuten lang uitgevoerd op een ATA-schijf ( WD Caviar WD1200BB ) met WinTrace32 op de achtergrond om de toegang te registreren. WinTrace32 moet handmatig worden gestart en gestopt. We probeerden de IOMeter-toegang direct na het starten van de opname te starten en de opname direct na de 10 minuten durende test te stoppen. Laten we eens kijken hoe de invoervariabelen van IOMeter en de registraties van WinTrace32 zich tot elkaar verhouden:
Het eerste dat opvalt in deze schermopname van AnalyzeTrace is het overwicht van 8 sector (512 bytes per sector, dus 4 KB) toegangen - 60%. Zeker genoeg vereist de File Server Access Pattern Spec dat 60% van de toegangen 4 KB lang is. 10% van de toegangen moet één sector (512 bytes) lang zijn. Nogmaals, dit is precies wat AnalyseTrace rapporteert. De oefening klopt perfect: alle gerapporteerde overdrachtsgroottes in dit traceerbestand komen exact overeen met wat IOMeter vroeg.
Gedurende deze IOMeter-run werd de wachtrijdiepte constant op 4 gehouden. En, niet verwonderlijk, dit is precies wat AnalyseTrace rapporteert.
Volgens de instellingen van de IOMeter File Server zou 80% van alle verzoeken gelezen moeten zijn en 20% geschreven. AnalyseTrace meldt dat van de 48605 totale verzoeken, 39043 werden gelezen... of 80.3%. De overige 9562 verzoeken (19.7%) zijn schrijfbewerkingen.
Aangezien het toegangspatroon van de bestandsserver 100% willekeurige toegang vereist, zouden er geen verzoeken moeten zijn die 0 sectoren verwijderd waren (en als die er zijn, is dat puur toeval!). Zoals verwacht, rapporteert AnalyzeTrace geen back-to-back verzoeken. Interessant is dat op de schaal van deze kaart zoekafstanden niet eens merkbaar zijn totdat ze ten minste 256 MB verwijderd zijn van de vorige toegang... en slechts een klein aantal voldoet aan dat minimum! Een enorm contrast met onze vastgelegde desktoptoegangspatronen waarin de helft van de zoekopdrachten plaatsvindt binnen 8 KB van elkaar. Dit probleem, gebrek aan lokalisatie, plaagde ons inmiddels ter ziele gegane werkstationtoegangspatroon en zorgde ervoor dat het doel miste bij het beoordelen van desktopprestaties.
Het csv-uitvoerbestand van IOMeter vermeldt de gemiddelde responstijd van de WD1200BB in deze test op 49.48 milliseconden. De gemiddelde waarde die is afgeleid van de bovenstaande servicetijdgrafiek van de trace is 49.66 milliseconden, voor alle doeleinden identiek.
Laten we tot slot nog even kijken naar de toegangstijden die tijdens deze test zijn gegenereerd, uitgezet tegen de capaciteit van de schijf ten opzichte van de tijd. Zoals verwacht, laat AnalyzeTrace een gelijkmatige, willekeurige verdeling zien. Overigens, als we deze grafiek vergelijken met die van StorageReview.com Office DriveMark 2002 (een trace van daadwerkelijk computergebruik door mijzelf), zien we de lokalisatie van toegangstijden door individuele gebruikers.
Uit het bovenstaande blijkt duidelijk dat WinTrace32 zijn belofte waarmaakt: het legt bondig en precies vast wat er naar wordt verzonden. Gecombineerd met AnalyseTrace biedt WinTrace32 ons een uitstekend beeld van wat voor soort schijftoegang er precies plaatsvindt bij willekeurig willekeurig systeemgebruik. Maar hoe zit het met RankDisk? Speelt het precies af wat het zou moeten? Laten we eens kijken naar de andere helft!
RankSchijfSpeelt RankDisk nauwkeurig alle toegangen binnen een traceerbestand af? Er is een verrassend eenvoudige manier om het vermogen van RankDisk te testen om precies af te spelen wat er naar toe wordt gestuurd: neem RankDisk's herhaling van een traceerbestand op en vergelijk de resulterende tracering van de tweede generatie met het origineel. Om het vermogen van RankDisk om een WinTrace32-opname nauwkeurig opnieuw af te spelen op de proef te stellen, hebben we de hierboven beschreven bestandsserveropname afgespeeld terwijl we WinTrace32 gebruikten om de weergave vast te leggen. Daarom eindigden we met een opname van de 2e generatie die vervolgens kon worden vergeleken met het originele traceerbestand. |
Misschien wel het meest veelzeggend zijn de samenvattingen van AnalyseTrace voor de twee bestanden:
| Bestandsserver vastleggen, origineel | Vangst van de 2e generatie |
|---|---|
![]() |
![]() |
Beide traceerbestanden hebben identieke hoeveelheden lees- en schrijfbewerkingen als het gaat om zowel het aantal verzoeken als de hoeveelheid overgedragen gegevens. In de "capture of the capture" is er noch een verdwaalde toegang die niet in het origineel was, noch een toegang in het originele bestand die later niet plaatsvond in de replay.
Laten we een korte blik werpen op enkele andere relevante AnalyzeTrace-schermen:
| Verdeling van overdrachtsmaten | |
|---|---|
| Bestandsserver vastleggen, origineel | Vangst van de 2e generatie |
![]() |
![]() |
| Gemiddelde waarde = 22.0845 sectoren | Gemiddelde waarde = 22.0845 sectoren |
Beide vastleggingen weerspiegelen een nauwkeurige reproductie van de door IOMeter ingestelde parameters in het toegangspatroon van de bestandsserver.
| Verdeling van wachtrijlengtes | |
|---|---|
| Bestandsserver vastleggen, origineel | Vangst van de 2e generatie |
![]() |
![]() |
In de oorspronkelijke proef deed IOMeter zijn best om de wachtrijdiepte op 4 te houden. De grafiek aan de linkerkant bewijst dat WinTrace32 deze constante wachtrijdiepte kon vastleggen. De grafiek rechts bewijst dat RankDisk het perfect kan afspelen.
| Verdeling van zoekafstanden | |
|---|---|
| Bestandsserver vastleggen, origineel | Vangst van de 2e generatie |
![]() |
![]() |
Geen verrassingen hier. Aangezien zowel het originele spoor als het spoor van het originele spoor exact dezelfde sectortoegangen hebben, zijn beide zoekafstandsgrafieken identiek.
| Verdeling van servicetijden | |
|---|---|
| Bestandsserver vastleggen, origineel | Vangst van de 2e generatie |
![]() |
![]() |
| Gemiddelde waarde = 49.6615 milliseconden | Gemiddelde waarde = 49.6423 milliseconden |
Het is niet onredelijk om te verwachten dat een bepaalde fysieke actuator minutieus zal variëren in de tijd die nodig is om een toegang te vervullen die logisch identiek is. Eén oorzaak kan hitte zijn: de platen (of actuator) kunnen enigszins uitgezet, samengetrokken, enz. Toch is de "kop-tot-staart" (dwz de hoeveelheid tijd die verstrijkt tussen het begin van een bepaald verzoek en het voltooiing) servicetijden die zijn ingeleverd door zowel de eerste als de tweede generatie opnames blijven opmerkelijk dicht bij de oorspronkelijke gerapporteerde score van IOMeter van 49.48 milliseconden.
| Volgorde schijftoegang | |
|---|---|
| Bestandsserver vastleggen, origineel | Vangst van de 2e generatie |
![]() |
![]() |
Deze plot van de locatie van alle verzoeken binnen het toegangspatroon is van nature identiek in beide sporen. Genoeg gezegd.
RankDisk zelf, na het voltooien van het afspelen van een spoor, blijkt de gemiddelde geregistreerde servicetijd ... hoewel niet op een "head-to-tail" -manier. Integendeel, de uitvoer van RankDisk is "head-to-head", de gemiddelde tijd gemeten tussen het begin van het ene verzoek en het begin van het volgende.
Opnieuw afgespeeld op dezelfde schijf waarvan het spoor werd vastgelegd (de WD1200BB), leverde dit bestandsserverpatroon een RankDisk-score op van 12.37 milliseconden. IOMeter van zijn kant levert geen "head-to-head" responstijd in milliseconden. Het rapporteert echter wel het aantal I/O-bewerkingen per seconde. Een blik op het IOMeter-uitvoerbestand onthult dat de WD1200BB gemiddeld 80.83501 I/O's per seconde voltooide in de oorspronkelijke test. Er zijn natuurlijk 1000 milliseconden binnen een seconde. Men kan dan I/O's per seconde extrapoleren uit de output van RankDisk om een vergelijkbare score te verkrijgen (dit wordt in feite gedaan in de SR DriveMarks... resultaten worden gerapporteerd in IO/s sec in plaats van RankDisk's native gemiddelde milliseconden per verzoek). Het resultaat? RankDisk meldt dat in het toegangspatroon van de bestandsserver, bij een wachtrijdiepte van 4 I/O's, de WD1200BB (1000/12.37) 80.84 I/O's per seconde uitvoert... dit is de herhaling van een spoor van een originele proef waarin de WD voerde 80.83 I/O's per seconde uit! Absoluut geweldig!
RankDisk levert. Het speelt elk vastgelegd traceerbestand af met ongelooflijke precisie en betrouwbaarheid.
ConclusieWinTrace32 registreert in een opnamebestand alleen de toegangen die tot het stuurprogramma van de hostadapter van het besturingssysteem komen. RankDisk speelt perfect elk verzoek in het opnamebestand af. Samen zorgen deze tools voor een systematische, nauwkeurige en nauwkeurige weergave van een bepaalde werklast. Hoe precies? Kijk eens naar deze drie onderling vergelijkbare figuren: |
| WD1200BB – IOMeter's bestandsservertoegangspatroon, 4 uitstekende I/O's | ||
|---|---|---|
| IOMeter gemiddelde reactietijd | Gemiddelde servicetijd Traceerbestand van de IOMeter-proef |
Gemiddelde servicetijd Traceerbestand van een traceerbestand van de IOMeter-proef |
| 49.48 ms | 49.66 ms | 49.64 ms |
Het is duidelijk te zien dat alle attributen van de originele schijftoegang zoals gegenereerd door IOMeter (een programma waarmee we letterlijk kunnen definiëren wat voor soort toegang er moet plaatsvinden) bewaard blijven in zowel de opname als het afspelen van het traceerbestand. Het is redelijk om aan te nemen dat als IPEAK de schijftoegang van een bepaald programma (IOMeter) perfect kan reproduceren, het de schijftoegang kan reproduceren die wordt gegenereerd door elk ander programma of een reeks programma's. De Desktop DriveMarks van StorageReview.com zijn precies dat: nauwkeurige RankDisk-weergave van nauwkeurige WinTrace32-opnamen van typisch desktopgebruik.
De gevolgen zijn misschien verrassend, maar ze zijn onbetwistbaar: voor desktopgebruik levert een ATA-schijf zoals de Caviar WD1000BB-SE van Western Digital prestaties die vergelijkbaar zijn met of zelfs beter zijn dan die van de huidige 10,000 RPM SCSI-schijven. Dus als je een schijf wilt kopen voor je niet-servermachine en je genoegen neemt met een 10k SCSI-schijf alleen maar omdat "het 10,000 RPM is" of "het is SCSI", bedrieg je jezelf met een groot deel van de capaciteit, veel prestaties en/of veel geld bespaard!
We hebben onlangs de volgende poll gehouden:
|
Het overheersende thema van de meerderheid is dat de wereld al prestatievergelijkingen had vóór Testbed3, maar nooit betrouwbaarheidscijfers. Hoewel we ook erg trots zijn op de betrouwbaarheidsdatabase en hoewel de gepatenteerde filter- en analysemethoden deze degelijker maken dan de critici beseffen, mogen de verbeteringen van Testbed3's beoordeling van desktopprestaties niet over het hoofd worden gezien.
De gemeenschap heeft mogelijk toegang gehad tot benchmarkresultaten op harde schijven van zowel SR als vele andere sites, maar we beweren dat deze resultaten nooit in de buurt komen van de nauwkeurigheid die wordt geleverd door IPEAK en Testbed3. In het verleden konden nee-zeggers (legitiem of anderszins) benchmarkresultaten die ze niet leuk vonden, weggooien omdat ze niet van toepassing waren op de prestaties in de 'echte wereld'. Hoe? Ze zouden vragen als deze oproepen:
We weten niet welke benchmark het meest relevant is.
We weten niet hoe schijfgebruik eruitziet.
We weten niet wat de benchmark echt doet.
Enzovoort…
Met Proefbed3:
We weten het!
Kortom, de precisie en nauwkeurigheid van IPEAK SPT staat buiten kijf. Als men de SR Desktop DriveMarks wil betwisten, moet men dit doen omdat het applicatiegebruik dat is geselecteerd voor opname niet representatief is voor de meerderheid van de gebruikers, een heel ander onderwerp. We durven er echter op te wedden dat de meerderheid van de diehards die weigeren te accepteren dat ATA-drives een plaats in de wereld hebben, zelfs als we de kostenfactor buiten beschouwing laten, het moeilijk zou hebben om een niet-multi-user trace vast te leggen die SCSI-drives als met kop en schouders boven ATA-schijven, zoals ze graag zouden willen geloven.






















Amazon