Codec lyssningstest

Ett codec-lyssningstest är en vetenskaplig studie utformad för att jämföra två eller flera ljudkodekar med förlust , vanligtvis med avseende på upplevd trohet eller kompressionseffektivitet .

De flesta tester har formen av en dubbelblind jämförelse. Vanligt använda metoder är kända som " ABX " eller "ABC/HR" eller " MUSHRA ". Det finns olika mjukvarupaket tillgängliga för individer att utföra denna typ av testning själva med minimal hjälp.

Testmetoder

ABX test

Huvudartikel: ABX-test

I ett ABX-test måste lyssnaren identifiera ett okänt prov X som A eller B, med A (vanligtvis originalet) och B (vanligtvis den kodade versionen) tillgängliga för referens. Resultatet av ett test måste vara statistiskt signifikant. Denna inställning säkerställer att lyssnaren inte är partisk av sina förväntningar och att resultatet sannolikt inte är ett resultat av slumpen. Om prov X inte kan bestämmas tillförlitligt med ett lågt p-värde i ett förutbestämt antal försök, kan nollhypotesen inte förkastas och det kan inte bevisas att det finns en märkbar skillnad mellan prov A och B. Detta indikerar vanligtvis att den kodade version kommer faktiskt att vara transparent för lyssnaren.

ABC/HR-test

I ett ABC/HR-test är C originalet som alltid finns tillgängligt som referens. A och B är den ursprungliga och den kodade versionen i randomiserad ordning. Lyssnaren måste först särskilja den kodade versionen från originalet (vilket är den dolda referensen som "HR" i ABC/HR står för), innan han tilldelar en poäng som en subjektiv bedömning av kvaliteten. Olika kodade versioner kan jämföras mot varandra med hjälp av dessa poäng.

MUSHRA

Huvudartikel: MUSHRA

I MUSHRA (Multiple Stimuli with Hidden Reference and Anchor) presenteras lyssnaren för referensen (märkt som sådan), ett visst antal testprover, en dold version av referensen och en eller flera ankare. Syftet med ankaret/ankaren är att få skalan att vara närmare en "absolut skala", och se till att mindre artefakter inte bedöms ha mycket dålig kvalitet.

Resultat

Många dubbelblinda musiklyssningstester har genomförts. Följande tabell listar resultaten från flera lyssningstester som har publicerats online. För att få meningsfulla resultat måste lyssningstester jämföra codecs prestanda vid liknande eller identiska bithastigheter , eftersom ljudkvaliteten som produceras av en förlustkodare kommer att förbättras trivialt genom att öka bithastigheten. Om lyssnare inte konsekvent kan särskilja en förlustgivande kodares utdata från det okomprimerade originalljudet, kan man dra slutsatsen att codecen har uppnått transparens .

Populära format som jämförs i dessa tester inkluderar MP3 , AAC (och tillägg ), Vorbis , Musepack och WMA . RealAudio Gecko , ATRAC3 , QDesign och mp3PRO -formaten förekommer i vissa tester, trots mycket lägre antagande från 2007. Många kodnings- och avkodarimplementeringar (både proprietära och öppen källkod ) finns för vissa format, såsom MP3 , som är det äldsta och mest kända format som fortfarande används i stor utsträckning idag.

Källa	Datum	Format	Bithastighet (kbit/s)	Codecs	Musikaliska genrer	Prover	Lyssnare	Bästa resultat	Kommentarer
ff123	2001	flera olika	~128	MP3: Lame 3.89beta --abr 134 -h --nspsytune—athtype 2 --lågpass 16—ns-bas -8 MP3: Xing inom AudioCatalyst 2.1 128 kbit/s, högfrekvent läge inaktiverat, enkel stereo inaktiverad AAC: Liquifier Pro 5.0.0 Beta 2, Build 24 streaming 128, utjämning inaktiverad, dynamik inaktiverad, dubbel monokodning inaktiverad, ljudbandbredd åsidosatt av programmet, inställd på 17995 Hz MPC: mppenc.exe version 1.7.9c -radio -ltq_gain 10 -tmn 12 -nmt 4.8 WMAv8: Windows Media Player 7.1 (version 7.01.00.3055); Wmadmoe.dll version 8.0.0.0371 128 kbit/s Ogg Vorbis: Oggdrop RC2 för Windows 32 128 kbit/s		1	16	Musepack och AAC
ff123	2001 oktober - 2002 januari	flera olika	~128	MP3: Lame 3.89beta --abr 134 -h --nspsytune—athtype 2 --ns-bass -8 MP3: Xing inom AudioCatalyst 2.1 128 kbit/s, högfrekvent läge inaktiverat, enkel stereo inaktiverad AAC: Liquifier Pro 5.0.0 Beta 2, Build 24 streaming 128, utjämning inaktiverad, dynamik inaktiverad, dubbel monokodning inaktiverad, ljudbandbredd åsidosatt av programmet, inställd på 17995 Hz MPC: mppenc.exe version 1.7.9c -radio -ltq_gain 10 -tmn 12 -nmt 4.8 WMAv8: Windows Media Player 7.1 (version 7.01.00.3055); Wmadmoe.dll version 8.0.0.0371 128 kbit/s Vorbis: **Oggdrop pre-RC3 för Windows 32; från CVS (10/26/01) 128 kbit/s	Olika	3	25-28	Musepack eller Vorbis
ff123	2002 juli	flera olika	~64	Ogg Vorbis 1.0 -b 64—hanterad Ogg Vorbis 1.0 -q 0 MMJB 7.2 mp3PRO 64 WMA8 vid 64 kbit/s (med WMP 7.1 för att koda) QuickTime 6.0 MPEG-4 AAC Låg komplexitet vid 64 kbit/s	Olika	12	24-41	mp3PRO	Båda Vorbis-varianterna var nära tvåa.
Roberto Amorim	juni 2003	AAC	128 CBR	Psytel AAC-enc 2.15 -br 128 Ahead/Nero 5.5.10.35 128 kbit/s CBR, hög kvalitet Sorenson Squeeze 3.5 (FhG Pro) 128 kbit/s Apple QuickTime 6.3 (Apple/Dolby) 128 kbit/s hög kvalitet FAAC 1.17b -a 64 (64 kbit/s/kanal, ABR)	Olika	10	11-18	Snabb tid
Roberto Amorim	juli 2003	flera olika	~128	Apple QuickTime 6.3 MP4-kodare 128 kbit/s hög kvalitet LAME MP3 Encoder 3.90.3 --alt-preset 128 Musepack 1.14 --kvalitet 4 --xlevel Ogg Vorbis post-1.0 CVS -q 4.25 Windows Media Audio v9 PRO bithastighetshanterad 2-pass VBR 128 kbit/s	Olika	12	14-24	Musepack	AAC, WMA och Vorbis delade på nära tvåa
Roberto Amorim	2003 september	flera olika	~64	Ahead/Nero 6.0.0.15 HE AAC VBR-profil Streaming :: Medium, hög kvalitet Ogg Vorbis post-1.0 CVS -q 0 mp3PRO (från Adobe Audition 1.0) VBR-kvalitet 40, aktuell codec, tillåt M/S och IS, tillåt avsmalning, ingen CRC Real Audio Gecko (från Real Producer 9.0.1) 64 kbit/s Windows Media Audio v9 VBR kvalitet 50 QuickTime 6.3 AAC LC 64 kbit/s, bästa kvalitet	Olika	12	30-43	Nero HE-AAC	Detta test visade att lyssnare föredrog 128 kbit/s MP3-ljud kodat av LAME framför alla testade codecs med 64 kbit/s, med mer än 99 % konfidens: "Ingen codec levererar marknadsföringsplanen [sic] av samma kvalitet som MP3 med hälften av bithastigheterna."
Roberto Amorim	Januari 2004	MP3	~128	LAME-kodare 3.95 --förinställning 128 FhG MP3-kodare från Adobe Audition 1.0 VBR kvalitet 40, "Current - Best" codec. Apple iTunes 4.2 MP3 112 kbit/s VBR, högsta kvalitet, gemensam stereo, smart kodning GOGO-no-coda 3.12 -b 128 -a -q 0 Audioactive Encoder 2.04 128 kbit/s Hög kvalitet Xing MP3 Encoder 1.5 VBR kvalitet normal	Olika	12	11-22	LAM	Författaren noterade att resultaten kan ha påverkats av användningen av en föråldrad version av Xing-kodaren och icke-optimala inställningar för ITunes.
Roberto Amorim	2004 februari	AAC	~128	Ahead/Nero AAC-enc v 2.6.2.0 -internetprofil, hög kvalitet, LC Apple iTunes 4.2 (Apple/QuickTime) 128 kbit/s Kompakt! 1.2beta3 (zPlane/HHI) VBR 5, hög kvalitet, LC FAAC 1.23.5 -q 115 Real Producer 10 beta (CodingTechnologies) 128 kbit/s	Olika	12	19-29	iTunes	FAAC- codec med öppen källkod förbättrades avsevärt sedan föregående test
Roberto Amorim	2004 maj	flera olika	~128	LAME-kodare 3.96 -V5—athaa-känslighet 1 Apple iTunes 4.2 128 kbit/s AAC Ogg Vorbis aoTuV tuning b2 -q 4.35 Musepack 1.14b --kvalitet 4.15—xlevel Sony Atrac3 132 kbit/s Microsoft WMA9 Std Bitrate VBR 128 kbit/s	Olika	18	12-27	aoTuV (Vorbis) och Musepack
Roberto Amorim	juni 2004	flera olika	32 CBR	LAME-kodare 3.96 -b 32 Nero Ahead HE AAC+PS 32 kbit/s CBR Hög kvalitet Ogg Vorbis post-1.0.1CVS --managed -b 32 omsamplad med SSRC Real Audio 32 kbit/s stereomusikcodec i Helix Producer 10 QDesign Music Codec 2 Pro 32 kbit/s vid 32 kHz, kvalitetsläge Microsoft WMA9 Std 32 kbit/s vid 32 kHz mp3PRO 32 kbit/s vid 32 kHz, i Adobe Audition 1.5	Olika	18	47-77	Nero HE-AAC
HydrogenAudio-användare "guruboolez"	2004 juli	flera olika	~175	MPC: musepack -standard MP3: LAME 3,97 alfa -V 3; -V 2 Ogg Vorbis: megamix -q 6,00; -q 6,99; -q 5,50	Klassisk	18	1	Musepack
HydrogenAudio-användare "guruboolez"	2005 augusti	flera olika	~180	AAC: Faac 1.24.1 . Releasedatum: slutet av 2004 (?). Inställning: -q175 AAC: Nero Digital aacenc32 v.3.2.0.15 . Utgivningsdatum: juni 2005. Inställning: -streaming (hög/standardkodare). MP3: LAME 3.97 alpha 11 . Utgivningsdatum: juli 2005. Inställning: -V2—vbr-new MPC: mppenc 1,15v . Utgivningsdatum: mars 2005. Inställning: --kvalitet 5 Ogg Vorbis: aoTuV beta 4 baserat på 1.1.1 . Utgivningsdatum: juli 2005. Inställning: -q6,00	Klassisk	18	1	aoTuV (Vorbis)	Författaren reflekterar över avsevärda förbättringar i Vorbis-kodning sedan hans tidigare test (ovan): "Vorbis är nu – tack vare Aoyumi [skaparen av aoTuV] – ett utmärkt ljudformat för 180 kbit/s-kodningar (och klassisk musik)."
gURuBoOleZZ (på franska)	2005 augusti	flera olika	~96	AAC-LC: iTunes 4.9 / QuickTime 7.02 CBR 96 MP3: LAME 3.97 alpha 11 --abr 99 MPC: mppenc 1.14 --xlevel—kvalitet 3 (eller—tumme) Ogg Vorbis: aoTuV / LANCER beta 4 baserat på SVN 1.1.1 -q2,00 WMA-standard: WMA 9.1 CBR 96	Klassiskt , olika	150 klassiska, 35 olika	1	aoTuV och AAC bundna (klassisk), aoTuV (olika)	Författaren valde varje deltagande kodare genom att ställa flera kodare mot varandra i en inledande "darwinistisk fas". Till exempel valdes LAME som representativ MP3-kodare eftersom den klart överträffade fyra andra MP3-kodare på en delmängd av hela provkorpusen.
Sebastian Mares	december 2005	flera olika	~140 (nominellt 128)	Nero AAC 3.1.0.2 VBR/Stereo - Streaming, 100-120 kbit/s [LC AAC] iTunes AAC 6.0.1.3 128 kbit/s, VBR LAME 3.97 Beta 2 -V5—vbr-ny Ogg Vorbis AoTuV 4.51 Beta -q 4.25 WMA Professional 9.1 kvalitetsbaserad VBR, Q50 Shine 0.1.4 (Lågt ankare) -b 128	Olika	18	18-30	4-vägs slips (alla utom Shine)	"Jag tror att det här testet visar att med de nuvarande kodarna är kvaliteten vid 128 kbit/s mycket bra... Det är dags att gå över till bithastigheter som 96 kbit/s eller ännu lägre (64 kbit/s)."
Mp3-tech.org	2006 mars	AAC	48	3gpp 6.3.0 48kbit/s CBR Kodningsteknik - Winamp 5.2 beta 393 48kbit/s CBR HE-AAC Kodningsteknik - Winamp 5.2 beta 393 48kbit/s CBR HEv2-AAC Nero Digital 4.9.9.95 48kbit/s ABR HE-AAC Nero Digital 4.9.9.96 48kbit/s ABR HEv2-AAC iTunes 6.0.2 (lågt ankare) 48kbit/s CBR LAME 3.97b2 (Högt ankare) -V5	Olika	18	10-20	5-vägsband (alla utom ankare)	"... det verkar som om vanlig HE-AAC överlag kan vara bättre än HE-AAC v2 vid denna bithastighet, men det skulle behövas mycket fler prover för att kunna dra definitiva slutsatser om detta.
Sebastian Mares	2006 november	flera olika	~48	Ogg Vorbis AoTuV 5 Beta -q -1 WMA Professional 10 1-pass CBR, 48 kbit/s Nero HE-AAC 26 maj 2006 -q 0,2 WMA Standard 9.2 Kvalitetsbaserad VBR, Q10 iTunes AAC 7.0.2.16 48 kbit/s, CBR	Olika	20	22-34	Nero HE-AAC	WMA Professional och aoTuV tvåa
Sebastian Mares	2007 juli	flera olika	~64	Ogg Vorbis AoTuV 5 Beta -q 0 WMA Professional 10 1-pass CBR, 64 kbit/s Nero HE-AAC 20 juli 2007 -q 0,24	Olika	18	21-33	Nero Digital och WMA Professional
Sebastian Mares	oktober 2008	MP3	~128	LAME 3.98.2 -V5.7 LAME 3.97 -V5—vbr-ny iTunes 8.0.1.11 112 kbit/s, VBR, högsta kvalitet, gemensam stereo, smart kodning, filter under 10 Hz Fraunhofer IIS mp3surround CL-kodare v1.5 -br 0 -m 4 -q 1 -vbri -ofl Helix v5.1 2005.08.09 -X2 -U2 -V60 l3enc 0.99a (lågt ankare) -br 128000 -mod 1	Olika	14	26-39	5-vägs slips (alla utom L3enc )	"Kvaliteten vid 128 kbps är mycket bra och MP3-kodare har förbättrats mycket sedan förra testet." Noterar också att Fraunhofer och Helix codecs är flera gånger snabbare på kodning än LAME, även om de är praktiskt taget identiska när det gäller upplevd ljudkvalitet.
HydrogenAudio-användare IgorC (mars/april 2011)	Mars 2011	flera olika	~64	Ogg Vorbis AoTuV 6.02 Beta -q 0.1 Apple HE-AAC- begränsad VBR, hög kvalitet, 64 kbit/s CELT -komplexitet 10, VBR 67,5 kbit/s Nero HE-AAC -q 0,245	Olika	30	25-13	CELT / Opus	I resultat hänvisas CELT till som Opus , dess namn när det senare standardiseras.
HydrogenAudio-användare IgorC (juli - augusti 2011)	2011 juli/augusti	LC-AAC	~96	Nero 1.5.4.0 -q 0.345 Apple QuickTime 7.6.9 true VBR, hög kvalitet, 96 kbit/s Apple QuickTime 7.6.9 begränsad VBR, hög kvalitet, 96 kbit/s Fraunhofer IIS (via Winamp 5.62) VBR 3 Kodningsteknik (via Winamp 5.61) CBR 100 kbps	Olika	20	25	Apple QuickTime
HydrogenAudio-användare "Kmedo2"	maj 2013	MP3	~224	Lame3100i -V2+ LAME 3.99.5 -V1 LAME 3.98.4 -q 0 -b 224 Helix v5.1 -X2 -U2 -V146 BladeEnc (lågt ankare) -quit -nocfg -224	Olika	25	1	4-vägsband (alla utom BladeEnc lågankare)	De flesta nedskrivningsgraderna betygsatts mellan 4 (märks men inte irriterande) och 5 (omärklig). Båda talproverna är transparenta (p<0,02) förutom det låga ankaret.
HydrogenAudio-användare Kamedo2 (juli/september 2014)	2014 juli - september	flera olika	~96	AAC Apple QuickTime iTunes 11.2.2 (qaac 2.4.1) begränsad VBR, hög kvalitet, 96 kbit/s Opus 1.1 VBR, 96 kbit/s Ogg Vorbis aoTuV Beta6.03 -q 2.2 (~96 kbps) MP3 LAME 3.99.5 VBR, -V 5 (~130 kbps, en välkänd jämförelse men med högre bithastighet) AAC FAAC v1.28 (Mellan-lågt ankare) -b 96 AAC FAAC v1.28 (lågt ankare) -q 30 (~52 kbps)	Olika	40	33	Opus	I resultat är Opus en klar vinnare, Apple AAC är tvåa, Ogg Vorbis och LAME MP3 med högre bithastighet ligger statistiskt sett på delad tredje plats. FAAC, känt för att vara sämre i förväg, användes för att kassera dåliga resultat och som kvalitetsskalankare.
Cunningham och McGregor	2019 februari	flera olika	192 - 1411	Okomprimerad WAV MP3 CBR 192 kbps AAC 192 kbps CBR ACER låg kvalitet ~1023 kbps VBR ACER medium kvalitet ~1130 kbps VBR ACER hög kvalitet ~1233 kbps VBR	Pop	10	100	5-vägs slips (WAV, MP3, AAC, ACER HQ, ACER MQ)	Deltagarna rapporterade inga upplevda skillnader mellan okomprimerat, MP3, AAC, ACER högkvalitativt och ACER mediumkvalitets komprimerat ljud när det gäller brus och distorsion, men att ACER lågkvalitetsformatet uppfattades som av lägre kvalitet. Men när det gäller deltagarnas uppfattning om stereofältet presterade alla format som testades lika bra som varandra, utan några statistiskt signifikanta skillnader.
Källa	Datum	Format	Bithastighet (kbit/s)	Codecs	Musikaliska genrer	Prover	Lyssnare	Bästa resultat	Kommentarer

Se även

• Jämförelse av ljudkodningsformat
• High fidelity lyssningstest
• Hydrogenaudio
• Hörbara artefakter
• Brusreduceringssystem

externa länkar

• Hydrogenaudio - Community audiofil webbplats, värd för de flesta icke-kommersiella ABX-tester
• SoundExpert . Kontinuerliga blindlyssningstester av codecs över internet