160kbpsでのMP3,AAC他の音質比較

結果

iTunes ≒ aoTuV ≒ Opus > LAME VBR > 午後のこ〜だ > BladeEnc > ffmpeg内蔵エンコーダ(実験段階)

評価

テストに利用した音源を試聴したい方、ダウンロードしたい方、ログを見たい方はこちらへ。
http://zak.s206.xrea.com/bitratetest/main.htm

方法

銘柄に対する先入観が影響しないように、ABC/HR for Java 0.53aを利用して、ランダムに並び替えてから、銘柄も圧縮／非圧縮の区別も伏せて採点した。1=音質劣化が非常に気になる 2=気になる 3=少し気になる 4=原音からの音質変化が分かるが、気にならない 5=音質変化がわからない、区別できない。4.9点以下の評点をつける場合は、ABXテストを20回行い、15回以上(これ以上の成績をまぐれで出す確率は約2%)正解して、違いを聞き取れることを確認してからそうした(2.9以下の場合は省略)。

使用したオプション

携帯動画変換君で、以下のコマンドで一気に処理。

[Item29]
Title=AllSoundTest4 160k
TitleE=AllSoundTest4 160k
Command0=""<%AppPath%>\cores\lame" -h -V 4 "<%InputFile%>" "<%OutputFile%>v4.mp3""
Command1=""<%AppPath%>\cores\gogo" -b 160 "<%InputFile%>" "<%OutputFile%>go160k.mp3""
Command2=""<%AppPath%>\cores\bladeenc" -br 160 "<%InputFile%>" "<%OutputFile%>be160k.mp3""
Command3=""<%AppPath%>\cores\venc603" -q4.7 "<%InputFile%>" "<%OutputFile%>q47.ogg""
Command4=""<%AppPath%>\cores\celtenc" "<%InputFile%>" --bitrate 160 --comp 10 "<%OutputFile%>op160k.oga""
Command5=""<%AppPath%>\cores\qtaacenc" "<%InputFile%>" --abr 160 "<%OutputFile%>qt160k.m4a""
Command6=""<%AppPath%>\cores\ffmpeg30805" -y -i "<%InputFile%>" -strict experimental -acodec aac -ab 160k "<%OutputFile%>ff160k.mp4""

(2012.1.24追記)詳細な優劣の分析を追加と画像を新しく。

詳細な優劣の分析

FRIEDMAN version 1.24 (Jan 17, 2002) http://ff123.net/
Blocked ANOVA analysis

Number of listeners: 20
Critical significance:  0.05
Significance of data: 0.00E+000 (highly significant)
---------------------------------------------------------------
ANOVA Table for Randomized Block Designs Using Ratings

Source of         Degrees     Sum of    Mean
variation         of Freedom  squares   Square    F      p

Total              139         102.14
Testers (blocks)    19          19.91
Codecs eval'd        6          56.36    9.39   41.39  0.00E+000
Error              114          25.87    0.23
---------------------------------------------------------------
Fisher's protected LSD for ANOVA:   0.298

Means:

itunes   aotuv    opus     lame     gogo     blade    ffmpeg
  4.63     4.46     4.41     3.94     3.61     3.18     2.84

---------------------------- p-value Matrix ---------------------------

         aotuv    opus     lame     gogo     blade    ffmpeg
itunes   0.276    0.147    0.000*   0.000*   0.000*   0.000*
aotuv             0.716    0.001*   0.000*   0.000*   0.000*
opus                       0.002*   0.000*   0.000*   0.000*
lame                                0.028*   0.000*   0.000*
gogo                                         0.006*   0.000*
blade                                                 0.026*
-----------------------------------------------------------------------

itunes is better than lame, gogo, blade, ffmpeg
aotuv is better than lame, gogo, blade, ffmpeg
opus is better than lame, gogo, blade, ffmpeg
lame is better than gogo, blade, ffmpeg
gogo is better than blade, ffmpeg
blade is better than ffmpeg

整形済みデータ

lame	gogo	blade	aotuv	opus	itunes	ffmpeg
%feature 7 MP3 MP3 MP3 OGG OPUS AAC AAC
4.2	3.6	3.1	5.0	5.0	3.9	2.1
3.8	4.1	3.3	4.0	3.7	4.4	2.9
3.6	3.3	2.3	5.0	4.1	4.5	2.9
4.0	3.4	3.2	3.5	3.6	3.8	2.7
3.8	2.6	2.1	4.3	3.7	4.7	2.9
2.6	3.0	3.4	4.3	3.8	5.0	3.3
3.6	3.4	3.2	3.7	5.0	5.0	2.9
3.3	3.6	3.4	5.0	3.9	5.0	2.8
4.2	4.1	2.9	4.4	4.4	4.5	3.6
5.0	5.0	5.0	5.0	5.0	5.0	2.6
3.7	2.8	2.1	4.1	3.8	5.0	1.9
3.5	3.9	3.1	5.0	5.0	5.0	2.5
4.3	3.8	3.6	4.5	5.0	5.0	3.9
3.9	3.7	3.6	4.1	5.0	5.0	3.0
4.3	3.3	2.7	5.0	5.0	3.7	2.8
5.0	4.1	5.0	5.0	5.0	5.0	3.8
3.6	2.9	3.0	3.9	5.0	4.3	2.7
5.0	4.2	3.2	5.0	5.0	5.0	2.6
3.4	3.5	2.7	4.2	3.2	3.8	2.5
4.0	3.8	2.8	4.3	4.0	5.0	2.5

注：公開試聴試験での多人数の平均評点と管理人の評点が似たような傾向になることは確認しているので言えるが、ある個人がある再生環境で、ある価値観のもとに聞いたときの評価が、ここに書いた管理人の評価に似るかどうかまでは何とも言えない。また、今回利用した音源とは傾向の異なる音を多くエンコードした場合、結果や順位が異なる可能性があります。