音质主观评价方法

mozart08

和无用论者吵了一轮，总感觉大师们说的有问题，但本人不是搞音响的，不懂音响的测试办法，一时也无从从技术上反驳，今天静下来，找了些资料，发现双盲测试法其实也是要和一个参考标准对比的，而大师是将标准参照取消了，让人分别听AB线后凭记忆去判断，这样听不出来就说无差别，这不符合标准测试方法。我也不想吵架，追寻真相是为了提高。只有认真对待每件事，我们才能进步。

资料如下：

2、主观比较方法总结

    主观测试方法广泛应用于各种听音测试中，也见于一些标准中。下面主要给出一些常用的主观比较方法[2]。

2.1 单听音比较(The single stimulus paradigm)
单一的测试源，没有参考源，只有在没有可能同时得到测试样本的情况下使用。MOS（Mean opinion score）评分，没有直接的比较，受测者的评分方差很大，没法对不同的源进行客观的比较，因为没有统一的尺度。

2.2 双听音比较(The paired comparison paradigm)
受测者面对的是两个对比的测试源，需要指定哪个更优，受测者也容易给出主观测试结果。

2.3 归一的双听音比较(The scaled paired comparison paradigm)
对双听音比较的一种扩展。使用间隔尺度来评测每个样本，DMOS（Degradation Mean opinion score）方法或者CMOS（Comparative Mean opinion score）方法。

2.4 ABX听音法(The ABX paradigm)
对双听音比较的有力扩展，包括3个测试源A、B、X，受测者选择A或者B中的哪一个与X相同。这种方法的好处在于有个明确的参考作为比较对象。这种方法也更容易确认受测者的可靠性，只需要检查其正确答案的个数。一般测试耗时比较厉害。

2.5听音隐含参考法(Triple stimulus hidden reference paradigm)，
该方法也称为带隐含参考的双盲3听音测试法。ITU-R BS.1116-1中使用了这种方法。是对ABX方法的一种带有间隔打分的实际扩展。受测者面对的是3个测试源Ref，A，B。受测者首先指出A或者B中哪个与Ref不同，然后打分，使用的是ITU-R的5分损伤制。面向的是经过训练的专业的受测者。适用于高质量的损伤极小的测试，而且一般测试过程较为缓慢。

2.6 排序方法(The rank order paradigm)
该方法适用于3个或者以上的样本序列需要进行测试比较的情况。双听音比较方法是这种方法的一个特例。受测者按照测试属性给所有的测试序列排序。该测试方法简单，而且不需要很多的诸如数据类型，数据的分布等等的假设条件，也不需要对受测者进行训练，也没有评分等级的说明解释，测试结果也容易分析处理，但是不能给出绝对的音质评价，因而实际应用较少。

mozart08

交易区新帖推荐

另外一篇文章里面说：
ABX 方法需要A设备和B设备在电平匹配度在正负0.1dB内，你可以随意听A和B，你想听多久都行，如果你认为他们有不同，你可以要求听X, 而X其实就是A或者B的其中一个（这是由双盲系统随机决定的），允许你随时对A/X或B/X进行比较。随意多少次都可以。然后决定X=A还是X=B。

可见，大师说不准人看见或知道换线，是没有依据的

mozart08

这两天吵得有点心浮气躁，是自己不对，要学习提高还是得多看书和资料，知道正确的东西是什么，然后才去做实验

ljclx

mozart08 发表于 2012-4-20 14:53
另外一篇文章里面说：
ABX 方法需要A设备和B设备在电平匹配度在正负0.1dB内，你可以随意听A和B，你想听多久 ...

无数次说过你思维有问题理解有问题。你偏不信.我再证明给你看。

你说的这个测试，他换A线,还是B线,会告诉你吗?会让你看吗?你的理解可以看线,是指你听音的时候，要求听X的时候，你是知道X线的。

你再看看我怎么说的。
盲测原则2:盲测过程中，被测试者任何合理的要求都应该被满足，盲测过程中，可以随时喊停,休息，并重新播放可以作为参考的声音,测试过程中的任何有争议的测试方法，均按有利于被测试者能轻松分辨线材的区别为原则来修改。

我说的参考的声音，就是X的声音，这个X可以是你认为最牛B的A线,还是B线,你假如指定B是X,你要求听X时,我就给你放B线的声音，这个时候，你是知道使用的是B线的，但你听完X线后，进入测试，那么接下来的换线,可能为A或者B,你是不能知道的。但允许你知道X线.

我早就说过了，你真的没理解.

sunrong

mozart08 发表于 2012-4-20 14:58
这两天吵得有点心浮气躁，是自己不对，要学习提高还是得多看书和资料，知道正确的东西是什么，然后才去做实 ...

:victory:[s:20]

mozart08

交易区新帖推荐

ljclx 发表于 2012-4-20 15:07
无数次说过你思维有问题理解有问题。你偏不信.我再证明给你看。

你说的这个测试，他换A线,还是B线,会告 ...

“允许你随时对A/X或B/X进行比较。随意多少次都可以。然后决定X=A还是X=B。”

不告诉AB，请问以上怎么进行？只有X是未知的，AB可以多次和X比较。
和你无话说了，你的态度决定了你的阅读能力

ljclx

mozart08 发表于 2012-4-20 15:21
“允许你随时对A/X或B/X进行比较。随意多少次都可以。然后决定X=A还是X=B。”

不告诉AB，请问以上怎么 ...

我认为的盲听测试是这样的。

AB两根线材，你如果认为A比较好，那我就认可你的A比较好，你就用盲听的方法把最好的A线找出来，我们可以把A线当成X线.
测试开始，切换AB线材,被测试者作答,答案可以是A或者B,也可以是事先约定的是否为A线,就是答案是 "是"还是"否"  T还是F.
在测试过程中，当你无法判断当前所听的线是否是A线时,可以要求听X线,X线就是参考的声音，就是你认为最好的A线的声音。
随时可以听，而且随你听多久.
这就是我理解的盲测.
别认为线材无用论不讲道理。

ntyz680

易有伍搞过10大电源线测试，不能说哪一个电源线的声音好听与否，细微的差别肯定是有的，至于玩家是否觉得有必要去投资，是一个消费层次的问题。

ntyz680

估计易有伍过后也不能把哪一根电源线是什么特色能和声音一一去挂钩，玩玩而已，不要当真。作为普通烧友的我们，首先是要努力工作，养家糊口为重，闲暇之余力所能及的发发烧，没必要从技术层面去分析，不是吗？

羊吃草

个人的听音取向也很重要

ljclx

mozart08 发表于 2012-4-20 15:21
“允许你随时对A/X或B/X进行比较。随意多少次都可以。然后决定X=A还是X=B。”

不告诉AB，请问以上怎么 ...

这个ABX,你知道A或者B线,也是可以的。

测试是这样的,先播放X线的声音， 让你记住X线的声音，这个X为未知,可能为A或者B,然后播放A线的声音，你知道A线，,接着播放B线,你知道B线,播放完成后，你判断X=A还是X=B,假如你不能正确判断，那么这一次测试你猜中的概率为50%
但是,这仅仅是第一次测试。
接下来进行第2,3,4....10次测试，而每一测试的方式都一样，而X也每次都不固定，随机变化。
因此,测试样本数增大，你猜中的概率就大大降低了。

因此，是一个很耗时间的测试。(测试十次，你至少要切换线材30次)
反过来思考，不也跟我前面说的测试方法十分类似吗?只不过节省了点时间而已。

你别理解错了以为只测试一次就行了，有50%的猜中概率。

mozart08

还有，资料里不怎么认可“2.1 单听音比较”，但并未否定“2.2 双听音比较”，“2.2 双听音比较”其实是我们生活中常用的比较法，例如说这件衣服比那件好看。。等等，而大师将之一概否定，好象只有盲听才可信，这也是过偏了。这些都是方法之一而已。

mozart08

在这种测试中，测试人会获得三个分别被标记为A、B和X的音源。A和B是用作参考的，它们一个是被处理过的，另一个是未被处理过的，比如说，一个是原始的WAV文件，另一个是从WAV文件压缩得到的mp3文件。X是未知的音源，它可能是A，也可能是B。测试人必须通过聆听比较它是A还是B。右图是一个典型的ABX测试软件的界面。

　　由于选择只有两个，不是选A就是选B，有50%的机会选对，因此单纯的一次测试并不能说明问题。需要进行统计分析，也就是说，需要进行不止一次的测试。通常的做法一般要求测试人对一个测试重做15遍，每次测试时都会从A和B两者中随机抽出一个作为X。根据所有的测试结果进行分析，便可大大减少碰巧选对的可能。从概率上看，一次测试选对的机率是50%，而重复做16次测试都选对的机率则是50%的16次方，即65536分之一。换句话说，如果A和B之间的差异非常的小，测试人根本就听不到区别，则测试人的平均结果应是一个趋向于50%的值。如果A和B之间存在着明显的差异，则测试人的平均结果应有明显的倾向性。

　　比如，我们需要比较两对喇叭的音质。显然，他们应该具有不同的表现。我们把测试进行7次后，会有128分之一的机会获得一个虚假的正确答案，即根据测试结果进行统计后得到的汇总结果与实际情况相比是错误的。在统计学上，这种情况被称为“第一类错误”。该类错误发生的可能性随着测试次数的增加而减少，测试次数每增加1次，发生错误的可能性就随之减少2分之1。。

　　现在，我们在CD播放机旁边放上一个手镯，然后再进行测试。可以说，这应该对音质不会有任何影响。我们把测试重复40次，成功分辨出音质不同的可能性是2 的40次方分之1。可以说，出错的几率是非常小的。但如果测试结果证明放和不放手镯的确会产生音质上的差别，那必须有一个解释：可能是测试人听到操作人员在移动或放下手镯时发出了声音；或者每次手镯放在播放机旁边时操作员的动作都会变慢；又或者其它各种各样的非听觉因素导致出现这样的结果。

　　关于统计方面的事情，估计也没有谁有兴趣深入讨论，就此打住。但从以上的简单解释中，我们可以提炼对于ABX盲听测试的一些规则：


1、想验证实际上不存在的事情是不可能的。如果你对一件事情有疑问，比如对认为某个音 频编解码器会影响音质，你应该通过测试去证实，而不是基于任何假设去 想当然。
2、测试应该以双盲条件进行。单盲测试意味着你除非通过实际聆听否则无法分辨出X究竟是A还是B。双盲测试则意味着测试过程中操作员和测试人都不知道X是 A还是B，以避免可能出现有意或无意的操作员暗示。也即需要第三人专门负责进行切换。在计算机上有相当多的软件可以进行ABX测试。
3、确保测试人只有在测试完成后才知道结果，包括正式测试前可能会进行的试验性测试。否则的话，则应改为在每一次测试之后测试人都能知道结果，并能随时决 定中止测试。
4、测试必须是首次进行。如果不是的话，之前进行的所有测试结果都应一同被汇总考虑。
5、测试人可以保留意见，即测试过程中可以在对自己的判断不肯定时保留意见，并要求暂停，待后再续。
6、测试过程必须是可重现的，根据相同的测试过程得到的测试结果也应当是一致的。
7、测试过程中的时序也是一个要考虑的方面。比如在连续的测试过程中，应给予相同的时间间隔等，以免测试人的判断受不同的时序影响而作出猜测。

　　
当然，测试结果也不一定就是“X是A”或者“X是B”这么简单。比如在MP3编码的音质测试中，测试人还需要选择X对A和B的相似度，并由此计算出 MP3 编码的音质效果。由此还可以扩展出其它测试方法来。下图是一个关于不同的mp3编码器音质对比的ABX测试结果图（来自ff123.net）

http://www.wavecn.com/content.php?id=91


从这里看出，AB是已知的，X是未知的，而不是象大师说的那样

mozart08

大师从来都是正确的，大师说：
我认为的盲听测试是这样的。

AB两根线材，你如果认为A比较好，那我就认可你的A比较好，你就用盲听的方法把最好的A线找出来，我们可以把A线当成X线.
测试开始，切换AB线材,被测试者作答,答案可以是A或者B,也可以是事先约定的是否为A线,就是答案是 "是"还是"否"  T还是F.
在测试过程中，当你无法判断当前所听的线是否是A线时,可以要求听X线,X线就是参考的声音，就是你认为最好的A线的声音。
随时可以听，而且随你听多久.
这就是我理解的盲测.

这与资料不符，如此而已。

再说，资料并未否定
2.2 双听音比较(The paired comparison paradigm)
受测者面对的是两个对比的测试源，需要指定哪个更优，受测者也容易给出主观测试结果。

因此，我觉得发烧友完全可以按自己方便选择一种办法，如果是音响厂家，需要按ABX去测试，发烧友按自己方便即可。不必按大师说的，只有盲听是唯一正确的。

ljclx

mozart08 发表于 2012-4-20 16:24
大师从来都是正确的，大师说：
我认为的盲听测试是这样的。

ABX测试,你写的答案，不是A,就是B,
我说的AB加参考X测试，你写的答案，同样也不是A就是B.
你说，这两种测试方法不一样啊，一个测试我能看到AB,感觉好些啊，另一个不能看到AB,我感觉记忆力衰退啊。

OK,我对你佩服得如滔滔江水连绵不绝.但我还是要告诉你，这两个测试难度是一样的。猜中的概率也是一样的。不同的是，一个耗时长，一个耗时短.ABX用于公开的公证严谨的测试场合。AB测试，可用于私下里的交流，或者自己的测试里，两个测试都可以找客观真相。