技术交流:研究/指标

Ehab,

你的问题的答案是:“是的，a /B测试需要调查的人数是有限的。”绝对的!样本量取决于你想检测的准确度。例如，如果你的“打开”率为30%，而你想测试“新”邮件是否比原来高出33%——也就是说，你可以打开40%的邮件，那么你至少需要200个人。如果你想检测30%的开放率和33%的开放率之间的差异，你需要2000个人。在你的电子邮件中加入1000，你就能分辨出30%打开和34,5%打开的区别。这意味着，如果“旧”格式的开放率是30%，而新格式的开放率大于34.5%，那么有95%的信心，你可以说新格式比旧格式更好。你可以使用以下工具使用不同的数字:

https://www.emarketingdynamics.com/plancalc.asp

这里的基本假设是，你的1000人可以被视为“随机”样本。这意味着在一个大的群体中，你选择这1000个人的机会和选择其他人的机会是一样的。此外，你还假设其他因素是相同的——比如一天中的时间、一周中的哪一天等等。

说了这么多统计数据，真正重要的是这对你的业务有多重要?例如，假设您想要检测30%打开和34.5%打开之间的差异。如果你发送1000封邮件，这就是30到35个人打开邮件的区别。企业从“开放”中得到了什么?如果每次开1万美元，那就是3万或3万5千美元，差5千美元。这意味着这个实验和数据的使用价值5000美元。这可能是值得的。但是，如果“开盘”的价值是1美元，那么我们谈论的是5美元的差异。谁在乎。在你看样本量之前，确保你明白信息的价值。

我希望这对你有所帮助。

Wayde