楼主最近面试不同公司的Product Case遇到了一些算是经典题，由于面试经验不算多，所以楼主自己不太拿得准到底怎样回答才算比较好的答案，想分享出来大家一起讨论一下。 首先关于success metrics，基本套路肯定是先问面试官这个product或project的business goal是什么，然后再按照busienss goal去定义success metrics。楼主在两家公司（签了NDA不太方便直接说名字）都遇到了类似的情景设置，就是公司有一个subscription-based的product，然后我们想在这个subscription里面加一些benefit或feature，就是只有subscriber才能享有或者使用，non-subscriber是没有的。这种情况下，business goal会是什么？楼主发现有的面试官不会直接给出goal是什么的答案，而会反问candidate，你觉得goal是什么。这个其实和真实工作情况是相反的，至少楼主做过的project都是我们先有一个想要达成的goal，然后再去讨论要做什么feature，没有说我们决定做一个feature，再去套一个goal给它。当然，对于subscription这个特定场景，楼主能想到的最有可能的一些goals包括： Retain现有的subscribers，提升他们的engagement，同时reduce他们的churn rate 吸引新的subscribers，提升non-subscribers to subscribers的转化率 提升revenue？不仅仅指subscription fee带来的revenue，因为这些benefit或feature可能直接和revenue挂钩的 . .и . 1point 3 acres 当回答完这些可能的business goals之后，面试官可能会继续反问面试者，那你觉得哪一个goal更加合理呢。这时候我是真的满头问号，然后只能根据直觉选一个再去看面试官的反应。所以我疑惑的点在于，在这个情景之下，有没有更好的答案或者回答方法呢？. .и . 其次是关于p-value，有一个基本面试ab test都会问到的问题是，如果我们定的alpha是0.05，但test的p-value是0.10，这个时候我们还应该launch这个feature吗？楼主在工作中遇到过不launch和依旧launch的情况，其中考虑到因素有很多。但在面试的情况下，如果面试官要一个肯定的yes or no回答，这种时候答不launch是更好的答案吗？首先是统计学上结果没有达到launch的标准，其次一般而言，false positive对产品的影响是大于false negative的（楼主自己的理解，不一定对），就是说我们launch了一个新feature，但发现实际效果不达预期，甚至有可能出现反效果，这个时候，maintainance cost，roll back cost，reputation cost等等都是false positive带来的。但相反，没有launch一个有可能带来正效果的feature虽然意味着opportunity loss，但一家公司往往是有很多待delivery的feature的，即使不launch A，马上也会有BCDE补上。而对于A，不launch也不意味着马上放弃了，我们还可以做进一步分析，看看有没有可以改进的地方，然后再做新一轮的test之类的。