在寻找答案之前，先照顾好问题

结果很漂亮，然后呢

一个实验得到了好看的结果，最容易做的事是继续优化参数。可在这之前，也许应该停下来问：我们究竟验证了什么？

如果假设没有被清楚地写下来，再多的指标也只是对同一批数据不断提问。提问次数足够多，总会碰到让人满意的答案。

写下可以被推翻的假设

好的假设应该给失败留位置。比如，与其说“这个指标应该有效”，不如明确它为什么可能有效、依赖哪些条件、在什么情况下应该停止相信它。

• 先记录机制，再记录参数。
• 先约定验证方式，再查看结果。
• 为负面结果留下同样完整的笔记。

让验证保持诚实

探索和验证承担不同的任务。探索允许试错，验证需要克制。当验证结果不理想时，回到假设，比换一组参数更有收获。

研究的价值，不只在于发现什么有效，也在于知道自己为什么这样判断。

交易成本、稳定性、数据质量，都应该进入同一张讨论桌。一个无法解释边界的结果，很难变成可以长期依赖的判断。

给失败一个好名字

我开始把实验记录写成可以重新阅读的小文章：问题、假设、方法、结果、下一步。失败并不是空白，它会缩小未知的范围。

这篇文章记录研究习惯，不构成投资建议。最值得保留的资产，仍然是不断改善提问方式的能力。