硅谷王川

​神经网络里面有个重要的概念，叫做神经元的激活函数 ( activation function), 比较常用的激活函数是 

relu ( rectified linear units), 表达为 y = max (0, x).

用大白话来说，就是外界各种信息太多，应当设置一个阈值，低于阈值的东西完全不予理会。比如研究一个新公司，如果流动市值低于十亿美元的，可以不予理会，因为这里面噪音和假信息可能太多，无法精确评估。突破十亿美元并能持续增长的项目，才值得花一点时间调研。

各种狐朋狗友，一面之交的社会关系太多，激活函数就是自己内心设置一个简单可以度量的客观标准，低于此标准的社会关系都可以基本忽略，免得无谓的消耗。

人在成长的过程中，随着阅历的丰富，激活函数的阈值也会不断悄悄的动态调整。太容易被噪音而激活并白白消耗大量资源，是大部分人的神经网络的缺陷。

激活函数的主要作用，是以尽量少的计算资源，来试图接近模拟对于客观世界的理解，以获得尽量大的回报。不这样做，自己的竞争力会迅速落后，被各种 spam 拖垮。