
1 ipwx 2018-06-24 10:42:40 +08:00 看着公式对照 API,可以理解一大部分奇怪的技巧。比如: 为啥用 tf.nn.log_softmax 而不是 tf.log(tf.nn.softmax) ? 因为 exp(x_i)/sum_j(exp(x_j)) 有可能因为 x_i 普遍偏大而 exp 溢出。但 log[exp(x_i)/sum_j(exp(x_j))] = x_i - logsumexp(x),而 logsumexp(x) = x_max + log[sum_j(exp(x_j - x_max))]。这么一变换,所有 exp 项变成 exp(x_j - x_max) 之后,exp 相都小于 1,就不溢出了。 |
2 diggerdu 2018-06-24 11:55:55 +08:00 via iPhone 换 pytorch |
4 eccstartup OP |
5 spark 2018-06-24 15:00:38 +08:00 via iPhone 唯有手熟尔 |
6 ca1123 2018-06-24 15:13:49 +08:00 tensorflow 到底想解决什么问题? |
7 aREMbosAl 2018-06-24 15:24:44 +08:00 @eccstartup 你是说动态图?我只是单纯感觉 pytorch 文档写的好些,api 清晰些。。如果不能用也只有硬着头皮读 tf 文档了 |