TF 2.0 에서 tf.function decorator를 쓸 경우 처리하는 모든 행렬은 numpy array이거나 tensor이어야 한다. np.matrix같은 다른 형태의 데이터 타입은 imperative 디버깅 모드에는 작동하나 graph 모드에서는 작동하지 않는다.

Tensorflow Model이 잘하다가 갑자기 Nan을 뱉을 경우 loss function을 tensorflow에서 제공하는 함수를 사용했는지 확인해 본다. → 직접 짠 loss 함수라면 어느순간 숫자 표현을 제대로 못하면서 버그가 생길 수 있다.

tf.keras.layers.Embedding을 이용해서 tf 1 버전때 사용하는 tf.Variable 을 대체할 수 있다.

tf.keras.layers.multiply vs tf.keras.layers.Multiply → 대문자는 functional layer로 쓰이고, 소문자는 operation으로 쓰인다.