Ya no necesitas investigar más por todo internet porque estás al sitio necesario, contamos con la solución que quieres sin complicarte.
Solución:
ya que ReLU no tiene un derivado.
No, ReLU tiene derivado. Asumí que estás usando la función ReLU f(x)=max(0,x). significa si x<=0 después f(x)=0más f(x)=x. En el primer caso, cuando x<0 entonces la derivada de f(x) con respecto a x da resultado f'(x)=0. En el segundo caso, es claro calcular f'(x)=1.
Relu Derivada es 1 para x >= 0 y 0 para x < 0
La derivada relu se puede implementar con la función de paso np.heaviside, por ejemplo, np.heaviside(x, 1). El segundo parámetro define el valor devuelto cuando x = 0, por lo que un 1 significa 1 cuando x = 0.
Comentarios y puntuaciones del post
Recuerda algo, que tienes autorización de valorar esta división .