Material Detail

Influencia del coeficiente de aprendizaje del algoritmo del gradiente descendente en la convergencia.

Influencia del coeficiente de aprendizaje del algoritmo del gradiente descendente en la convergencia.

OBJETIVO: Aprender cómo influye el coeficiente de aprendizaje (learning rate) en la convergencia del método del gradiente descendente para el caso de funciones bidimensionales cuadráticas. El valor absoluto máximo de dicho coeficiente está relacionado con la inversa del mayor autovalor de R en la función cuadrática bajo estudio f(x)=x'Rx-2bx. En nuestro ejemplo dicho autovalor es 100. Si, por otra parte, dicho coeficiente es muy pequeño, la convergencia es muy lenta. INTRODUCCIÓN: El método del gradiente descendente es un tipo de algoritmo iterativo que se suele usar para minimizar funciones f(x), es decir, para encontrar las x donde el valor de la función es mínimo (local o global). Se obtiene moviendo el punto x en la dirección opuesta a la de máxima variación, es decir, en la dirección opuesta al gradiente en dicho punto. La convergencia depende del parámetro a (coeficiente de aprendizaje).

Quality

  • User Rating
  • Comments
  • Learning Exercises
  • Bookmark Collections
  • Course ePortfolios
  • Accessibility Info

More about this material

Comments

Log in to participate in the discussions or sign up if you are not already a MERLOT member.