Solución:
No puedes. Si desea ejecutar JavaScript, deberá utilizar un navegador sin cabeza. De lo contrario, tendrá que desmontar JavaScript y ver qué hace.
Haga clic en el elemento mientras las herramientas de desarrollo de su navegador están abiertas en la pestaña Red:
Ahora puede ver que JavaScript descarga HTML nuevo desde esa URL. Puede enviar fácilmente la misma solicitud con urllib.
Puede usar https://pypi.org/project/requests-html/ esta biblioteca para representar contenido de JavaScript y luego usar una sopa hermosa para analizarlo.
Ejemplo:
from requests_html import HTMLSession
def render_JS(URL):
session = HTMLSession()
r = session.get(URL)
r.html.render()
return r.html.text
¡Haz clic para puntuar esta entrada!
(Votos: 0 Promedio: 0)