selenium con scrapy para página dinámica

Este equipo de especialistas luego de muchos días de investigación y de recopilar de datos, obtuvieron la solución, deseamos que resulte de gran utilidad en tu trabajo.

Solución:

Realmente depende de cómo necesite raspar el sitio y cómo y qué datos desea obtener.

Aquí hay un ejemplo de cómo puede seguir la paginación en eBay usando Scrapy+Selenium:

import scrapy
from selenium import webdriver

class ProductSpider(scrapy.Spider):
    name = "product_spider"
    allowed_domains = ['ebay.com']
    start_urls = ['http://www.ebay.com/sch/i.html?_odkw=books&_osacat=0&_trksid=p2045573.m570.l1313.TR0.TRC0.Xpython&_nkw=python&_sacat=0&_from=R40']

    def __init__(self):
        self.driver = webdriver.Firefox()

    def parse(self, response):
        self.driver.get(response.url)

        while True:
            next = self.driver.find_element_by_xpath('//td[@class="pagn-next"]/a')

            try:
                next.click()

                # get the data and write it to scrapy items
            except:
                break

        self.driver.close()

Aquí hay algunos ejemplos de “arañas de selenio”:

• Ejecutar funciones de formulario de envío de Javascript usando scrapy en python
• https://gist.github.com/cheekybastard/4944914
• https://gist.github.com/irfani/1045108
• http://snipplr.com/view/66998/

---

También hay una alternativa a tener que usar Selenium con Scrapy. En algunos casos, usando ScrapyJS el middleware es suficiente para manejar las partes dinámicas de una página. Ejemplo de uso en el mundo real:

• Raspado de contenido dinámico usando python-Scrapy

Si (url no cambia entre las dos páginas), entonces debe agregar dont_filter=Verdadero con su scrapy.Request() o scrapy encontrará esta URL como un duplicado después de procesar la primera página.

Si necesita renderizar páginas con javascript, debe usar scrapy-splash, también puede verificar este middleware scrapy que puede manejar páginas de javascript usando selenium o puede hacerlo iniciando cualquier navegador sin cabeza

Pero una solución más efectiva y rápida es inspeccionar su navegador y ver qué solicitudes se realizan durante el envío de un formulario o la activación de un determinado evento. Intente simular las mismas solicitudes que envía su navegador. Si puede replicar las solicitudes correctamente, obtendrá los datos que necesita.

Aquí hay un ejemplo :

class ScrollScraper(Spider):
    name = "scrollingscraper"

    quote_url = "http://quotes.toscrape.com/api/quotes?page="
    start_urls = [quote_url + "1"]

    def parse(self, response):
        quote_item = QuoteItem()
        print response.body
        data = json.loads(response.body)
        for item in data.get('quotes', []):
            quote_item["author"] = item.get('author', ).get('name')
            quote_item['quote'] = item.get('text')
            quote_item['tags'] = item.get('tags')
            yield quote_item

        if data['has_next']:
            next_page = data['page'] + 1
            yield Request(self.quote_url + str(next_page))

Cuando la URL de paginación es la misma para todas las páginas y usa la solicitud POST, entonces puede usar scrapy.FormRequest() en lugar de scrapy.Solicitud()ambos son iguales pero FormRequest agrega un nuevo argumento (datos de formulario=) al constructor.

Aquí hay otro ejemplo de araña de esta publicación:

class SpiderClass(scrapy.Spider):
    # spider name and all
    name = 'ajax'
    page_incr = 1
    start_urls = ['http://www.pcguia.pt/category/reviews/#paginated=1']
    pagination_url = 'http://www.pcguia.pt/wp-content/themes/flavor/functions/ajax.php'

    def parse(self, response):

        sel = Selector(response)

        if self.page_incr > 1:
            json_data = json.loads(response.body)
            sel = Selector(text=json_data.get('content', ''))

        # your code here

        # pagination code starts here
        if sel.xpath('//div[@class="panel-wrapper"]'):
            self.page_incr += 1
            formdata = 
                'sorter': 'recent',
                'location': 'main loop',
                'loop': 'main loop',
                'action': 'sort',
                'view': 'grid',
                'columns': '3',
                'paginated': str(self.page_incr),
                'currentquery[category_name]': 'reviews'
            
            yield FormRequest(url=self.pagination_url, formdata=formdata, callback=self.parse)
        else:
            return

valoraciones y reseñas

Recuerda algo, que te concedemos parafrasear si diste con la respuesta.

---

---

Utiliza Nuestro Buscador