Mejorar scraping de last review: faltan fechas

[numeroteca]

He detectado que faltan algunos datos en el scraping de "last reviews" de Airbnb 4c8b3b7

De los que existe la URL he detectado que 103 anuncios tienen 0 reviews, lo cual está bien para todos los anuncios que tienen 0 reviews según datahippo, pero no para los que tienen más de 0 reviews. Faltaría por scrapear, entonces, 28 anuncios.

¿Será porque alcanzó el límite de peticiones y bloqueó? Para futuros scrapeos.

Lista de anuncios que faltan:
https://www.airbnb.com/rooms/13785803
https://www.airbnb.com/rooms/14572043
https://www.airbnb.com/rooms/19279852
https://www.airbnb.com/rooms/7443112
https://www.airbnb.com/rooms/19501048
https://www.airbnb.com/rooms/11081901
https://www.airbnb.com/rooms/17326731
https://www.airbnb.com/rooms/21956739
https://www.airbnb.com/rooms/3745990
https://www.airbnb.com/rooms/15474995
https://www.airbnb.com/rooms/5035449
https://www.airbnb.com/rooms/19016082
https://www.airbnb.com/rooms/8296851
https://www.airbnb.com/rooms/19834922
https://www.airbnb.com/rooms/18925685
https://www.airbnb.com/rooms/4144262
https://www.airbnb.com/rooms/18904308
https://www.airbnb.com/rooms/2517617
https://www.airbnb.com/rooms/15372866
https://www.airbnb.com/rooms/11840349
https://www.airbnb.com/rooms/13260368
https://www.airbnb.com/rooms/14698883
https://www.airbnb.com/rooms/18997824
https://www.airbnb.com/rooms/13483261
https://www.airbnb.com/rooms/12646798
https://www.airbnb.com/rooms/18035607
https://www.airbnb.com/rooms/18051727
https://www.airbnb.com/rooms/21940951

[numeroteca]

Checks if last reviews scraping has failed and retry every failed listing, reviewed lastreview dataset 27913af

[numeroteca]

It worked great.

Solamente dos apartamentos no cumplen con los requisitos:

• que exista url
• que las reviews de datahippo sean distintas de 0
• que las reviews del scraping sean 0

Lista de anuncios:
https://www.airbnb.com/rooms/4144262
https://www.airbnb.com/rooms/21940951

[numeroteca]

@skotperez Una mejora para ayudar en el análisis, si no encuentra reviews que no ponga 0 en la columna "lastreview_20180911", podría aparecer vacío o con "not yet".

Así se diferencian más fácilmente los que no tienen fecha de last review porque no tienen review de los que no tienen fecha de last review porque no existe ya la URL.

[numeroteca]

Tras trastear un rato y ver resultados raros (ejemplo: los 51 anuncios que aumentaron su reviews desde el último scraping pero no tuvieron last review después del 4 junio (fecha del scraping)!!!) he visto una cosa que puede ser la fuente del error: cuando un anuncio tiene múltiples reviews hay una paginación y el scraping solamente pilla lo que ve en la primera. Ya sabíamos que no era cronológico el orden en que se mostraba: en este ejemplo se ve https://www.airbnb.com/rooms/2799378 cómo el last review es de julio 2018 y está en la segunda página.

Va por javascript, así que no hay forma de pillarlo por url.

Como el error que da no es muy grande, podemos obviarlo, pero por lo menos habría que dejarlo anotado en el script.

Lo que sí que vale son la diferencia en el número de reviews entre el scraping de datahippo y este scraping segundo para calcular cuántas reviews en ese periodo.

El error también puede deberse a que el scraping de datahippo no haya vuelto a encontrar el anuncio aunque sí estuviera online y con fechas disponibles.