La guía paso a paso o código que encontrarás en este artículo es la solución más rápida y efectiva que hallamos a esta inquietud o dilema.
Solución:
Agregue wait_on_rate_limit=True en la llamada a la API de esta manera:
api = tweepy.API(auth, wait_on_rate_limit=True)
Esto hará que el resto del código obedezca el límite de tasa
Encontraste la información correcta sobre el código de error. De hecho, el código 429 se devuelve cuando no se puede atender una solicitud debido a que se ha agotado el límite de velocidad de la aplicación para el recurso. (de la documentación)
Supongo que su problema no se refiere a la cantidad de datos sino a la frecuencia.
Verifique los límites de frecuencia de la API de Twitter (que son los mismos para tweepy).
Los límites de frecuencia se dividen en intervalos de 15 minutos. Todos los puntos finales requieren autenticación, por lo que no existe el concepto de llamadas no autenticadas ni límites de frecuencia. Hay dos cubos iniciales disponibles para las solicitudes GET: 15 llamadas cada 15 minutos y 180 llamadas cada 15 minutos.
Creo que puedes intentar usar API en este rango para evitar el problema
Actualizar
Para las últimas versiones de Tweepy (a partir de la 3.2.0), se ha introducido *wait_on_rate_limit *.
Si se establece en True, permite evitar automáticamente este problema.
De la documentación:
wait_on_rate_limit: si esperar o no automáticamente a que se repongan los límites de tasa