Solución:
Desde que se respondió por primera vez, Heroku ha agregado un firewall de aplicaciones web en su mercado de complementos: https://elements.heroku.com/addons/expeditedwaf
Puede bloquear solicitudes entrantes por IP, UserAgent, Referrer, Country, etc.
Heroku no tiene un firewall que pueda usar para bloquear direcciones IP, por lo que tendría que bloquearlo en el nivel de la aplicación, o tendría que poner un proxy de algún tipo frente a su aplicación que pueda usar para bloquear la IP. Uno común que la gente usa es CloudFlare, que tiene soporte para bloquear IP individuales, IP de limitación de velocidad, etc.
Si desea seguir con el bloqueo en el nivel de la aplicación y está utilizando Ruby on Rails, esta pregunta y respuesta pueden darle lo que está buscando: ¿Cómo puede bloquear o filtrar direcciones IP en Heroku?