Solución:
El entorno de ejecución de AWS Lambda no incluye las bibliotecas de PostgreSQL, por lo que debe incluirlas en la carga de AWS Lambda.
Una forma de hacer esto es obtenerlos del repositorio jkehler / awslambda-psycopg2 en GitHub. Tenga en cuenta que no es necesario que cree este proyecto desde cero, ya que el repositorio incluye un paquete prediseñado en la carpeta psycopg2 que puede incluir simplemente en su carga de Lambda.
La biblioteca de compilación psycopg2 de jkehler / awslambda-psycopg2 se creó para python 3.6 y asegúrese de que mientras carga su código en AWS lambda, seleccione el entorno de tiempo de ejecución de Python como 3.6, y debería funcionar. Me golpeé la cabeza con esto durante un día completo y luego, cuando cambié a 3.6, el error de importación simplemente desapareció.
Si va a intentar compilarlo usted mismo, recuerde que debe compilarlo en una máquina o VM con la misma arquitectura que su objetivo en AWS.