Solución:
Actualmente, la cantidad de almacenamiento local en colab depende del tipo de tiempo de ejecución del acelerador de hardware elegido:
# Hardware accelerator none
!df -h .
Filesystem Size Used Avail Use% Mounted on
overlay 49G 22G 26G 46% /
# Hardware accelerator GPU
!df -h .
Filesystem Size Used Avail Use% Mounted on
overlay 359G 23G 318G 7% /
# Hardware accelerator TPU
!df -h .
Filesystem Size Used Avail Use% Mounted on
overlay 49G 22G 26G 46% /
Incluso si no necesita una GPU, cambiar a ese tipo de tiempo de ejecución le proporcionará 310 Gb adicionales de espacio de almacenamiento.
Sí, el almacenamiento local del portátil Colab es de unos 40 GiB en este momento. Una forma de ver el valor exacto (en Python 3):
import subprocess
p = subprocess.Popen('df -h', shell=True, stdout=subprocess.PIPE)
print(str(p.communicate()[0], 'utf-8'))
Sin embargo: para grandes cantidades de datos, el almacenamiento local no es una forma óptima de alimentar la TPU, que no está conectada directamente a la máquina que ejecuta el portátil. En su lugar, considere almacenar su gran conjunto de datos en el almacenamiento de GCP y obtener esos datos del cuaderno Colab. (Además, la cantidad de almacenamiento local de Colab puede cambiar y el propio portátil Colab caducará después de unas horas, llevándose el almacenamiento local consigo).
Eche un vistazo al canónico portátil TPU Colab. En la parte inferior hay algunos pasos siguientes, que incluyen un enlace para buscar Shakespeare con TPU. En ese cuaderno se encuentra el siguiente fragmento de código, que demuestra la autenticación de GCP en su Colab TPU. Se parece a esto:
from google.colab import auth
auth.authenticate_user()
if 'COLAB_TPU_ADDR' in os.environ:
TF_MASTER = 'grpc://{}'.format(os.environ['COLAB_TPU_ADDR'])
# Upload credentials to TPU.
with tf.Session(TF_MASTER) as sess:
with open('/content/adc.json', 'r') as f:
auth_info = json.load(f)
tf.contrib.cloud.configure_gcs(sess, credentials=auth_info)
# Now credentials are set for all future sessions on this TPU.
else:
TF_MASTER=''