Saltar al contenido

Almacenamiento de Google Colab

Solución:

Actualmente, la cantidad de almacenamiento local en colab depende del tipo de tiempo de ejecución del acelerador de hardware elegido:

# Hardware accelerator none
!df -h .
Filesystem      Size  Used Avail Use% Mounted on
overlay          49G   22G   26G  46% /

# Hardware accelerator GPU
!df -h .
Filesystem      Size  Used Avail Use% Mounted on
overlay         359G   23G  318G   7% /

# Hardware accelerator TPU
!df -h .
Filesystem      Size  Used Avail Use% Mounted on
overlay          49G   22G   26G  46% /

Incluso si no necesita una GPU, cambiar a ese tipo de tiempo de ejecución le proporcionará 310 Gb adicionales de espacio de almacenamiento.

Sí, el almacenamiento local del portátil Colab es de unos 40 GiB en este momento. Una forma de ver el valor exacto (en Python 3):

import subprocess
p = subprocess.Popen('df -h', shell=True, stdout=subprocess.PIPE)
print(str(p.communicate()[0], 'utf-8'))

Sin embargo: para grandes cantidades de datos, el almacenamiento local no es una forma óptima de alimentar la TPU, que no está conectada directamente a la máquina que ejecuta el portátil. En su lugar, considere almacenar su gran conjunto de datos en el almacenamiento de GCP y obtener esos datos del cuaderno Colab. (Además, la cantidad de almacenamiento local de Colab puede cambiar y el propio portátil Colab caducará después de unas horas, llevándose el almacenamiento local consigo).

Eche un vistazo al canónico portátil TPU Colab. En la parte inferior hay algunos pasos siguientes, que incluyen un enlace para buscar Shakespeare con TPU. En ese cuaderno se encuentra el siguiente fragmento de código, que demuestra la autenticación de GCP en su Colab TPU. Se parece a esto:

from google.colab import auth
auth.authenticate_user()

if 'COLAB_TPU_ADDR' in os.environ:
  TF_MASTER = 'grpc://{}'.format(os.environ['COLAB_TPU_ADDR'])

  # Upload credentials to TPU.
  with tf.Session(TF_MASTER) as sess:    
    with open('/content/adc.json', 'r') as f:
      auth_info = json.load(f)
    tf.contrib.cloud.configure_gcs(sess, credentials=auth_info)
  # Now credentials are set for all future sessions on this TPU.
else:
  TF_MASTER=''
¡Haz clic para puntuar esta entrada!
(Votos: 0 Promedio: 0)



Utiliza Nuestro Buscador

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *