¿Cómo clono un subdirectorio solo de un repositorio de Git?

Solución:

Lo que intentas hacer se llama pago escaso, y esa característica se agregó en git 1.7.0 (febrero de 2012). Los pasos para hacer un escaso clon son como sigue:

mkdir <repo>
cd <repo>
git init
git remote add -f origin <url>

Esto crea un repositorio vacío con su control remoto y recupera todos los objetos pero no los extrae. Entonces hazlo:

git config core.sparseCheckout true

Ahora debe definir qué archivos / carpetas desea verificar. Esto se hace enumerándolos en .git/info/sparse-checkout, p.ej:

echo "some/dir/" >> .git/info/sparse-checkout
echo "another/sub/tree" >> .git/info/sparse-checkout

Por último, pero no menos importante, actualice su repositorio vacío con el estado del control remoto:

git pull origin master

Ahora tendrá archivos “extraídos” para some/dir y another/sub/tree en su sistema de archivos (con esas rutas todavía), y no hay otras rutas presentes.

Es posible que desee echar un vistazo al tutorial extendido y probablemente debería leer la documentación oficial para obtener información escasa.

Como una función:

function git_sparse_clone() (
  rurl="$1" localdir="$2" && shift 2

  mkdir -p "$localdir"
  cd "$localdir"

  git init
  git remote add -f origin "$rurl"

  git config core.sparseCheckout true

  # Loops over remaining args
  for i; do
    echo "$i" >> .git/info/sparse-checkout
  done

  git pull origin master
)

Uso:

git_sparse_clone "http://github.com/tj/n" "./local/location" "/bin"

---

Tenga en cuenta que esto aún descargará todo el repositorio del servidor, solo el pago se reduce en tamaño. Por el momento, no es posible clonar un solo directorio. Pero si no necesita el historial del repositorio, al menos puede ahorrar ancho de banda creando un clon superficial. Consulte la respuesta de udondan a continuación para obtener información sobre cómo combinar la clonación superficial y el pago disperso.

---

A partir de git 2.25.0 (enero de 2020), se agrega un comando experimental sparse-checkout en git:

git sparse-checkout init
# same as: 
# git config core.sparseCheckout true

git sparse-checkout set "A/B"
# same as:
# echo "A/B" >> .git/info/sparse-checkout

git sparse-checkout list
# same as:
# cat .git/info/sparse-checkout

EDITAR: A partir de Git 2.19, esto finalmente es posible, como se puede ver en esta respuesta.

Considere votar a favor de esa respuesta.

Nota: en Git 2.19, solo se implementa el soporte del lado del cliente, aún falta el soporte del lado del servidor, por lo que solo funciona al clonar repositorios locales. También tenga en cuenta que los grandes hosters de Git, por ejemplo, GitHub, en realidad no utilizan el servidor de Git, utilizan su propia implementación, por lo que incluso si el soporte aparece en el servidor de Git, no significa automáticamente que funcione en los hosters de Git. (OTOH, dado que no usan el servidor Git, podrían implementarlo más rápido en sus propias implementaciones antes de que aparezca en el servidor Git).

---

No, eso no es posible en Git.

Implementar algo como esto en Git sería un esfuerzo sustancial y significaría que ya no se podría garantizar la integridad del repositorio del lado del cliente. Si está interesado, busque discusiones sobre “clon disperso” y “búsqueda dispersa” en la lista de correo de git.

En general, el consenso en la comunidad de Git es que si tiene varios directorios que siempre se revisan de forma independiente, entonces estos son realmente dos proyectos diferentes y deberían vivir en dos repositorios diferentes. Puede volver a pegarlos usando los submódulos de Git.

git clone --filter de git 2.19 ahora funciona en GitHub (probado 2021-01-14, git 2.30.0)

Esta opción se agregó junto con una actualización del protocolo remoto y realmente evita que los objetos se descarguen del servidor.

Por ejemplo, para clonar solo los objetos necesarios para d1 de este repositorio de prueba mínimo: https://github.com/cirosantilli/test-git-partial-clone puedo hacer:

git clone 
  --depth 1  
  --filter=blob:none  
  --sparse 
  https://github.com/cirosantilli/test-git-partial-clone 
;
cd test-git-partial-clone
git sparse-checkout init --cone
git sparse-checkout set d1

Aquí hay una versión menos mínima y más realista en https://github.com/cirosantilli/test-git-partial-clone-big-small

git clone 
  --depth 1  
  --filter=blob:none  
  --sparse 
  https://github.com/cirosantilli/test-git-partial-clone-big-small 
;
cd test-git-partial-clone
git sparse-checkout init --cone
git sparse-checkout set small

Ese repositorio contiene:

• un gran directorio con 10 archivos de 10 MB
• un pequeño directorio con 1000 archivos de un byte de tamaño

Todos los contenidos son pseudoaleatorios y, por tanto, incompresibles.

Tiempos de clonación en mi Internet de 36,4 Mbps:

• completo: 24 s
• parcial: “instantáneo”

los sparse-checkout Lamentablemente, también se necesita parte. También puede descargar solo ciertos archivos con mucho más comprensible:

git clone 
  --depth 1  
  --filter=blob:none  
  --no-checkout 
  https://github.com/cirosantilli/test-git-partial-clone 
;
cd test-git-partial-clone
git checkout master -- di

pero ese método por alguna razón descarga los archivos uno por uno muy lentamente, haciéndolo inutilizable a menos que tenga muy pocos archivos en el directorio.

Análisis de los objetos en el repositorio mínimo

El comando de clonación solo obtiene:

• un solo objeto de confirmación con la punta del master rama
• los 4 objetos de árbol del repositorio:
  • directorio de nivel superior de compromiso
  • los tres directorios d1, d2, master

Entonces el git sparse-checkout set El comando recupera solo los blobs (archivos) que faltan del servidor:

• d1/a
• d1/b

Aún mejor, más adelante, es probable que GitHub comience a admitir:

  --filter=blob:none 
  --filter=tree:0 

dónde --filter=tree:0 de Git 2.20 evitará los innecesarios clone recuperar todos los objetos del árbol y permitir que se difiera a checkout. Pero en mi prueba 2020-09-18 que falla con:

fatal: invalid filter-spec 'combine:blob:none+tree:0'

presumiblemente porque el --filter=combine: filtro compuesto (agregado en Git 2.24, implícito por múltiples --filter) aún no está implementado.

Observé con qué objetos se buscaron:

git verify-pack -v .git/objects/pack/*.pack

como se menciona en: ¿Cómo enumerar TODOS los objetos git en la base de datos? No me da una indicación muy clara de qué es exactamente cada objeto, pero dice el tipo de cada objeto (commit, tree, blob), y dado que hay tan pocos objetos en ese repositorio mínimo, puedo deducir sin ambigüedades qué es cada objeto.

git rev-list --objects --all produjo una salida más clara con rutas para árboles / blobs, pero desafortunadamente recupera algunos objetos cuando lo ejecuto, lo que dificulta determinar qué se obtuvo cuando, avíseme si alguien tiene un comando mejor.

TODO encuentra el anuncio de GitHub que dice cuándo comenzaron a admitirlo. https://github.blog/2020-01-17-bring-your-monorepo-down-to-size-with-sparse-checkout/ de 2020-01-17 ya menciona --filter blob:none.

git sparse-checkout

Creo que este comando está destinado a administrar un archivo de configuración que dice “Solo me preocupan estos subárboles” para que los comandos futuros solo afecten a esos subárboles. Pero es un poco difícil estar seguro porque la documentación actual es un poco … escasa 😉

Por sí solo, no evita la obtención de manchas.

Si esta comprensión es correcta, entonces sería un buen complemento para git clone --filter descrito anteriormente, ya que evitaría la recuperación involuntaria de más objetos si tiene la intención de realizar operaciones git en el repositorio clonado parcial.

Cuando probé Git 2.25.1:

git clone 
  --depth 1 
  --filter=blob:none 
  --no-checkout 
  https://github.com/cirosantilli/test-git-partial-clone 
;
cd test-git-partial-clone
git sparse-checkout init

no funcionó porque el init en realidad buscó todos los objetos.

Sin embargo, en Git 2.28 no obtuvo los objetos como se deseaba. Pero entonces si lo hago:

git sparse-checkout set d1

d1 no se recupera y desprotege, aunque esto dice explícitamente que debería: https://github.blog/2020-01-17-bring-your-monorepo-down-to-size-with-sparse-checkout/#sparse- pago-y-clones-parciales con descargo de responsabilidad:

Esté atento a que la función de clonación parcial esté disponible de forma generalizada[1].

[1]: GitHub todavía está evaluando esta función internamente mientras está habilitada en unos pocos repositorios seleccionados (incluido el ejemplo utilizado en esta publicación). A medida que la función se estabilice y madure, lo mantendremos informado sobre su progreso.

Así que sí, es demasiado difícil estar seguro en este momento, gracias en parte a las alegrías de que GitHub sea de código cerrado. Pero vigilémoslo.

Desglose de comandos

El servidor debe configurarse con:

git config --local uploadpack.allowfilter 1
git config --local uploadpack.allowanysha1inwant 1

Desglose de comandos:

• --filter=blob:none omite todos los blobs, pero aún recupera todos los objetos del árbol

• --filter=tree:0 omite los árboles innecesarios: https://www.spinics.net/lists/git/msg342006.html

• --depth 1 ya implica --single-branch, vea también: ¿Cómo clono una sola rama en Git?

• file://$(path) se requiere para superar git clone travesuras de protocolo: ¿Cómo clonar superficialmente un repositorio de git local con una ruta relativa?

• --filter=combine:FILTER1+FILTER2 es la sintaxis para usar varios filtros a la vez, tratando de pasar --filter por alguna razón falla con: “no se pueden combinar múltiples especificaciones de filtro”. Esto se agregó en Git 2.24 en e987df5fe62b8b29be4cdcdeb3704681ada2b29e “list-objects-filter: implementar filtros compuestos”

  Editar: en Git 2.28, veo experimentalmente que --filter=FILTER1 --filter FILTER2 también tiene el mismo efecto, ya que GitHub no implementa combine: todavía a partir de 2020-09-18 y se queja fatal: invalid filter-spec 'combine:blob:none+tree:0'. TODO introducido en qué versión?

El formato de --filter está documentado en man git-rev-list.

Documentos en el árbol de Git:

• https://github.com/git/git/blob/v2.19.0/Documentation/technical/partial-clone.txt
• https://github.com/git/git/blob/v2.19.0/Documentation/rev-list-options.txt#L720
• https://github.com/git/git/blob/v2.19.0/t/t5616-partial-clone.sh

Pruébelo localmente

El siguiente script genera de forma reproducible el repositorio https://github.com/cirosantilli/test-git-partial-clone localmente, realiza un clon local y observa lo que se clonó:

#!/usr/bin/env bash
set -eu

list-objects() (
  git rev-list --all --objects
  echo "master commit SHA: $(git log -1 --format="%H")"
  echo "mybranch commit SHA: $(git log -1 --format="%H")"
  git ls-tree master
  git ls-tree mybranch | grep mybranch
  git ls-tree master~ | grep root
)

# Reproducibility.
export GIT_COMMITTER_NAME='a'
export GIT_COMMITTER_EMAIL='a'
export GIT_AUTHOR_NAME='a'
export GIT_AUTHOR_EMAIL='a'
export GIT_COMMITTER_DATE='2000-01-01T00:00:00+0000'
export GIT_AUTHOR_DATE='2000-01-01T00:00:00+0000'

rm -rf server_repo local_repo
mkdir server_repo
cd server_repo

# Create repo.
git init --quiet
git config --local uploadpack.allowfilter 1
git config --local uploadpack.allowanysha1inwant 1

# First commit.
# Directories present in all branches.
mkdir d1 d2
printf 'd1/a' > ./d1/a
printf 'd1/b' > ./d1/b
printf 'd2/a' > ./d2/a
printf 'd2/b' > ./d2/b
# Present only in root.
mkdir 'root'
printf 'root' > ./root/root
git add .
git commit -m 'root' --quiet

# Second commit only on master.
git rm --quiet -r ./root
mkdir 'master'
printf 'master' > ./master/master
git add .
git commit -m 'master commit' --quiet

# Second commit only on mybranch.
git checkout -b mybranch --quiet master~
git rm --quiet -r ./root
mkdir 'mybranch'
printf 'mybranch' > ./mybranch/mybranch
git add .
git commit -m 'mybranch commit' --quiet

echo "# List and identify all objects"
list-objects
echo

# Restore master.
git checkout --quiet master
cd ..

# Clone. Don't checkout for now, only .git/ dir.
git clone --depth 1 --quiet --no-checkout --filter=blob:none "file://$(pwd)/server_repo" local_repo
cd local_repo

# List missing objects from master.
echo "# Missing objects after --no-checkout"
git rev-list --all --quiet --objects --missing=print
echo

echo "# Git checkout fails without internet"
mv ../server_repo ../server_repo.off
! git checkout master
echo

echo "# Git checkout fetches the missing directory from internet"
mv ../server_repo.off ../server_repo
git checkout master -- d1/
echo

echo "# Missing objects after checking out d1"
git rev-list --all --quiet --objects --missing=print

GitHub en sentido ascendente.

Salida en Git v2.19.0:

# List and identify all objects
c6fcdfaf2b1462f809aecdad83a186eeec00f9c1
fc5e97944480982cfc180a6d6634699921ee63ec
7251a83be9a03161acde7b71a8fda9be19f47128
62d67bce3c672fe2b9065f372726a11e57bade7e
b64bf435a3e54c5208a1b70b7bcb0fc627463a75 d1
308150e8fddde043f3dbbb8573abb6af1df96e63 d1/a
f70a17f51b7b30fec48a32e4f19ac15e261fd1a4 d1/b
84de03c312dc741d0f2a66df7b2f168d823e122a d2
0975df9b39e23c15f63db194df7f45c76528bccb d2/a
41484c13520fcbb6e7243a26fdb1fc9405c08520 d2/b
7d5230379e4652f1b1da7ed1e78e0b8253e03ba3 master
8b25206ff90e9432f6f1a8600f87a7bd695a24af master/master
ef29f15c9a7c5417944cc09711b6a9ee51b01d89
19f7a4ca4a038aff89d803f017f76d2b66063043 mybranch
1b671b190e293aa091239b8b5e8c149411d00523 mybranch/mybranch
c3760bb1a0ece87cdbaf9a563c77a45e30a4e30e
a0234da53ec608b54813b4271fbf00ba5318b99f root
93ca1422a8da0a9effc465eccbcb17e23015542d root/root
master commit SHA: fc5e97944480982cfc180a6d6634699921ee63ec
mybranch commit SHA: fc5e97944480982cfc180a6d6634699921ee63ec
040000 tree b64bf435a3e54c5208a1b70b7bcb0fc627463a75    d1
040000 tree 84de03c312dc741d0f2a66df7b2f168d823e122a    d2
040000 tree 7d5230379e4652f1b1da7ed1e78e0b8253e03ba3    master
040000 tree 19f7a4ca4a038aff89d803f017f76d2b66063043    mybranch
040000 tree a0234da53ec608b54813b4271fbf00ba5318b99f    root

# Missing objects after --no-checkout
?f70a17f51b7b30fec48a32e4f19ac15e261fd1a4
?8b25206ff90e9432f6f1a8600f87a7bd695a24af
?41484c13520fcbb6e7243a26fdb1fc9405c08520
?0975df9b39e23c15f63db194df7f45c76528bccb
?308150e8fddde043f3dbbb8573abb6af1df96e63

# Git checkout fails without internet
fatal: '/home/ciro/bak/git/test-git-web-interface/other-test-repos/partial-clone.tmp/server_repo' does not appear to be a git repository
fatal: Could not read from remote repository.

Please make sure you have the correct access rights
and the repository exists.

# Git checkout fetches the missing directory from internet
remote: Enumerating objects: 1, done.
remote: Counting objects: 100% (1/1), done.
remote: Total 1 (delta 0), reused 0 (delta 0)
Receiving objects: 100% (1/1), 45 bytes | 45.00 KiB/s, done.
remote: Enumerating objects: 1, done.
remote: Counting objects: 100% (1/1), done.
remote: Total 1 (delta 0), reused 0 (delta 0)
Receiving objects: 100% (1/1), 45 bytes | 45.00 KiB/s, done.

# Missing objects after checking out d1
?8b25206ff90e9432f6f1a8600f87a7bd695a24af
?41484c13520fcbb6e7243a26fdb1fc9405c08520
?0975df9b39e23c15f63db194df7f45c76528bccb

Conclusiones: todas las manchas de fuera de d1/ están perdidos. P.ej 0975df9b39e23c15f63db194df7f45c76528bccb, cual es d2/b no está allí después de la salida d1/a.

Tenga en cuenta que root/root y mybranch/mybranch también faltan, pero --depth 1 lo oculta de la lista de archivos que faltan. Si quitas --depth 1, luego se muestran en la lista de archivos faltantes.

Tengo un sueño

Esta característica podría revolucionar Git.

Imagine tener todo el código base de su empresa en un solo repositorio sin herramientas desagradables de terceros como repo.

Imagine almacenar grandes blobs directamente en el repositorio sin extensiones desagradables de terceros.

Imagínese si GitHub permitiera metadatos por archivo / directorio, como estrellas y permisos, para que pueda almacenar todas sus cosas personales en un solo repositorio.

Imagínese si los submódulos fueran tratados exactamente como directorios normales: simplemente solicite un árbol SHA y un mecanismo similar a DNS resuelve su solicitud, primero buscando en su local ~/.git, luego primero a servidores más cercanos (el espejo / caché de su empresa) y terminando en GitHub.

---

---

Utiliza Nuestro Buscador