Wget (Español)
GNU Wget es un paquete de software libre para recuperar archivos utilizando HTTP, HTTPS, FTP y FTPS (FTPS desde la versión 1.18). Es una herramienta de línea de órdenes no interactiva, por lo que puede ser llamada fácilmente desde scripts.
Instalación
Instale el paquete wget. La versión git está presente en AUR por el nombre wget-gitAUR.
Existe una alternativa a wget: mwgetAUR, que es una aplicación de descarga multiproceso que puede mejorar significativamente la velocidad de descarga.
Configuración
La configuración se realiza en /etc/wgetrc
. No solo el archivo de configuración predeterminado está bien documentado; alterarlo rara vez es necesario. Véase la página del manual para opciones más intrincadas.
Automatización FTP
Normalmente, SSH se utiliza para transferir archivos de forma segura en una red. Sin embargo, FTP es más ligero en recursos en comparación con scp y rsync sobre SSH. FTP no es seguro, pero cuando se transfieren grandes cantidades de datos dentro de un entorno protegido por un cortafuegos en sistemas vinculados a la CPU, la utilización de FTP puede resultar beneficioso.
wget ftp://root:algunacontraseña@10.13.X.Y//ifs/home/test/big/"*.tar" 3,562,035,200 74.4M/s en 47s
En este caso, Wget transfirió un archivo de 3.3 GiB a un ratio de 74.4MB/segundo.
En resumen, este procedimiento es:
- programable (en scripts)
- más rápido que ssh
- utilizado fácilmente por lenguajes que pueden sustituir variables de cadena
- capaz de utilizar comodines (*, ?, etc.)
Proxy
Wget utiliza las variables de entorno proxy estándar. Véase Ajustes del Proxy.
Para utilizar la función de autenticación proxy:
$ wget --proxy-user "DOMINIO\USUARIO" --proxy-password "CONTRASEÑA" URL
Los proxies que utilizan formularios de autenticación HTML no están cubiertos.
Integración con pacman
Para que pacman utilice automáticamente Wget y un proxy con autenticación, coloque la orden Wget en /etc/pacman.conf
, en la sección [options]
:
XferCommand = /usr/bin/wget --proxy-user "dominio\usuario" --proxy-password="contraseña" --passive-ftp -q --show-progress -c -O %o %u
chmod 600 /etc/pacman.conf
.Utilización
Esta sección explica algunos de los escenarios de uso para Wget.
Utilización básica
Uno de los casos de uso más básicos y comunes para Wget es descargar un archivo de Internet.
$ wget <url>
Cuando ya conoce la URL de un archivo para descargar, esto puede ser mucho más rápido que la rutina habitual, descargándolo en su navegador y moviéndolo manualmente al directorio correcto. No hace falta decir que, solo con el uso más simple, es probable que pueda ver algunas formas de utilizar esto para algunas descargas automáticas, si así lo desea.
Archivar un sitio web completo
Wget puede archivar un sitio web completo al tiempo que conserva los enlaces de destino correctos cambiando los enlaces absolutos a enlaces relativos.
$ wget -r -np -k 'url-destino-aqui'
En el caso de un sitio web dinámico, están disponibles algunas opciones adicionales para la conversión a HTML estático.
$ wget -r -np -p -E -k -K 'url-destino-aqui'
wget también ofrece opciones para evitar los mecanismos de prevención de descargas.
$ wget -r -np -k --random-wait -e robots=off --user-agent "Mozilla/5.0" 'url-destino-aqui'
Y si se va a incluir contenido de terceros en la descarga, se puede utilizar la opción -H
junto con -r
para la recursividad en los hosts vinculados.