Guinguette Marais Poitevin

• Justin Pot

  @jhpot

• Le 26 novembre 2016, 6 :40am EDT

Nouveau n’est pas toujours meilleur, et la commande wget en est la preuve. Sortie pour la première fois en 1996, cette application reste l’un des meilleurs gestionnaires de téléchargement de la planète. Que vous souhaitiez télécharger un seul fichier, un dossier entier, ou même mettre en miroir un site Web entier, wget vous permet de le faire en quelques frappes.

Bien sûr, il y a une raison pour laquelle tout le monde n’utilise pas wget : c’est une application en ligne de commande, et en tant que telle, elle prend un peu de temps à apprendre pour les débutants. Voici les bases, pour que vous puissiez commencer.

Comment installer wget

Avant de pouvoir utiliser wget, vous devez l’installer. La façon de le faire varie en fonction de votre ordinateur :

• La plupart (sinon toutes) des distros Linux sont livrées avec wget par défaut. Les utilisateurs de Linux n’ont donc rien à faire !
• Les systèmes macOS ne sont pas livrés avec wget, mais vous pouvez installer des outils en ligne de commande en utilisant Homebrew. Une fois que vous avez configuré Homebrew, il suffit d’exécuter brew install wget dans le Terminal.
• Les utilisateurs de Windows n’ont pas un accès facile à wget dans l’invite de commande traditionnelle, bien que Cygwin fournisse wget et d’autres utilitaires GNU, et que le shell Bash d’Ubuntu de Windows 10 soit également livré avec wget.

Une fois que vous avez installé wget, vous pouvez commencer à l’utiliser immédiatement depuis la ligne de commande. Allons télécharger quelques fichiers !

Télécharger un seul fichier

Démarrons avec quelque chose de simple. Copiez l’URL d’un fichier que vous souhaitez télécharger dans votre navigateur.

Retournez ensuite dans le Terminal et tapez wget suivi de l’URL collée. Le fichier se téléchargera, et vous verrez la progression en temps réel au fur et à mesure.

RELATED : Comment gérer les fichiers à partir du terminal Linux : 11 commandes que vous devez connaître

Notez que le fichier sera téléchargé dans le dossier actuel de votre Terminal, vous devrez donc cd à un dossier différent si vous voulez qu’il soit stocké ailleurs. Si vous n’êtes pas sûr de ce que cela signifie, consultez notre guide sur la gestion des fichiers à partir de la ligne de commande. L’article mentionne Linux, mais les concepts sont les mêmes sur les systèmes macOS, et les systèmes Windows exécutant Bash.

Continuer un téléchargement incomplet

Si, pour une raison quelconque, vous avez arrêté un téléchargement avant qu’il ne puisse se terminer, ne vous inquiétez pas : wget peut reprendre là où il s’est arrêté. Il suffit d’utiliser cette commande :

wget -c file

La clé ici est -c, qui est une « option » dans le langage de la ligne de commande. Cette option particulière indique à wget que vous souhaitez poursuivre un téléchargement existant.

Miroir d’un site Web entier

Si vous souhaitez télécharger un site Web entier, wget peut faire le travail.

wget -m http://example.com

Par défaut, cela téléchargera tout sur le site exemple.com, mais vous voudrez probablement utiliser quelques options supplémentaires pour obtenir un miroir utilisable.

• --convert-links modifie les liens à l’intérieur de chaque page téléchargée afin qu’ils pointent les uns vers les autres, et non vers le web.
• --page-requisites télécharge des choses comme les feuilles de style, afin que les pages aient un aspect correct hors ligne.
• --no-parent empêche wget de télécharger les sites parents. Ainsi, si vous voulez télécharger http://example.com/subexample, vous ne vous retrouverez pas avec la page mère.

Combinez ces options à votre goût, et vous vous retrouverez avec une copie de n’importe quel site web que vous pouvez parcourir sur votre ordinateur.

Notez que la mise en miroir d’un site web entier sur l’Internet moderne va prendre une quantité massive d’espace, donc limitez ceci aux petits sites à moins que vous ayez un stockage quasi illimité.

Télécharger un répertoire entier

Si vous parcourez un serveur FTP et que vous trouvez un répertoire entier que vous aimeriez télécharger, exécutez simplement :

wget -r ftp://example.com/folder

Le r dans ce cas indique à wget que vous voulez un téléchargement récursif. Vous pouvez également inclure --noparent si vous voulez éviter de télécharger des dossiers et des fichiers au-dessus du niveau actuel.

Télécharger une liste de fichiers à la fois

Si vous ne pouvez pas trouver un dossier entier des téléchargements que vous voulez, wget peut toujours vous aider. Il suffit de mettre toutes les URL de téléchargement dans un seul fichier TXT.

puis faites pointer wget vers ce document avec l’option -i. Comme ceci :

wget -i download.txt

Faites cela et votre ordinateur téléchargera tous les fichiers listés dans le document texte, ce qui est pratique si vous voulez laisser un tas de téléchargements en cours pendant la nuit.

A Few More Tricks

Nous pourrions continuer : wget offre beaucoup d’options. Mais ce tutoriel est juste destiné à vous donner un point de départ. Pour en savoir plus sur ce que wget peut faire, tapez man wget dans le terminal et lisez ce qui s’affiche. Vous apprendrez beaucoup.

Ayant dit cela, voici quelques autres options que je trouve soignées :

• Si vous voulez que votre téléchargement s’exécute en arrière-plan, il suffit d’inclure l’option -b.
• Si vous voulez que wget continue à essayer de télécharger même s’il y a une erreur 404, utilisez l’option -t 10. Cela essaiera de télécharger 10 fois ; vous pouvez utiliser le nombre que vous voulez.
• Si vous voulez gérer votre bande passante, l’option --limit-rate=200k plafonnera votre vitesse de téléchargement à 200KB/s. Changez le nombre pour modifier le taux.

Il y a beaucoup plus à apprendre ici. Vous pouvez chercher à télécharger les sources de PHP, ou à mettre en place un téléchargeur automatisé, si vous voulez être plus avancé.