Mise à jour de la base de données, veuillez patienter...

Cette question, de plus en plus de personnes me la posent en voyant que je ne suis pas inquiété plus que ça par la fermeture de Megaupload.

Pourquoi je ne m’en fais pas ? Parce que je n’ai jamais vraiment utilisé le téléchargement direct (au sens populaire du terme.) Quand eMule a commencé à sentir le sapin, j’ai fait comme tout le monde et je suis passé à Bittorrent. Et quand HADOPI s’en est mêlée, au lieu de me ruer vers des services remplis de pubs, de popups qui clignotent et de temps d’attente inutiles, j’ai choisi une autre solution moins connue: USENET.

Usenet c’est quoi ?

Usenet c’est l’ancêtre des forums de discussion. Il a été créé en 1979, après les mails mais avant le DNS et le web.

C’est donc un service qui permet de poster des messages texte dans des groupes de discussions organisés par thèmes. Les catégories principales sont comp. misc. news. rec. sci. soc. talk. biz. et alt. et chacune dispose de ses règles spécifiques: Messages textes uniquement pour les 8 premiers, publicité autorisée sur le 8ème, créations de sous-branches libres sur le dernier.

Il existe aussi des catégories privées comme microsoft. ou proxad. qui ne sont généralement accessibles que via certains serveurs.

Source: Wikipédia

Et comment ça marche ?

Usenet est un réseau de serveurs reposant sur le protocole NNTP. L’utilisateur se connecte sur un serveur avec un client compatible (Une grande majorité des logiciels d’e-mail le sont) et demande à recevoir la liste des X derniers messages d’un certain groupe.

Quand un utilisateur poste un message sur un ou plusieurs groupes, le serveur le réceptionne et l’ajoute à sa liste.

Périodiquement, les serveurs s’interrogent les uns les autres pour synchroniser la liste des messages qui figurent dans les groupes qu’ils gèrent.

Pour ne pas saturer l’espace nécessaire au stockage de tous ces messages, chaque serveur possède une durée de rétention qui lui est propre. Les messages plus anciens sont alors définitivement supprimés.

Ok mais quel rapport avec le téléchargement si on parle de messages en texte ?

La hiérarchie alt.binaries. est spécialisée dans la diffusion de fichiers binaires encodés en ASCII. Et c’est là dedans qu’on va trouver ce qui nous intéresse.

Mettons que nous voulions télécharger l’iso d’une version d’ubuntu. Nous allons nous abonner au groupe alt.binaries.boneless et récupérer la liste des derniers messages. Là, si on a de la chance on verra des centaines de lignes ayant pour sujet quelque chose comme « Ubuntu.Desktop.10.04LTS.x64-LiNUX [01/23] – « ub10ltd6.par2″ yEnc (1/1) »

On pourrait tous les télécharger un par un et les décoder pour obtenir des archives RAR et des fichiers PAR.

Ces fichiers PAR sont utilisés pour reconstituer les autres fichiers téléchargés en cas de corruption des données (ce qui arrive de temps en temps.)

Ça m’a l’air compliqué ton truc…

Ça l’est, mais ça se simplifie !

Évidemment il n’est pas du tout pratique de télécharger ces milliers de messages, puis de les décoder pour enfin avoir le fichier qu’on voulait. Donc un nouveau type de logiciel est apparu: les newsgrabber.

Spécialisés dans le téléchargement de binaires sur usenet, ils regroupent les message pour n’avoir qu’une ligne à sélectionner par fichier et se chargent de décoder les messages. Par la suite ils évolueront et se chargeront même de vérifier l’intégrité des fichiers décodés, de leur réparation si le besoin s’en fait sentir et de l’extraction des archives.

Néanmoins, si l’usage se simplifie, il n’est toujours pas pratique de devoir s’abonner à un groupe, télécharger toute la liste des sujets existants et la parcourir pour trouver ce qu’on cherche. C’est pourquoi se sont développés des moteurs de recherche spécialisés dans l’indexation de usenet ainsi qu’un nouveau format de fichier :

Les fichiers NZB

Le principe est tout simple: Ils recensent le nom du/des groupes contenant les messages qui nous intéressent ainsi que la liste de ces messages. Nous n’avons plus qu’à récupérer le fichier NZB généré par notre moteur de recherche et à le fournir en pâture à notre newsgrabber pour qu’il se charge de faire son boulot.