Today we are opening a new door on PeerTube, making it easier to discover videos that are published in a federation that is growing every day.

PeerTube is the alternative we are developing so that everyone can emancipate their videos from YouTube and the likes. Except that unlike YouTube, PeerTube is not a single platform.

PeerTube is a software that specialists can install on a server to create multiple video platforms (called « instances »), which can be linked together within a federation.

Opening the door on a diverse federation

The problem with federation is that it is much more varied and complex than a one-website platform. It’s all well and good to decentralize to prevent the creation of new web giants, but where’s the front door ?

Do we really need to explain the notion of instance ? Insist on the need to find one’s own and therefore to learn about the federation policies of each instance ? … to someone who simply asks :

But… I just wanted to watch videos !

The solution would be to create a search engine for all the videos published through PeerTube.

If you open a single gateway to the federation, then the structure that holds the keys to that gate gets great powers. They get the power to decide what will be accepted (or rejected) in the search directory. They get the power to record who searched for what, when, from where. And they get the power to intervene in the order and display of the results.

It is on such power mechanisms that Google has built its monopoly. Obviously, at Framasoft, we do not seek to be in a position of power… and even less to follow Google’s (bad) example ! Nevertheless, we want to show the emancipating potential of this software which allows to reclaim the means to stream videos.

We therefore take the responsibility of opening Sepia Search, our gateway to videos and videomakers on PeerTube. It’s a door we open while limiting as much as possible the power we’d get, to keep respecting your attention as well as your browsing.

Presenting PeerTube without monopolizing attention

In the federation universe, the « fediverse », there are many PeerTube instances where people can sign up and create as many channels as they want, channels where they can upload their videos.

Our goal with Sepia Search is not to present all of this content. We simply want to show you the space of autonomy that PeerTube opens up, respecting the values of transparency, openness and freedom that we have been defending for more than 16 years.

A publicly auditable indexing tool (transparency)

Behind Sepia Search, there are two softwares.

The first one is the engine : it is the software where you enter a search, it compares this search with the list of contents in its directory, and then gives the matching results.

The second one is the bodywork, the chassis : it is the software that will present the search bar, receive the request you typed, and show you the results, specifying in orange where you will go when you click on « Go and watch this video ».

The source code, the « recipe » of each of these softwares, is transparent. We publish it on our software forge. Anyone who is able to read this code can do so, and determine if there are tools to cheat with the results display, or others to spy on your behavior.

We already know that these codes are ethical and do not spy on you. We have a good reason : as stated in our TOS, we are really, really not interested in your data !

An a posteriori moderated search engine (openness)

Not all PeerTube instances will be referenced on Sepia Search. This search engine will be based on the list of instances we maintain at instances.joinpeertube.org.

We recently announced a change in the indexing policy for this list, to align with the policy for all of the services we offer :

• Compliance with French law
• Compliance with our Terms and Conditions of Use
• Respect of our moderation plicy (FR only, for now)

Thus, if we are notified of an instance where contents explicitly condone terrorism or promote historical revisionism, we will remove it from the index (non-compliance with French laws, which we insist on in our TOS). Such removal will eliminate all videos hosted by that instance from the search results.

On the other hand, if one or more people come to abuse the time of our moderators with inappropriate and abusive reports, their word will be discredited and ignored (as indicated in our moderation policy (FR)).

This moderation, which we hope will be as light as possible, will allow us to limit the results offered by Sepia Search to videomakers who upload original content and to channels (or even instances) that contribute to emancipate.

A reproducible tool, adaptable to your conditions (freedom)

It may sound paradoxical to talk about openness in order to detail the conditions under which we close Sepia Search to certain content (especially illegal content).

However, at Framasoft, we believe in the paradox of tolerance, and therefore that openness can only be maintained if the limits of this openness are honestly defined and defended.

We are aware that this is a point of view we get from our French culture (or even from Western European culture). It may, for example, shock people from a North American culture (where unconditional Free Speech is a cultural norm) or from « official » Chinese culture (where, currently, the government sets strict limits on freedom of expression).

We don’t want to impose our culture, nor do we want to deny it. This is why we made sure, legally and technically, that everyone is free to set and host their own instance list, indexing engine and search site, by copying and adapting what we have created.

Sepia Search is just our gateway to PeerTube. This site aims to introduce you to the emancipatory PeerTube we work for, with our culture, activism and subjectivity.

Expecting an actor to do everything, all by theirself, is in fact a reflex of submission to the internet of platforms. It is up to you to take the power (and responsibilities) by hosting your search engine, set up according to your culture, your indexing policy and your values !

What Sepia Search can do for you

If we’ve done a good work , Sepia Search will allow you to discover videos and therefore channels (or even PeerTube instances) that will interest you !

The Sepia Search site has been designed to inform you while respecting your attention :

• The results will be the same for everyone, based only on your search (and the language of your browser’s language), and absolutely not pre-sorted according to a profile (because there is no profiling, here !) ;
• The results are presented in a clear and detailed way, to avoid the attention war leading to clickbait thumbnails and all caps over-the-top titles ;
• Search filters give you the power to sort the results out and display those you really want ;
• If you want to see a video from the results, Sepia Search will redirect you directly to the instance where it is hosted (since we have no interest in locking you into the search engine’s website). This is a way to help anyone experience and understand the notion of federation.

The search engine that runs Sepia Search is a free « libre » software, which means that it is open to modifications and adaptations. More advanced uses (through what is called an API) will very quickly allow even more emancipation.

For example, Internet users using Firefox will be able to add Sepia Search to the list of search engines in their browser directly from the site. Likewise, our engine (or another installation of the same engine) will be a tool for extensions that notify you when a YouTube video is also available on PeerTube, and will probably contribute to their efficiency.

A Community Funded Tool

Sepia Search is an additional and necessary step in the roadmap to PeerTube v3, for which a crowdfunding is still underway.

Being able to search for videos in the federation was in high demand, which is why we made it the first step in our roadmap. Prior to PeerTube v2.3, when using the search bar for an instance, results were limited to the videos in the federation bubble of that instance.

Thanks to your donations which have funded our work, we released version 2.3 of PeerTube at the end of July. Since then, the same search can now display results from all PeerTube instances listed in a « Search PeerTube » search engine, including the one we provide.

However, the usage surveys conducted by Marie-Cécile (the designer who has been working with us on this roadmap to improve PeerTube) and the feedback we have received from you has made us realize that this was not enough : we also needed a specific web site to promote this search engine.

Your donations fund our freedom of action : we understood the need, so we announced in mid-August that we were going to rearrange our workload and free some time up to fulfill the need, which we felt was a priority. This is how Sepia Search was born.

Last stop before the live !

There is now one big straight line on our roadmap to PeerTube v3 : implementing live, peer-to-peer video streaming ! As we announced, this will be a first implementation of this feature, and it will be very spartan (no chat module, no filters, no emoticons).

At the time of writing, nearly 1,000 people have funded €42,000 of the €60,000 needed to fully develop this v3. While the world is facing a pandemic, we did not find it decent to condition these developments to your donations. Whether we collect the €60,000 or not, we will produce this v3, even if we have to do it on our own funds (which we did for the v2).

We still hope that some of you will share our values and our approach, and that by talking about this project as widely as possible, we will manage to raise this sum (and not to overstretch our budget for next year !).

To support PeerTube, please consider sharing the roadmap page where anyone can make a donation !

[Capture de la barre des dons menant vers roadmap ?]

Learn more

• Find videos on Sepia Search
• Learn more about PeerTube
• Support the roadmap to v3

Learn even more (experts)

• Our PeerTube documentation
• Our instances index, moderated according to
  • Our TOS
  • Our moderation policy (FR)
• Search engine source code (complete with the web client)
• Instances index source codex
  • Create your own instance list for the index
• PeerTube source code

Original post of Framablog.Votez pour ce billet sur Planet Libre.

Nous ouvrons aujourd’hui une nouvelle porte d’entrée vers PeerTube, pour faciliter la découverte des vidéos qui sont publiées dans une fédération qui grandit de jour en jour.

PeerTube, c’est l’alternative que nous développons pour que chacun·e puisse émanciper ses vidéos des YouTube et autres TikTok. Sauf qu’à l’inverse de YouTube, Peertube n’est pas une plateforme unique.

PeerTube est un logiciel que des spécialistes peuvent installer sur un serveur pour créer de nombreuses plateformes vidéos (des « instances »), qui peuvent se relier entre elles au sein d’une fédération.

Une porte d’entrée vers une fédération diverse

Le problème, avec les fédérations, c’est qu’elles sont beaucoup plus variées et complexes qu’une plateforme à guichet unique. C’est bien joli de décentraliser pour empêcher la création de nouveaux géants du Web, mais elle est où la porte d’entrée ?

Doit-on vraiment expliquer la notion d’instance ? Insister sur le besoin de trouver la sienne et donc de se renseigner sur les politiques de fédération de chaque instance ? … à une personne qui demande simplement :

Mais… moi, je voulais juste regarder des vidéos !

La solution serait de créer un moteur de recherche pour toutes les vidéos publiées grâce à PeerTube.

Si l’on ouvre une porte d’entrée unique vers la fédération, alors la structure qui détient les clés de cette porte prend le pouvoir. Elle prend le pouvoir de décider ce qui sera accepté (ou refusé) dans l’annuaire de recherche, elle prend le pouvoir de noter qui a cherché quoi, quand, depuis où, et elle prend le pouvoir d’intervenir dans l’affichage et l’ordre des résultats.

C’est sur de tels mécanismes de pouvoir que Google a construit son monopole. Autant vous dire que, chez Framasoft, nous ne cherchons pas à être en situation de pouvoir… et encore moins à suivre le (mauvais) exemple de Google ! Pour autant, nous voulons montrer le potentiel émancipateur de ce logiciel qui permet de se réapproprier les moyens de diffusion.

Nous prenons donc la responsabilité de vous ouvrir Sepia Search, notre porte d’entrée vers des vidéos et des vidéastes sur PeerTube… Une porte que nous ouvrons en limitant au maximum les pouvoirs qui lui sont associés, pour respecter votre attention comme votre navigation.

Présenter PeerTube sans monopoliser les attentions

Dans l’univers de la fédération, le « fédiverse », on trouve de nombreuses instances PeerTube où des personnes s’inscrivent pour créer autant de chaînes qu’elles veulent, des chaînes où ces personnes peuvent publier leurs vidéos.

Notre objectif, avec Sepia Search, n’est pas de présenter l’intégralité de ces contenus. Nous voulons simplement vous montrer l’espace d’autonomie qu’ouvre PeerTube, en respectant les valeurs de transparence, d’ouverture et de liberté que nous défendons depuis plus de 16 ans.

Un outil d’indexation publiquement auditable (transparence)

Derrière Sepia Search, il y a deux logiciels.

Le premier, c’est le moteur : c’est le logiciel dans lequel on entre une recherche, qui compare cette recherche avec la liste des contenus de son annuaire, et qui donne les résultats correspondants.

Le deuxième, c’est la carrosserie : c’est le logiciel qui va présenter la barre de recherche, recevoir la demande que vous avez saisie, et vous afficher les résultats en précisant bien en orange où vous vous rendrez lorsque vous cliquerez sur « Aller voir cette vidéo ».

Le code source, la « recette de cuisine » de chacun de ces logiciels, est publié en toute transparence sur notre forge logicielle. N’importe quelle personne sachant lire ce code peut l’examiner, et déterminer s’il existe des outils pour tricher dans l’affichage des résultats, ou d’autres pour espionner vos comportements.

Nous, nous savons déjà que ces codes sont éthiques et ne vous espionnent pas. Nous avons une bonne raison : comme c’est marqué dans nos CGU, vos données ne nous intéressent vraiment, mais alors vraiment pas !

Un moteur de recherche modéré a posteriori (ouverture)

Toutes les instances PeerTube ne seront pas référencées sur Sepia Search. Ce moteur de recherche opèrera sur la liste d’instances que nous maintenons sur instances.joinpeertube.org.

Nous avons récemment annoncé un changement dans la politique d’indexation de cette liste afin qu’elle s’aligne sur la politique de l’ensemble des services que nous proposons :

• Respect de la loi française ;
• Respect de nos Conditions Générales d’Utilisation ;
• Respect de notre charte de modération.

Ainsi, si l’on nous signale une instance dont les contenus font explicitement l’apologie du terrorisme ou promeuvent le révisionnisme historique, nous la retirerons de l’index (non-respect des lois françaises, sur lequel nous insistons dans nos CGU), ce qui éliminera des résultats de recherche toutes les vidéos hébergées par cette instance.

A contrario, si une ou des personnes viennent abuser du temps de nos modérateur⋅ices par des signalements intempestifs et sans fondement, leur parole sera discréditée et ignorée (comme l’indique notre charte de modération).
Cette modération nous permettra de limiter les résultats proposés par Sepia Search aux vidéastes qui font des créations originales et aux chaînes (voire aux instances) qui contribuent à émanciper les esprits. Nous souhaitons qu’elle soit aussi légère que possible.

Un outil reproductible, adaptable à vos conditions (liberté)

Il peut sembler paradoxal de parler d’ouverture pour détailler dans quelles conditions nous fermons Sepia Search à certains contenus (notamment illégaux).

Pourtant, à Framasoft, nous croyons au paradoxe de la tolérance, et donc que l’ouverture ne peut perdurer que si les limites de cette ouverture sont honnêtement définies et défendues.

Nous avons conscience qu’il s’agit là d’un point de vue venant de notre culture française, voire d’Europe de l’ouest. Il peut, par exemple, choquer des personnes de culture nord-américaine (où se pratique un Free Speech inconditionnel) ou de culture chinoise « officielle » (où, actuellement, le gouvernement pose des limites strictes à la liberté d’expression).

Nous ne voulons ni imposer notre culture, ni la renier. C’est pourquoi nous avons fait en sorte, légalement comme techniquement, que chacun·e soit libre d’éditer sa propre liste d’instances, son moteur d’indexation et son site de recherche, en copiant et adaptant ce que nous avons créé.

Sepia Search n’est que notre porte d’entrée vers PeerTube. Ce site a pour objectif de vous présenter le PeerTube émancipateur pour lequel nous travaillons, avec notre culture, notre militance et notre subjectivité.

Attendre d’un acteur qu’il fasse tout, tout seul, c’est finalement un réflexe de soumission à l’Internet des plateformes. Libre à vous de prendre le pouvoir (et les responsabilités) en hébergeant votre moteur de recherche, paramétré selon votre culture, votre politique d’indexation et vos valeurs !

Ce que Sepia Search peut faire pour vous

Si nous avons bien travaillé, Sepia Search va vous permettre de découvrir des vidéos, donc des chaînes (voire des instances PeerTube) qui vous intéresseront !

Le site Sepia Search a été conçu pour vous informer en respectant votre attention :

• Les résultats seront les mêmes pour tout le monde, en fonction uniquement de votre recherche (et de la langue de votre navigateur), et absolument pas pré-triés en selon un profil (parce qu’il n’y a pas de profilage !) ;
• Les résultats sont présentés de manière claire et détaillée, afin d’éviter la course à la vignette putassière et aux titres criards tout en majuscules ;
• Les filtres de recherches vous donnent le pouvoir de trier l’affichage des résultats de manière avancée ;
• Si vous voulez voir la vidéo, Sepia Search vous redirigera directement sur l’instance où elle est hébergée (puisque nous n’avons aucun intérêt à vous enfermer dans le site web du moteur de recherche). Cela permet au passage de montrer concrètement la notion de fédération.

Le moteur de recherche qui fait tourner Sepia Search est un logiciel libre, ce qui signifie qu’il est ouvert aux modifications et adaptations. Des usages plus poussés (passant par ce qu’on appelle une API) vont très vite permettre encore plus d’émancipation.

Par exemple, les internautes utilisant Firefox pourront ajouter Sepia Search à la liste des moteurs de recherche de leur navigateur directement depuis le site. De même, notre moteur (ou une autre installation du même moteur) pourra servir aux extensions qui permettent de signaler quand une vidéo YouTube est aussi disponible sur PeerTube, afin de les rendre plus performantes.

Un outil financé par la communauté

Sepia Search est une étape supplémentaire et nécessaire à la feuille de route vers la v3 de PeerTube, pour laquelle une collecte est toujours en cours.

Le fait de pouvoir rechercher des vidéos dans la fédération était très demandé : c’est pourquoi nous en avons fait la première étape de notre feuille de route. En effet, avant la version 2.3 de PeerTube, lorsqu’on utilisait la barre de recherche d’une instance, les résultats se limitaient aux vidéos dans la bulle de fédération de cette instance.

Grâce à vos dons qui ont financé notre travail, nous avons publié fin juillet la version 2.3 de PeerTube. Depuis, la même recherche peut désormais afficher les résultats de toutes les instances PeerTube listées dans un moteur de recherche « Search PeerTube », dont celui que nous mettons à disposition.

Cependant, les enquêtes d’utilisation menées par Marie-Cécile (la designer qui s’est engagée avec nous sur cette feuille de route afin d’améliorer PeerTube) et les retours dont vous nous faites part nous ont permis de comprendre que c’était insuffisant : il fallait, en plus, un site web spécifique, faisant office de moteur de recherche.

Vos dons financent notre liberté d’action : nous avons vu ce manque, et nous avons annoncé mi-août que nous allions réaménager notre plan d’action et dégager du temps pour y remédier, ce qui nous semblait prioritaire. Voici comment est né Sepia Search.

Dernier arrêt avant le live !

Il reste désormais une seule et grosse ligne droite sur notre feuille de route vers la v3 de PeerTube : implémenter la diffusion de vidéos en direct et en pair à pair ! Comme nous l’avons annoncé, il s’agira là d’une première version de cette fonctionnalité, et elle sera très spartiate (sans module de tchat, ni filtres, ni réactions émoticonées).

À l’heure où nous écrivons ces lignes, près de 1 000 personnes ont financé 42 000 € sur les 60 000 € nécessaires au développement complet de cette v3. Alors que le monde entier fait face à une pandémie, nous n’avons pas trouvé décent de conditionner ces développements à vos dons. Que nous récoltions les 60 000 € ou non, nous produirons cette v3, quitte à le faire sur nos fonds propres (ce que nous avions déjà fait pour la v2).

Nous espérons malgré tout que certain·es d’entre vous partagerons nos valeurs et notre démarche, et qu’en parlant de ce projet le plus largement possible, nous parviendrons à réunir cette somme (et à ne pas gréver notre budget pour l’an prochain !).

Pour soutenir PeerTube, pensez à partager la page de la feuille de route sur laquelle vous pouvez faire un don !

[Capture de la barre des dons menant vers roadmap ?]

 

Pour aller plus loin

• Trouver des vidéos sur Sepia Search
• En apprendre plus sur PeerTube
• Soutenir la feuille de route de la v3

Pour aller encore plus loin (expert·es)

• Notre documentation de PeerTube
• Notre annuaire des instances, modéré selon
  • Nos conditions générales d’utilisation
  • Notre charte de modération
• Code source du moteur de recherche et de son interface web
• Code source de l’index des instances
  • Créer une liste d’instances personnalisées pour l’index
• Code source de PeerTube

Original post of Framablog.Votez pour ce billet sur Planet Libre.

Original post of genma.Votez pour ce billet sur Planet Libre.

Pour la 38ème semaine de l'année 2020, voici 12 liens intéressants que vous avez peut-être ratés, relayés par le Journal du hacker, votre source d’informations pour le Logiciel Libre francophone !

• Mozilla abandonne Firefox Send, son service de transfert de fichiers, suite à un détournement malveillant
• Commandes GNU/Linux pour détecter une intrusion
• Un logiciel malveillant de la police française permet de récolter messages, mots de passe et bien plus
• Zezinho nous a quitté
• La justice européenne confirme que le « trafic gratuit » enfreint les règles sur la neutralité du net
• Le cloud, ça coûte à peu près cher
• Que se passe-t-il quand vous écrivez dans la barre d'adresse du navigateur web…
• Debian-Facile ou comment rendre facile d’accès l’univers Debian !
• Histoire des systèmes d'extensions de Firefox
• Mon matériel
• Installer Samba 4 - Active Directory sous Linux
• Comment débuter et se former à Prometheus ?

Pour ne plus rater aucun article de la communauté francophone, voici :

• Le flux RSS du Journal du hacker
• Le compte Twitter du Journal du hacker
• Le compte Diaspora* du Journal du hacker
• Le compte Mastodon du Journal du hacker

De plus le site web du Journal du hacker est « adaptatif (responsive) ». N’hésitez pas à le consulter depuis votre smartphone ou votre tablette !

Le Journal du hacker fonctionne de manière collaborative, grâce à la participation de ses membres. Rejoignez-nous pour proposer vos contenus à partager avec la communauté du Logiciel Libre francophone et faire connaître vos projets !

Et vous ? Qu’avez-vous pensé de ces articles ? N’hésitez pas à réagir directement dans les commentaires de l’article sur le Journal du hacker :)

Original post of Journal du hacker.Votez pour ce billet sur Planet Libre.

Bonjour à tous,

Un projet s'en va et un autre commence. Je suis heureux de vous présenter ce nouveau projet: Woodstock Backup.

Genèse du projet

Mes problèmes

Pour faire des sauvegardes, j'utilisais jusqu'ici BackupPC. C'est un très bon logiciel pour effectuer des sauvegardes de plusieurs machines sur une instance centralisée.

BackupPC est écrit en Perl avec des partie en C. En effet il se base sur un fork de rsync qui permet d'enregistrer le résultat des sauvegardes dans un format qui lui est propre. Malgré qu'il fonctionne très bien j'ai eu plusieurs problèmes avec récemment.

Il permet de faire des sauvegardes lancées depuis un serveur centralisé. Ce dernier vérifie régulièrement si les différents PC à sauvegarder sont présents sur le réseau et s'y connecte pour faire les sauvegardes sur la base d'un calendrier.

Le serveur a besoin de pouvoir se connecter sur tous les clients (incovénient que je suis prêt à accepter) mais les clients n'ont du coup pas besoin de devoir se connecter au serveur (avec le risque qu'un client compromis, compromette le serveur).

BackupPC est également capable de décider de l'heure de la sauvegarde en fonction de la date de la dernière sauvegarde ainsi que de la présence du PC sur le réseau. Ainsi si un PC est toujours présent, il peut être sauvegardé tout en préservant les heures où la personne a besoin de toute la puissance de son PC, sauf si la sauvegarde date de trop.

Je vous invite fortement à aller à l'adresse https://backuppc.github.io/backuppc/ pour en savoir plus sur BackupPC.

Voici les quelques problèmes que j'ai eu récemment avec les dernières versions de BackupPC :

• Lors du passage de la version v3 à la version v4, et alors que le pool de sauvegarde était stocké sur un partage NFS, je me suis mis à perdre des fichiers: Impossible de restaurer des fichiers.

Après quelques recherches j'ai découvert que BackupPC v4 n'était pas compatible avec NFS, et j'ai dû basculer toute mon installation sur un disque iSCSI sur mon NAS.

J'ai alors perdu mon historique de sauvegarde (je n'avais alors pas assez de place pour faire faire mes sauvegardes dans un coin et des expérimentations/migrations de l'autre).

• Une fois les sauvegardes effectuées je souhaite pouvoir copier le résultat sur un disque dur USB (qui contient donc alors la dernière version). Cette archive est alors déposée régulièrement hors site afin de minimiser le risque de perte de données.

BackupPC permet de le faire nativement en exportant des archives au format TAR sur ce disque dur USB (moyennant une pré-étape pour monter le disque, et une post-étape pour le démonter).

Cela me pose problème, en effet je veux pouvoir facilement accéder au contenu de l'archive (donc sans ouvrir le tar), et cette dernière est également très longue à créer. De plus il m'est déjà arrivé d'ouvrir un tar et de me rendre compte que l'archive était corrompue (tronquée) soit par manque de place soit car l'archivage n'avait pas fonctionné correctement mais sans avertissement.

Je m'emploie donc à créer un script qui à l'aide d'un connecteur Fuse BackupPC me permet de synchroniser les dernières versions des sauvegardes avec rsync vers le disque dur USB.

Malheureusement le script FUSE n'est pas très maintenu, et pose problème avec des fichiers de plusieurs centaines de gigaoctets, ou avec les permissions de fichiers sauvegardés avec des machines Windows. J'ai donc adapté le script Fuse à mes problèmes pour régler uniquement le problème de droits.

La modification n'est pas super propre: je squeeze les droits si l'utilisateur à un uid particulier.

Vous pouvez retrouver ma modification ici.

Le fait est que même si la solution continue de tourner actuellement et fonctionne bien, j'ai perdu une partie de la confiance que j'ai en ce produit.

Etudes des autres solutions

Quelques critères:

• Déjà un premier critère est que la solution doit être Open Source.
• Je ne veux pas de client lourd pour visualiser mes sauvegardes (seul un client léger pour y accéder de n'importe où).
• Je veux pouvoir facilement créer des archives sur des disques durs USB à plat (sans format spécial comme zip, tar, ...)
• Je dois pouvoir sauvegarder des machines sous Windows ou sous Linux.
• Je suis prêt à installer un client lourd sur le client qui est sauvegardé.
• Je dois sauvegarder 6 machines (1 serveur dédié, 2 Vieux PC portable, 2 Vieux PC Fixe, 1 Vieux NAS) sans que les utilisateurs (ma femme, moi) n'aient à y penser.
• Si le logiciel est facilement contrôlable par API et via une IHM simple d'utilisation, c'est un grand plus.

J'ai regardé plusieurs solutions et voici les deux solutions qui m'ont tapé dans l'oeil (et ça fait mal) en plus de BackupPC que j'utilse déjà.

Je précise que mes tests sont alors limités car je n'ai pas assez d'espace de stockage pour avoir à la fois le pool de BackupPC de environ 2To et le pool d'un autre gestionnaire de sauvegarde en même temps.

UrBackup

J'ai alors installé UrBackup.

J'ai apprécié l'utiliser en utilisant le stockage btrfs. Il permet aussi d'utiliser un système de stockage qui lui est propre.

Je n'ai pas trouvé de méthode pour effectuer de l'archivage sur disque dur USB des dernières sauvegardes uniquement (et pas l'ensemble du pool) pour stockage off-site. Ce point pourrait être resolvable en utilisant justement le stockage Btrfs et en écrivant mes propres scripts.

Sous Windows, il permet aussi de créer des Snapshots (équivalent LVM) pour permettre de faire des sauvegardes de fichier en lecture.

Il aussi capable de faire des images disque des machines Windows.

UrBackup utilise un client à installer sur chaque ordinateur à sauvegarder. Cela ne pose pas de problème et peut permettre d'optimiser la vitesse de sauvegarde par rapport à un simple rsync, et d'avoir un format de stockage propre pour optimiser la taille occupé.

Bref, sur le papier UrBackup a tout pour plaire.

Pourquoi ne pas l'utiliser ? Bonne question :).

La migration de mon historique de sauvegarde de BackupPC vers UrBackup n'était pas possible facilement. Il aurait fallu pour cela qu'en plus de générer la structure Btrfs qui va bien créer la structure dans la base Sqlite, ce que je n'ai pas forcément trouvé pratique.

Il me semble aussi que je ne trouvais pas l'interface très pratique (entre autres pour la restauration de fichiers).

Je n'ai pas plus de raisons que cela de ne pas l'utiliser, donc si vous cherchez un logiciel pour faire des sauvegardes n'hésitez pas à le tester.

Borg

J'ai aimé utiliser également Borg.

Surtout la possibilité de pouvoir chiffrer les sauvegardes, ainsi que les performances de Borg mêmes.

Malheureusement, je souhaite pouvoir facilement déchiffrer le contenu depuis le serveur principal pour archiver plusieurs sauvegardes de plusieurs machines en même temps.

Je souhaite également pouvoir sauvegarder toute sortes d'ordinateurs. Certains appartenant au réseau local, d'autres se trouvant être des dédiés sur Internet. Des PC sous Linux mais aussi un PC sous Windows.

Borg m'aurait alors posé quelques soucis sous Windows.

Je ne souhaite pas que mes serveurs dédiés aient accès à mon réseau local pour faire les sauvegardes, ni aient accès aux serveurs de backup directement au risque de compromettre la sécurité. Il faut alors paramétrer le serveur de backup pour gérer cela au niveau de ssh

Il n'est pas possible non plus de mutualiser les sauvegardes dans un seul repo, ce qui au delà des problèmes de sécurité, pose également des problèmes de lock.

Je pense que Borg est par contre un très bon logiciel pour faire une sauvegarde de son PC perso quand on ne s'occupe que de soi et qu'on a qu'un seul PC.

Autres tests

J'ai également testé rapidement Burp pour lequel je jette un oeil également régulièrement, mais l'IHM non intégré était alors très lente lors de mes tests, et la ligne de commande me rendait la restauration de fichiers complexe lors du peu de fois que je l'ai utilisé.

Il est alors difficile de trouver un concurrent qui me convienne pour remplacer BackupPC.

Si vous pensez que je me suis trompé sur les tests que j'ai fait ci-dessus, ou que vous voyez un autre logiciel de sauvegardes qui pourrait me convenir, n'hésitez pas à m'envoyer un mail.

A l'heure actuelle j'ai décidé d'écrire mon propre système de sauvegarde que j'ai nommé Woodstock Backup.

Woodstock Backup

A défaut de tourner en rond et de ne pas être complètement satisfait, j'ai décidé de développer ma propre solution. Ainsi si je n'ai pas toutes les fonctionnalités que je désire, je n'ai qu'à m'en prendre à moi-même et les développer.

Il n'est pas facile de choisir un nom pour un logiciel.

Lors du développement de cette application de sauvegarde, je regardais un épisode d'une série dont l'histoire se passait à Woodstock, d'où le nom :).

Les fonctionnalités

Quels sont les fonctionnalités à l'heure actuelle :

• Faire des sauvegardes de façon régulière (par exemple une fois par jour) et lors de la dispo de l'ordinateur.
• Pour chaque sauvegarde il est possible d'éxecuter des étapes en amont et en aval, voir de faire plusieurs sauvegardes de plusieurs dossiers.
• On peut lister les sauvegardes pour chaque hôte.
• On peut télécharger les fichiers un par un ou en téléchargeant un fichier Zip.
• Les sauvegardes sont stockées sur un système de fichier Btrfs ce qui permet de bénéficier du système de Snapshot pour la déduplication, et de pouvoir accéder (à des fins d'archivage) directement aux sauvegardes sans contrainte.
• Btrfs permet également de compresser les sauvegardes (avec les bonnes options au montage).
• Comme RSync est utilisé, il est installé sur tous les clients (même windows), ce qui facilite son utilisation¹.
• L'application possède une interface moderne (à mon goût)²
• L'application est contrôlable via une API Rest et via une API GraphQL.

Quelques captures d'écran

Comment l'installer ?

J'ai écrit un site Internet pour présenter Woodstock: https://woodstock.shadoware.org/ et porter la documentation.

Vous pouvez retrouver les liens de téléchargement depuis le repository de code sources :

• https://gogs.shadoware.org/ShadowareOrg/woodstock-backup
• https://github.com/phoenix741/woodstock-backup

L'installation se fait très simplement, j'ai écrit un peu de documentation pour expliquer cela.

Il est possible d'effectuer une installation via:

• les sources
• un paquet debian/ubuntu
• l'image docker (c'est l'installation que j'utilise moi-même)

Par rapport à mon besoin

Reprenons mes critères :

• Open Source: Check
• Client léger: Check
• Archivage sur disque dur USB à plat: Partiel (Btrfs me permet de le faire manuellement à l'aide d'un script maison)
• Compatible Windows/Linux: Check (via rsync)
• Sauvegarde sans y penser (automatique): Check
• API ou IHM simple d'utilisation: Milk Check. L'API est là. Il est simple d'utilisation pour moi, mais peut encore être amélioré

Donc pour l'instant il répond à mes besoins mais reste améliorable.

Roadmap

• Avoir un outil d'archivage automatique intégré.
• Les suppressions automatiques de sauvegardes sont à prévoir également.
• Peut-être remplacer Btrfs par autre chose, car actuellement
• Sans Btrfs, le logiciel ne peut pas fonctionner, donc cela limite les OS du serveur de sauvegarde.
• Il y aurait des problèmes de performances avec Btrfs en cas de trop grand nombre de snapshots et de l'utilisation des qgroups. Pour l'instant je n'ai ce genre de problème que lors de la suppression de sauvegarde.
• Il n'est pas possible de faire de la déduplication inter-machines simplement.

• L'utilisation d'un système de fichier unique empêche l'utilisation de plusieurs serveurs de backups, synchronisés. (Je me dis que sur les grosses infrastructures, il peut-être intéressant de scaler horizontalement)

• Par contre, si je remplace Btrfs par autre chose, les questions sont alors

  • par quoi ?
  • Comment fais-je pour Rsync ?
  • Dois-je le remplacer aussi ?
  • Avoir mon propre client de sauvegarde (comme UrBackup) ?

Si vous avez des éléments de réponses, ou des idées là aussi, n'hésitez pas non plus à m'envoyer un mail. Si vous aussi n'êtes pas satisfaits de votre solution de sauvegardes, contactez-moi pour me dire ce qu'il vous faudrait, voir même pour contribuer.

Quelques chiffres

À l'heure actuelle, je suis passé à Woodstock Backup pour mes sauvegardes en ayant migré toutes mes sauvegardes depuis BackupPC.

Je peux donc faire quelques comparaisons rapides (Woodstock Backup méritant encore quelques évolutions pour atteindre le niveau de BackupPC dans certains domaines).

Je possède 6 machines dont l'espace est répartit comme suite :

Machine	Stockage
pc-windows	260.8 Gb
pc-portable-1	148.1 Gb
pc-portable-2	41.0 Gb
pc-linux	153.3 Gb
nas	1.4 Tb
server-ovh	189.6 Gb

Certains fichiers (comme les photos de vacances, ...) peuvent être sur plusieurs machines (nas + pc fixe).

Comparaison	BackupPC	Woodstock
Pool de sauvegarde	le stockage optimisé 1,88 To	Le stockage btrfs avec compression prend 2,1 To
Compression pc-windows	357 Go non compressé	326 Go non compressé
	246 Go compressé	245 Go compressé
Compression pc-portable-1	74 Go non compressé	79 Go non compressé
	70 Go compressé	75 Go compressé
Temps de sauvegarde incrémental NAS	21 minutes en moyenne	15 minutes en moyenne
Temps de sauvegarde incrémental pc-linux	30 minutes en moyenne	7 minutes en moyenne

J'ai l'impression que la notion de compress-force n'est pas prise en compte, et que la compression n'est pas des plus efficaces.

Pour la taille du pool de sauvegarde cela ne m'étonne pas vu que la déduplication n'est pas cross-machine.

Pour le temps de sauvegarde c'est une bonne surprise mais là aussi, je pense que c'est normal vu que rsync ne doit pas faire de déduplication à son niveau.

Original post of Ulrich Van Den Hekke.Votez pour ce billet sur Planet Libre.