PROJET AUTOBLOG


IT-Connect

Site original : IT-Connect

⇐ retour index

Le fichier robots.txt : Pourquoi ? Comment ?

mardi 10 novembre 2015 à 10:00

Les pages de votre site internet sont indexées par les robots des différents moteurs de recherche, comme par exemple GoogleBot de chez Google. Cependant, certaines pages et sections de votre site doivent certainement rester confidentielles. Je pense notamment à la section “/wp-admin” d’un site sous WordPress qui représente le Back-Office.

C’est là qu’intervient le fichier robots.txt ! Il vous permet de donner des directives aux robots concernant ce qu’ils ont le droit d’indexer ou non sur votre site.

robots-txt-1

Quand le fichier robots.txt est-il pris en compte ?

Avant de commencer l’aspiration de données et l’indexation de contenus, les robots iront vérifier s’il existe ou non un fichier robots.txt. Ce fichier doit être présent à la racine de votre site, sur votre serveur web, on y accédera via l’URL : http://www.votre-site.fr/robots.txt

Lorsque ce fichier existe, le robot lit les règles qu’il contient et suit les indications données. Au contraire, si le fichier n’existe pas le robot part du principe que rien ne lui est interdit (ce qui peut être dangereux !).

Et, quelle est la structure d’un robots.txt ?

La structure d’un robots.txt respecte la logique suivante : On indique les robots concernés puis à la suite on indique les règles qui s’appliquent aux robots précisés auparavant. C’est un peu comme si on sélectionnait un utilisateur et qu’on lui donne des droits, ce n’est que la façon d’écrire qui change…

Ah oui, au fait j’oubliais, il ne peut avoir qu’un seul fichier robots.txt sur votre site.

Passons à des exemples de robots.txt, ce sera plus explicite !

– Exemple n°1 :

User-agent: *
Disallow: /wp-admin/

On autorise tous les User-agent – c’est-à-dire tous les robots – dans tous les répertoires sauf à l’exploration du contenu du répertoire “/wp-admin/“. Pour rappel, il s’agit du répertoire de l’interface d’administration sous WordPress.

Ce que l’on peut retenir de cet exemple, c’est que l’on peut désigner tous les robots grâce à une étoile (*). De plus, on remarque que la directive Disallow est utilisée pour indiquer chaque répertoire à exclure, un par ligne.

– Exemple n°2 :

User-agent: *
Disallow: /article

Ceci permettra d’empêcher l’indexation de différentes adresses telles que :

– http://www.votre-site.fr/article/
– http://www.votre-site.fr/article.html

En fait, dès que l’on retrouve la présence de la chaîne “/article“.

– Exemple n°3 :

User-agent: *
Disallow: /article/

Même exemple que précédemment, mais uniquement avec un slash en plus, de ce fait le lien “http://www.votre-site.fr/article.html” sera désormais indexé alors que ce n’était pas le cas dans l’exemple précédent. En ce qui concerne l’URL “http://www.votre-site.fr/article/” elle ne sera pas indexée non plus dans ce cas.

Vous remarquerez que l’on indique ce que l’on refuse grâce à “Disallow:“. Sachez que comme Google le précise dans sa documentation, la directive “Allow:” permettra d’ajouter une autorisation, ce qui peut être utile pour autoriser un seul répertoire au sein d’une arborescence refusée.

Disallow est une commande qui demande au user-agent de ne pas accéder à une URL particulière. Cependant, si vous souhaitez nous donner accès à une URL particulière qui est un répertoire enfant d’un répertoire parent non autorisé, vous pouvez utiliser le troisième mot clé Allow.

– Exemple n°4 :

User-agent: *
Disallow:

On indique que l’on souhaite exclure aucune page de l’indexation, en fait, c’est comme s’il n’y avait pas de fichier robots.txt sur le serveur.

– Exemple n°5 :

User-agent: *
Disallow:/

En indiquant simplement un slash, on indique que l’on exclut toutes les pages !

– Exemple n°6 :

User-agent: Googlebot-Image
Disallow: /mon-icone.png

Si l’on souhaite empêcher l’indexation d’une image nommée “mon-icone.png” dans Google Images, on précisera auparavant que cela s’applique au bot Googlebot-Image.

– Exemple n°7 :

User-agent: *
Disallow: /*.pdf$

Imaginons que vous avez des fichiers PDF sur votre site et que ne souhaitez pas les voir indexés, utilisez la directive ci-dessus pour appliquer le filtrage sur un type de fichier particulier. En ce qui concerne le caractère “$”, il permet de bloquer toutes les URL qui se terminent d’une certaine manière.

– Exemple n°8 :

User-agent: *
Disallow: /profil-*/

L’utilisation du caractère astérisque * permet d’indiquer “N’importe quelle séquence de caractères“. Ce qui veut dire que tous les répertoires qui commencent par “profil-” seront bloqués grâce à la présence de l’astérisque.

Enfin, pour ceux qui souhaitent commenter le fichier robots.txt, utilisez un # en début de ligne pour ajouter une ligne commentaire.

Point important également, il faut savoir que les expressions sont sensibles à la casse. Soyez donc prudent dans l’utilisation des majuscules et minuscules dans la déclaration de vos règles.

Quelques robots connus…

– Googlebot-Image : Google Images
– Googlebot : Google
– Bingbot : Bing
– VoilaBot : Orange
– ExaBot : Exalead

Comment tester son fichier robots.txt ?

Pour tester ce fichier et voir si vos règles répondent à vos attentes, un outil est disponible dans les Outils pour Webmasters de Google.

Accéder à l’outil

Cet outil permet notamment de tester différentes URL et de voir si elles sont autorisées ou non à être indexées. Pour cela, vous pouvez également tester avec un bot Google en particulier.

robots-txt-2

Un must pour vérifier son fichier robots.txt avant la mise en production, ne passez pas cette étape ! Ne jouez pas avec votre référencement !

Smartphones 4K : Après Sony, Elephone ?

lundi 9 novembre 2015 à 15:30

Lors du dernier salon IFA, Sony avait dévoilé son Xperia Z5 Premium doté d’un écran capable d’afficher une résolution 4K, soit en 3 840 x 2 160 pixels.

Pour rappel, il s’agissait d’une 4K occasionnelle selon ce que l’on faisait sur l’appareil dans le but d’économiser la batterie.

Désormais c’est le constructeur Elephone qui serait prêt à proposer un appareil avec un écran 4K, à en croire un visuel diffusé sur le compte Facebook de la marque.

elephone-4k-1

Une tablette ? Un smartphone ? Officiellement on ne sait pas mais le commentaire associé à l’image contient le hashtag #smartphone. Elephone continue sa marche en avant en proposant des smartphones toujours plus innovants.

Retrouvez nos tests de smartphones Elephone sur IT-Connect, ainsi que des produits en promotion sur le site Gearbest en ce moment : Promo Elephone

Test du logiciel Stellar Mac Data Recovery v7

lundi 9 novembre 2015 à 14:00

I. Présentation

Qui n’a jamais supprimé de données par mégarde ? C’est retrouvé avec un support de stockage corrompu ? Perdue ses photos de famille sur le disque externe dit de “Sauvegarde” ?

Sur cette dernière question, laissez-moi vous rappeler que le principe de ce disque de “sauvegarde” correspond à une copie de vos souvenirs numériques et non un lieu unique où ils sont stockés.

Outre cette bonne pratique, pour répondre à la catastrophe qu’est la perte de données, des solutions existent. L’une d’elles s’appelle Stellar Phoenix Mac Data Recovery (SPMDR). Tel un phénix, vos données perdues renaitront.

Il faut savoir que nous avons eu la chance de tester pour vous le logiciel Stellar Phoenix Mac Data Recovery, mais que l’éditeur Stellar propose aussi une suite logicielle complète pour les différents environnements Windows et Linux. Ici nous traiterons que du logiciel Mac.

II. A la découverte de Stellar Phoenix Mac Data Recovery

Après différents tests, je dois dire que ce logiciel est performant et complet. En effet, outre les fonctionnalités citées sur la fiche produit de leur site internet, certaines sont de réels atouts. Voir la fiche produit de Stellar Phoenix Mac Data Recovery.

Un des atouts de SPMDR est d’indiquer et de spécifier le format de fichier recherché.

stellar-1

stellar-2

Un autre est de pouvoir sauvegarder les informations de l’analyse du volume si vous voulez procéder à la récupération des données en plusieurs fois. Ou encore la fonctionnalité d’aperçu, toute fois limitée au fichier inférieur à 100 Mo.

stellar-3

Dans le cas d’un volume corrompu avec l’impossibilité de monter la ou les partitions.

stellar-4

stellar-5

Oui, parce que si le système ne trouve pas de volume(s) à monter, impossible rechercher des partitions et tenter de récupérer les données.

Lors de mon test, je me suis notamment exercé sur un disque dur de 500 GO « familiale », c’est à dire principalement avec des fichiers multimédias. Au terme de ce test, je dirais que j’ai récupéré 95% des données dont plus des 2/3 étaient des photos, le reste, des musiques, des vidéos et autres documents. Certains fichiers pouvant mettre plusieurs minutes à être reconstruit avec plus ou moins un résultat au bout. Par exemple :

stellar-6

III. Utilisation dans un cas réel

Un ami a aussi pu tester SPMDR en conditions réelles.

Dans son cas, un collègue préparant un examen a eu la malchance de perdre les différents documents, présentations et dossiers d’études, stockés exclusivement sur une clé USB. – Vous, lecteurs d’it-connect, remarquerez tout de suite la mauvaise habitude que de travailler sur une Clé USB, mais ce n’est pas le sujet ! – La récupération des données de cette clé USB, il a eu la surprise de voir que sur cette clé il n’y avait plus aucune table de partition.

Mais SPMDR permet de rechercher les différentes partitions en allant consulter chaque secteur sur la clé USB.

Cette passe est relativement rapide, et précisons-le, très efficace, il retrouve le nom des partitions ainsi que leur taille.

Une fois qu’il a retrouvé ces « petits », on peut choisir sur quelle partition il sera nécessaire de récupérer les données. Dans ce cas, une seule était présente donc pas beaucoup de questions à se poser :)

Lancement de la récupération des données, il y a alors deux types de récupération, une rapide et une avancée. Ici, la méthode rapide n’a pas été très efficace : beaucoup de fichier/dossiers récupéré, mais tous ou à 1/20 corrompue.

La méthode d’analyse avancée s’est avérée beaucoup plus efficace pour récupérer correctement les documents.

Ainsi Stellar, et aussi efficace que le logiciel photorec, qui est open source, mais, et c’est là où ce logiciel est très intéressant, c’est qu’il conserve l’arborescence/le nom des fichiers/la date de création et les différents attributs de droit sur les fichiers. Ainsi, la sauvegarde du dossier récupéré est d’une simplicité incomparable.

IV. Conclusion

J’ai été très surpris de l’efficacité du logiciel, de son ergonomie et de son accessibilité. Pas besoin d’être un expert pour récupérer simplement ses photos de chat, et ses films de vacances, ou dans mon cas un dossier important (oui il faut aussi travailler de temps en temps :p ).

Test réalisé par Aurélien Ozan et Valentin Baraise

Xiaomi : Un nouveau smartphone pour le 11 novembre ?

lundi 9 novembre 2015 à 09:30

Pour le festival du Double 11 en Chine – 11 novembre, soit 11/11 – Xiaomi entend bien annoncer un nouveau smartphone.

logo-xiaomi5Pour le moment, on ne connaît ni le prix de ce smartphone, ni son nom, ni même ses caractéristiques… Xiaomi propose seulement de réaliser une pseudo-précommande en réglant 1000 yuans (soit environ 145€).

Ceci ne sera pas le prix final du téléphone, mais une sorte d’acompte… Qui vous permettra d’obtenir le téléphone 40 jours après l’annonce officielle.

Plus d’infos à suivre…

Retrouvez en ce moment des promotions sur de nombreux produits Xiaomi sur le site Gearbest : Promo Xiaomi

Connectique : pourquoi l’USB Type-C va tout changer ?

vendredi 6 novembre 2015 à 09:45

Porté par les systèmes d’exploitation les plus récents (Windows 10 et Android Marshmallow en tête), l’USB Type-C est en train de se généraliser. En 2016, il sera vraisemblablement implémenté dans la plupart des ordinateurs commercialisés et dans de très nombreux smartphones. Ce nouveau connecteur a connu ses premières heures de gloire grâce à son format réversible mais c’est loin d’être sa seule qualité. Ses spécifications techniques en font un candidat idéal pour devenir le port universel, Graal dont l’industrie des hautes technologies est en quête depuis des années.

L’USB Type-C comporte plus de « contacts » que ses prédécesseurs (Type-A et Type-B). Ces broches supplémentaires, apportent une innovation majeure : « l’alternate mode » qui permet de réattribuer les broches des quatre canaux d’un connecteur pour établir toutes sortes de liaisons. L’USB type-C est en effet réversible et peut transporter indifféremment des données, de la vidéo ou du courant !

usb-type-c-1

Ce n’est pas la première fois que les ténors de l’informatique et de l’électronique mondiale tentent de s’accorder sur un standard de ce genre. L’USB Type A et B ou plus récemment le Thunderbolt, se sont déjà essayés à l’exercice avec un succès certain mais partiel.

Qu’est-ce qui permet de penser que l’USB Type-C fera mieux ?

Il règle un casse-tête pour les entreprises

Lorsque l’on pense à ce qui distingue un ordinateur portable professionnel d’un modèle pour le grand public, les caractéristiques qui viennent le plus souvent à l’esprit sont la robustesse, les fonctions d’administration avancées, le support technique supérieur et la sécurité renforcée. On oublie trop souvent un casse-tête bien connu des administrateurs de parcs informatiques : le réplicateur de port.
En entreprise, il se vend presque autant d’ordinateurs portables que de stations d’accueils et pourtant aucun standard n’a jamais vraiment émergé. Pire, ils ont tendance à changer souvent de format et de couverture fonctionnelle au gré des constructeurs et des générations. Sur les 8 années écoulées HP en a changé 5 fois, Lenovo 6 fois et Toshiba 8 fois ! Dell, plus raisonnable, a préféré conserver un seul modèle sur cette période pour offrir la rétrocompatibilité à ses clients.

Pour ce type d’équipements, l’USB Type-C c’est la promesse de beaucoup moins de complexité. Adieu les dockings qui occupent tout le bureau, adieu la gestion fastidieuse d’un parc hétéroclite de plusieurs générations et adieu les soucis de compatibilité. A terme, l’USB Type-C va devenir le nirvana de l’administrateur de parc informatique en permettant des réplicateurs de ports de nouvelle génération, compacts, compatibles avec l’ensemble de la flotte et avec tous les PC portables sous sa gouverne. Mais surtout, l’USB Type-C ira encore plus loin en effaçant la différence principale entre équipements professionnels et grand public en rendant ces derniers également compatibles avec les réplicateurs de ports. Cette nouvelle norme va faire tomber un mur vieux de 25 ans et ouvrant grand la porte à la consumérisation. Les dernières annonces-produit avec la nouvelle vague de plateformes basées sur Skylake confirment cette tendance et l’USB Type-C va rapidement s’étendre à toutes les offres produit professionnelles et grand public.

Il est robuste

On l’a dit, l’USB Type-C est réversible, il peut être branché dans les deux sens. Cela peut paraître dérisoire mais cela rend son utilisation beaucoup plus aisée et beaucoup moins frustrante, particulièrement dans des scénarios d’utilisation mobile qui supposent de nombreux branchements / débranchements quotidiens. Il est également très robuste. Sa conception le rend plus solide et sa réversibilité empêche les détériorations ou les destructions pures et simple liées aux branchements inadéquats. Pour ces raisons, il est doté d’un cycle de vie bien supérieur et est largement capable de supporter la fréquence d’utilisation que supposent les usages modernes et l’accroissement de la mobilité.

Il est extrêmement versatile

Contrairement à ce que suppose son appellation, il est capable de véhiculer quasiment n’importe quel signal depuis et vers la machine hôte. Pour ne citer que les plus modernes : USB 1.1, 2.0, 3.0, 3.1, Display Port, Ethernet, MHL et Thunderbolt sont intégralement compatibles avec ce format. A lui tout seul, il peut servir d’interface pour le réseau, l’affichage et l’échange de données. Mais ce n’est pas tout. L’USB Type-C est également capable de servir de port d’alimentation (jusqu’à 100W) et là aussi il est « réversible ». En théorie il permet l’échange de charge entre deux appareils, comme par exemple entre une tablette et son clavier portable ou un smartphone et son casque à réduction de bruit active. A lui seul il pourrait bien représenter le standard de facto pour l’alimentation de toute une nouvelle génération d’appareil et la liste des protocoles qu’il peut transporter ne fait que s’allonger.

Il atténue encore les frontières entre smartphone, tablette et ordinateurs

S’il y a un marché dans lequel quelques millimètres et quelques grammes font la différence, c’est celui des terminaux mobiles. Malgré tout l’intérêt qu’il représente pour l’utilisateur, difficile d’intégrer un port de Type B dans un terminal de quelques millimètres sans sérieusement entacher son design. Les alternatives mini et micro USB entendaient résoudre ce problème mais au prix d’une robustesse et de spécifications techniques revue à la baisse. Avec seulement 2,6 millimètre d’épaisseur, l’USB C offre un encombrement minimal et se prête à la conception d’appareils ultrafins. Il propose le meilleur des deux mondes. Non seulement il apporte des caractéristiques supérieures dans un format réduit, mais il ouvre la voie à une utilisation des smartphones comme ordinateur d’appoint. Microsoft l’a déjà démontré en présentant une version de Windows 10 « light » mais très capable, tournant sur un smartphone Lumia relié à un écran, un clavier et une souris, via un Display Dock et son port USB Type-C. Cet apport technologique dans un marché qui écoule des millions d’unités participera nécessairement au succès de ce standard.

usb-type-c-2

Aujourd’hui l’USB Type-C est encore en pleine progression et un peu de veille technologique sur le sujet s’impose pour les décideurs de l’IT, car les possibilités et les scénarios d’utilisation qu’il offre vont se multiplier. Il va faciliter l’entrée et l’intégration de terminaux plus exotiques dans l’entreprise. Rien n’empêchera alors une tablette Windows & Atom à 250€ de devenir un vrai poste de travail puisque désormais elle se connectera en un clic à son écran, clavier, souris, réseau etc. Rien n’empêchera un UltrabookTM consumer doté en plus du nouveau port Type C d’une bonne formule de support sur site, de se positionner en challenger légitime face aux gammes professionnelles que choisissent habituellement les entreprises. Cette nouvelle norme va accélérer la transformation du poste de travail et multiplier les options pour faire face aux attentes de plus en plus pressantes des collaborateurs en manque de flexibilité du coté de leur outil de travail.

L’USB Type-C pourrait bien donner raison aux apôtres du ‘One Size Fits All’.