PROJET AUTOBLOG


Nicolargo

source: Nicolargo

⇐ retour index

Installation de NGinx avec PageSpeed sous Debian

lundi 3 février 2014 à 10:23

Tous ceux qui se sont intéressés à l'optimisation du référence de leur site dans la sainte base de donnée de Google le savent bien, le temps de chargement des pages est un des facteurs clé pour en établir le classement. Google ne s'en cache plus depuis longtemps et propose toute une batterie d'outil pour identifier et optimiser la vitesse d'affichage de votre site.

Nous allons dans ce billet nous intéresser à l'optimisation de la couche basse de votre site, c'est à dire sans modification du contenu des pages, en mettant en place le module PageSpeed sur le serveur Web NGinx. J'ai utilisé un serveur sous Debian mais vous pouvez appliquer ceci, moyennant quelques adaptations, sur d'autres systèmes d'exploitations.

capture_158

PageSpeed Module ? Kesako ?

Google a  regroupé sous l’acronyme PageSpeed, un ensemble d'outils pour aider les Webmasters à optimiser leurs sites. Un des ces outil est nommé PageSpeed Module. C'est un module optionnel disponible pour les serveurs Web Apache et NGinx.

Une fois installé et configuré, ce module va, de manière dynamique et transparente, effectuer un ensemble d'optimisations lors de la mise à disposition de vos pages à vos utilisateurs. Chaque optimisation est mise en place sous la forme d'un filtre qui vont par exemple changer dynamiquement le contenu HTML de vos pages, trouver des emplacements de javascripts plus rapide ou bien optimiser les images. Comme, nous le verrons plus loin, la liste des filtres est bien sûr paramétrable au niveau des fichiers de  configuration de NGinx.

La liste complète des filtres fournis en standard par Google est disponible sur cette page.

Trêve de long discours, passons maintenant à l'installation et à la configuration de PageSpeed Module avec un serveur NGinx.

Installation de NGinx + PageSpeed Module

Vous savez tout le bien que je pense du serveur Web NGinx. J'ai donc profité de ce billet pour mettre à jour mon script d'installation automatique de NGinx afin d'y intégrer le module PageSpeed. Ainsi pour les plus pressés d'entre-vous, il suffit de télécharge ce script et de le lancer à partir d'un compte administrateur pour avoir une configuration NGinx + PageSpeed.

capture_159

Pour les autres, les plus curieux, nous allons détailler l'installation dans la suite de ce paragraphe.

On commence donc par se créer un répertoire de travail:

mkdir ~/install-nginx-pagespeed
cd ~/install-nginx-pagespeed/

Puis on télécharge les deux archives nécessaires:

wget https://github.com/pagespeed/ngx_pagespeed/archive/release-1.7.30.3-beta.zip
wget https://dl.google.com/dl/page-speed/psol/1.7.30.3.tar.gz

On décompresse le tout:

unzip release-1.7.30.3-beta.zip
cd ngx_pagespeed-release-1.7.30.3-beta/
tar zxvf ../1.7.30.3.tar.gz
cd ..

A ce stade, le répertoire ngx_pagespeed-release-1.7.30.3-beta contient donc le module PageSpeed prêt à être intégré aux sources de NGinx.

On récupère donc les sources de ce dernier:

wget http://nginx.org/download/nginx-1.4.4.tar.gz

On décompresse puis on installe:

tar zxvf nginx-1.4.4.tar.gz
cd nginx-1.4.4/
./configure --conf-path=/etc/nginx/nginx.conf --error-log-path=/var/log/nginx/error.log --pid-path=/var/run/nginx.pid --lock-path=/var/lock/nginx.lock --http-log-path=/var/log/nginx/access.log --with-http_dav_module --http-client-body-temp-path=/var/lib/nginx/body --with-http_ssl_module --http-proxy-temp-path=/var/lib/nginx/proxy --with-http_stub_status_module --http-fastcgi-temp-path=/var/lib/nginx/fastcgi --with-debug --with-http_flv_module --with-http_realip_module --with-http_mp4_module --add-module=../ngx_pagespeed-release-1.7.30.3-beta
make

Enfin on installe la nouvelle version de NGinx contenant le module PageSpeed sur son système (attention cela va écraser votre installation existante mais pas les fichiers de configurations).

sudo make install

On relance NGinx pour prendre en compte la nouvelle installation.

sudo service nginx restart

On a donc un beau NGinx avec le module PageSpeed disponible. Par défaut, ce module n'est pas activé. Il faut donc passer à l'étape suivant: la configuration du module.

Configuration du module PageSpeed pour NGinx

C'est assez simple car tout est localisé dans la section server (ou http dans la cas d'une mutualisation avec plusieurs hôtes virtuels) des fichiers de configuration de NGinx. On commence donc par identifier cette section puis d'y ajouter les lignes suivantes pour activer le module PageSpeed en mode "pass through" (ce mode permet de choisir de manière exhaustive les filtres à appliquer):

server {
        ...
	# PageSpeed
        # enable ngx_pagespeed
        pagespeed on;
        pagespeed FileCachePath /var/ngx_pagespeed_cache;
        # Ensure requests for pagespeed optimized resources go to the pagespeed handler
        # and no extraneous headers get set.
        location ~ "\.pagespeed\.([a-z]\.)?[a-z]{2}\.[^.]{10}\.[^.]+" {
                add_header "" "";
        }
        location ~ "^/ngx_pagespeed_static/" { }
        location ~ "^/ngx_pagespeed_beacon$" { }
        location /ngx_pagespeed_statistics { allow 127.0.0.1; deny all; }
        location /ngx_pagespeed_global_statistics { allow 127.0.0.1; deny all; }
        location /ngx_pagespeed_message { allow 127.0.0.1; deny all; }
       ...
}

Ces lignes permettent:

  1. d'activer pagespeed (pagespeed on)
  2. de configurer le répertoire utiliser par PageSpeed pour cacher ses informations (FileCachePath)
  3. de s'assurer que les requêtes vers PageSpeed ne sont pas perturbées (location)

Pour le cache on utilise le répertoire /var/ngx_pagespeed_cache qu'il faut créer et configurer au niveau des droits pour que NGinx puisse y accéder (dans mon cas, le processus NGinx est lancé avec l'utilisateur www-data).

sudo mkdir /var/ngx_pagespeed_cache
sudo chown www-data:www-data /var/ngx_pagespeed_cache

Ensuite à la suite des autres lignes de la section server (ou http) on active les filtres souhaités. Voici un exemple des filtres que j'utilise sur mon serveur hébergeant ce blog:

server {
        ...
        # enable collapse whitespace filter
        pagespeed EnableFilters collapse_whitespace;
        # enable JavaScript library offload
        pagespeed EnableFilters canonicalize_javascript_libraries;
        # combine multiple CSS files into one
        pagespeed EnableFilters combine_css;
        # combine multiple JavaScript files into one
        pagespeed EnableFilters combine_javascript;
        # remove tags with default attributes
        pagespeed EnableFilters elide_attributes;
        # improve resource cacheability
        pagespeed EnableFilters extend_cache;
        # flatten CSS files by replacing @import with the imported file
        pagespeed EnableFilters flatten_css_imports;
        pagespeed CssFlattenMaxBytes 5120;
        # defer the loading of images which are not visible to the client
        pagespeed EnableFilters lazyload_images;
        # enable JavaScript minification
        pagespeed EnableFilters rewrite_javascript;
        # enable image optimization
        pagespeed EnableFilters rewrite_images;
        # pre-solve DNS lookup
        pagespeed EnableFilters insert_dns_prefetch;
        # rewrite CSS to load page-rendering CSS rules first.
        pagespeed EnableFilters prioritize_critical_css;
	# make Google analytics async
	pagespeed EnableFilters make_google_analytics_async;
}

Test et validation

Il existe tout un tas d'outils pour tester la vitesse de chargement de vos pages. J'utilise personnellement GTMetrix et  PageSpeed Insights. On peut ainsi facilement quantifier le gain de l'utilisation du module PageSpeed sur son site.

Il est clair que le module PageSpeed n'aura pas le même impact sur les les sites ayant pris en compte les problématiques de SEO et d'optimisation du chargement dès leurs conceptions que sur les autres. Mais au vu du faible overhead CPU et mémoire de ce module, je vous conseille de l'intégrer de base dans vos serveurs Web.

Utilisez-vous ce module (ou son pendant pour Apache ?) pour l'hébergement de vos sites ? Quels sont les filtres que vous mettez en place ?

Sources ayant servi à la rédaction de ce billet:

Cet article Installation de NGinx avec PageSpeed sous Debian est apparu en premier sur Le blog de NicoLargo.

Glances 1.7.4 est dans les bacs !

lundi 20 janvier 2014 à 17:30

Nouvelle version pour Glances, l'outil de supervision système que je développe avec d'autres contributeurs depuis maintenant quelques années. On commence par le traditionnel screenshot du client en mode console:

capture_154

 

Installation et mise à jour

L'installation de Glances sur votre machine (Linux, Mac ou même Windows) se fait via la ligne de commande:

pip install glances

La mise à jour n'est pas plus compliquée:

pip install --upgrade glances

 Au chapitre des nouveautés

On commence par la modification de l'affichage de la ligne résumant l'état des processus. On a séparé la notion de  'tasks' et de 'threads':

capture_155

Une nouvelle statistique au niveau de la CPU des machines GNU/Linux est affiché et disponible via l'API: la steal qui peut être utile de surveiller notamment si votre machine est virtuelle (plus d'information sur la mémoire steal en lisant ce très bon billet sur le sujet).

capture_157

On a également ajouté l'information d'uptime (temps écoulé depuis le dernier redémarrage de la machine). Cette information est disponible en haut à droite dans l'interface et bien évidement comme toutes les statistiques via l'API (methode getUptime).

capture_156

Il est maintenant possible, via le fichier de configuration de Glances de cacher certains disques ou interfaces réseau:

[iodisk]
# Define the list of hidden disks (comma separeted)
hide=sda2,sda5
[network]
# Define the list of hidden network interfaces (comma separeted)
hide=lo

Vous serez également heureux d'apprendre que Glances 1.7.4 consomme environ 10% de moins de CPU que la version précédente. En effet, certaines statistiques qui ne nécessite pas un rafraîchissement très fréquent sont maintenant mis en cache.

Enfin, un certain nombre de bugs ont été corrigés (voir la liste exhaustive ici).

Un grand merci aux contributeurs (Alessio en tête), aux packagers (qui vont avoir un peu de boulot) et aux bêta-testeurs !

En route pour la version Glances 2.0 (re-factoring complet, gestion par plugins...) !

Cet article Glances 1.7.4 est dans les bacs ! est apparu en premier sur Le blog de NicoLargo.

Tu fais quoi ?

jeudi 16 janvier 2014 à 17:30

Un premier billet en forme d'excuse pour les lecteurs de ce blog.

En effet, depuis quelques temps, je ne suis pas très actif sur ce site. Le (vrai) boulot et la (vraie) vie ne me laissent que trop peu de loisirs. J'ai donc fait le choix de privilégier mes autres activités dans le domaine des logiciels libres.

En tête de gondole, Glances va bientôt sortir en version 1.7.4. Je suis d'ailleurs à la recherche de bêta testeurs de la version RC notamment sur les systèmes d'exploitation BSD, Mac OS et Windows (suivre cette procédure pour l'installer sur votre système sans impacter la version de Glances existante).

glances-1.7.4

Ensuite, le script Python SxxExx permet de récupérer via la ligne de commande les torrents de vos séries préférés (juste les torrents hein, car télécharger les séries est interdit par Monsieur Hadopi... paix à son âme). En gros, l'idée est de pouvoir lancer des recherches (seulement sur Piracy Bay pour l'instant) en fonction du nom de la série, de la saison, de l'épisode.

Voici quelques exemples:

$ sxxexx -t homeland -s 3 -e 10
Homeland S3E10 name is "Good Night"
Title:   Homeland S03E10 HDTV x264-ASAP [eztv]
Seeders: 3567
Magnet:  magnet:?xt=urn:btih:522b99e066bf97753a9c0

$ sxxexx.py -t "Breaking bad" -s 5 -a
Breaking Bad has 16 episodes in season 5
*******************************************************************************
Title:   Breaking Bad - The Complete Season 5 [BDRip-HDTV] + EXTRAS
Seeders: 2097
Magnet:  magnet:?xt=urn:btih:82eb1fbb413038dd551eb8c5d4f6a891ff2d190f&dn=Breaking+Bad+-+The+Complete+Season+5+%5BBDRip-HDTV%5D+%2B+EXTRAS&tr=udp%3A%2F%2Ftracker.openbittorrent.com%3A80&tr=udp%3A%2F%2Ftracker.publicbt.com%3A80&tr=udp%3A%2F%2Ftracker.istole.it%3A6969&tr=udp%3A%2F%2Ftracker.ccc.de%3A80&tr=udp%3A%2F%2Fopen.demonii.com%3A1337
*******************************************************************************
Title:   Breaking Bad S05E16 REPACK HDTV x264-ASAP[ettv]
Seeders: 1928
Magnet:  magnet:?xt=urn:btih:24d076e1c0f041977346e7bbf4277ceccf1086b0&dn=Breaking+Bad+S05E16+REPACK+HDTV+x264-ASAP%5Bettv%5D&tr=udp%3A%2F%2Ftracker.openbittorrent.com%3A80&tr=udp%3A%2F%2Ftracker.publicbt.com%3A80&tr=udp%3A%2F%2Ftracker.istole.it%3A6969&tr=udp%3A%2F%2Ftracker.ccc.de%3A80&tr=udp%3A%2F%2Fopen.demonii.com%3A1337
*******************************************************************************
...

$ sxxexx -t "how i met your mother" -s 9 -e 9 -d
How I Met Your Mother S9E9 name is "Platonish"
Title:   How I Met Your Mother S09E09 HDTV x264-2HD [eztv]
Seeders: 3631
Magnet:  magnet:?xt=urn:btih:11633c741fe5e0a0774c2222cfa6c05

J'utilise ce script en parallèle d'un autre projet libre: Witsub. Ce dernier permet de rechercher, également en ligne de commande ("fuck the gui") les sous-titres des séries téléchargés.

 

Je participe également à d'autre développements. Je vous invite à suivre mon activité sur Github et à consulter la liste de mes repositories.

 

 

Cet article Tu fais quoi ? est apparu en premier sur Le blog de NicoLargo.

Ma playlist Spotify Top 2013

jeudi 26 décembre 2013 à 12:34

Comme chaque année, voici ma playlist Spotify avec une sélection des mes chansons coups de cœur de l'année 2013.

Bonne écoute et partagez avec nous vos playlists !

Cet article Ma playlist Spotify Top 2013 est apparu en premier sur Le blog de NicoLargo.

Utilisation des CTags avec Sublime Text

lundi 16 décembre 2013 à 08:46

capture_147CTags est un outil pour les développeurs permettant de construire un index des fonctions et classes utilisées. Cela permet donc à un éditeur de texte compatible avec CTags de ce déplacer rapidement et sans "parsing" inutile dans l’arborescence de votre projet. On peut ainsi, à l'aide d'une simple combinaison de touches, aller directement à la définition d'une fonction.

Nous allons dans ce billet voir comment installer et configurer CTags avec l'éditeur de texte Sublime Text 3 dans un environnement Debian/Ubuntu.

Note: la procédure est grosso modo la même pour d'autres éditeurs comme Vim , Emacs ou GEdit.

Installation de CTags

CTags est disponible dans les dépôts de toutes les distributions. Sous Ubuntu, une simple ligne de commande:

sudo apt-get install ctags

devrait suffire pour installer une version stable de CTags.

Note: Pour installer CTags à partir des sources, toutes les informations se trouvent sur le site officiel.

Création de l'index pour votre projet

Il existe de nombreuses manières pour construire les fichiers index CTags. La plus simple est de se rendre dans le répertoire de votre projet (par exemple ~/dev/monprojet) puis de saisir la commande suivante:

cd ~/dev/monprojet
ctags -R -f .tags

On demande donc au logiciel ctags de générer le fichier index nommé .tags (option -f .tags) à effectuant un parsing récursif (option -R) de l'arborescence de votre projet.

Ce fichier doit être régénéré à chaque ajout de fonction ou de classe. Cela se fait par une combinaison de touche dans SublimeText mais peut aussi être automatisé par un hook après un commit Git.

Installation du plugin Ctags dans Sublime Text

Je pars sur le principe ou votre Sublime Text est installé avec le plugin Package Manager (si ce n'est pas le cas, suivre cette procédure).

Une fois Sublime Text lancé, on commence par appuyer sur la combinaison de touche SHIFT+CTRL+P puis de saisir le mot clé Install Package. La liste des plugins disponibles va se charger, on cherche ensuite le plugin CTags et on l'installe.

Utilisation de CTags dans Sublime Text

Au démarrage de Sublime Text dans le répertorie de votre projet (~/dev/monprojet) , le fichier index de Ctags (.tags)  va automatiquement être chargé. Il ne vous reste plus qu'à utiliser les combinaisons de touches suivantes pour naviguer dans les classes et fonctions de votre code source:

CommandeKey Binding
Générer / Re-générer le fichier index CtagsCTRL+t, CTRL+r
Aller à la définition de la fonction/classeCTRL+t, CTRL+t
Revenir en arrièreCRTL+t, CTRL+b
Affiche la liste des fonctions/classes (fichier en cours)ALT+s
Affiche la liste des fonctions/classes (tous les fichiers du projet)ALT+SHIFT+s

Conclusion

L'utilisation des CTags apporte un gain de productivité non négligeable lors du développement logiciel. Le fait d'avoir une base commune et ouverte (le fichier .tags étant à plat et au format texte) permet de passer d'un éditeur à un autre sans perte de fonctionnalité.

Utilisez-vous les Ctags ? Si oui comment.

Partagez cela avec nous !

Cet article Utilisation des CTags avec Sublime Text est apparu en premier sur Le blog de NicoLargo.