PROJET AUTOBLOG

blog'o'm0le

source: blog'o'm0le

⇐ retour index

Nono's Vrac 97

lundi 12 août 2013 à 08:47

flygeyser

liste de lien du 01/07/2013 au 31/07/2013 :

Photo

---------

Les Nono's Vrac sont généré depuis mon petit hook de l'application shaarli, que j'utilise ici : shaarli.m0le.net

Nono's Songs : Paolo Conte - Via Con Me

mercredi 7 août 2013 à 09:55

Les Nono's Songs n'ont pas de but particulier si ce n'est de publier des musiques que j'apprécie.

Je ne donne aucune appréciation, je poste que des musiques, trouvées au détour du Net, ou d'un son/bruit que j'ai pu entendre quelques part ou avec quelqu'un. Ce n'est en aucun cas un signe de "nouveauté" ou un effet de mode quelconque.

Voici le non clip de Paolo Conte qui nous propose Via Con Me

MP4


WebM

Quelques limites de l'utilisation des données

jeudi 1 août 2013 à 19:03

Les données cachent en elles certains pièges insoupçonnés au premier abord. Petit tour d'horizon d'une poignée de ces derniers.

panneaux

Les biais statistiques

Le biais statistique est, dans la jungle des données, l'arbre qui cache la forêt. Mais qu'est donc un biais statistique ? Une sirène à laquelle on peut facilement céder lorsqu'une donnée isolée semble mettre en lumière un fait.

Exemple : en juillet 2008, le film Bienvenue chez les Ch'tis dépasse assez confortablement les 20 millions d'entrées. On crie au record : La Grande Vadrouille, film populaire par excellence, semble être un petit joueur avec ses "seulement" 17 millions d'entrées.

Sauf qu'en réalité ce film sorti en 1966 conserve bien le record du plus grand succès cinématographique en France, car il n'y avait alors dans la métropole un peu plus 49 millions de Français, contre un peu plus de 62 millions de gens à la sortie des Ch'tis.

En clair, 35% de la population française avaient vu les frasques de Bourvil et de Funès, contre 33% pour le duo Boon-Merad. Le constat du détrônement de La Grande Vadrouille par les Ch'tis est donc biaisé, puisqu'il aurait fallu pour cela approcher les 22 millions d'entrées.

Prendre en référence une valeur absolue sans tenir compte des durées d'écart est un biais statistique très courant, que l'on a également vu récemment avec le dépassement symbolique, en avril dernier, du nombre de demandeurs d'emplois de 1997. En 16 ans, les rangs des Français pouvant travailler ont forcément grossi, et la valeur absolue dépassée est relative.

Deux autre biais statistiques, très utilisés pour porter les analyses les plus extrêmes, doivent être connus :

Des données parfois contestables

Je cherchais il y a plusieurs mois des données pour m'entraîner à la cartographie. Après avoir un peu prospecté, je suis tombé sur ce qui paraissait être une mine d'or avec une carte interactive consacrée à la protection du Grand hamster d'Alsace.

Les données géographiques pouvaient être triées, formatées pour différents logiciels, et elles émanaient de l'Office national de la chasse et de la faune sauvage (ONCFS). Que du bon, en somme.

Mon idée était, après quelques tâtonnements techniques, de commenter ces cartes avec des membres d'associations écologistes. Au fil de la discussion, je me suis très vite rendu compte que les données que je pensais difficilement contestables, étaient en fait sujettes à caution.

Le principal problème soulevé était les zones de prospection. Mon interlocuteur m'expliquait que l'ONCFS ne prospectait pas certaines zones où des hamsters pouvaient se trouver assez isolés, comme par exemple sur les bords de sentiers.

Du coup, l'exploitation brute des données de recensement de terriers pouvaient être contestée, parce que toutes les zones habitables par l'animal n'avaient pas été quadrillées.

Un autre exemple de données contestables m'est apparu plus tard avec un récit relaté par le chercheur Sylvain Parasie. Il explique à Philippe Couve qu'une équipe de journalistes américains avait procédé à un travail de vérification titanesque sur une BDD d'écoles à risques.

Ce recensement numérique des écoles situées sur la faille de San Andreas était en fait devenu obsolète après le redécoupage de la zone à risques. Il fallait donc vérifier auprès de centaines d'écoles si elles étaient toujours concernées ou non.

Bref, attention aux données qui ont dépassé les 2-3 ans, elles peuvent cacher bon nombre de pièges !

Edit

Je suis retombé il y a peu sur cette chronique de l'éloquent François Morel. Avec le recul, elle résume assez bien ce que je pense de certaines analyses statistiques :-) !

 

Un peu plus compliqué que ça ! par franceinter

Faites vos propres "Nono's Songs"

jeudi 1 août 2013 à 09:00

Ce micro article fait suite à un petit changement dans ma méthode de création de Nono's Songs.

Comment je fais d'habitude ?

1) J'entends une chanson, j'en trouve le titre, et la meilleure vidéo sur youtube.

2) Je vais sur mon serveur (via ssh) et je lance mon script avec le lien en argument, qui me donne :

3) J'écris l'article, avec les liens des vidéos précédemment téléchargées.

J'utilisais depuis les premières éditions l'outil movgrab qui remplissait jusqu'à aujourd'hui, parfaitement son rôle. Le tout via un petit script que j'avais rapidement fait.

En préparant le Nono's Songs "No Church In The Wild", impossible de télécharger les vidéos, je me suis donc mis dans l'idée de trouver un autre utilitaire : youtube-dl.

Du coup, j'ai refait un petit script (vraiment sans prétention...), que je vous mets ici (ils sont disponibles sur github) si vous aussi vous avez envie de faire vos Nono's Songs :)

Script movgrab (movgrabm0le sur github):

#!/bin/bash
dir="/home/blog/video";
cd $dir;
url=$1;
id=`echo $url | cut -d"=" -f2`
echo "http://img.youtube.com/vi/$id/0.jpg"
echo $url
movgrab -T $url 2>/tmp/movgrab;
mp4=`grep "mp4" /tmp/movgrab | sed -e "s/\(mp4:[0-9]*x[0-9]*\)/#\1#/" | cut -d'#' -f2`;
echo "movgrab -f $mp4 $url";
movgrab -f $mp4 $url;
webm=`grep "webm" /tmp/movgrab | sed -e "s/\(webm:[0-9]*x[0-9]*\)/#\1#/" | cut -d'#' -f2`;
echo "movgrab -f $webm $url";
movgrab -f $webm $url;
chown 33.33 ${dir}/*;

Script youtube-dl (youtube-dlm0le sur github) :

#!/bin/bash
dir="/home/blog/video";
cd $dir;
url=$1;
id=`echo $url | cut -d"=" -f2`
echo "http://img.youtube.com/vi/$id/0.jpg"
echo $url
youtube-dl -F $url > /tmp/youtube-dl;
mp4=`grep "mp4" /tmp/youtube-dl | head -n 1 | sed -e "s/\(^[0-9]*\)/#\1#/" | cut -d"#" -f2`;
webm=`grep "webm" /tmp/youtube-dl | head -n 1 | sed -e "s/\(^[0-9]*\)/#\1#/" | cut -d"#" -f2`;
echo "youtube-dl -f $mp4 $url (mp4)";
youtube-dl -f $mp4 $url;
echo "youtube-dl -f $webm $url (webm)";
youtube-dl -f $webm $url;
chown 33.33 ${dir}/*;

Nono's Vrac 96

lundi 29 juillet 2013 à 11:50

seaman_9_905

liste de lien du 01/06/2013 au 01/07/2013 : Soit tout juste le mois de Juin 2013 au complet !

Photo

---------

Les Nono's Vrac sont généré depuis mon petit hook de l'application shaarli, que j'utilise ici : shaarli.m0le.net