L'année 2016 du Carnet du Maker en chiffres et en images

Pour 2017, il faudra encore attendre un peu

par skywodd | April 18, 2017 | Licence (voir pied de page)

Catégories : Blog | Mots clefs : News

Cet article n'a pas été mis à jour depuis un certain temps, son contenu n'est peut être plus d'actualité.

---

Dans cet article de blog, je vous propose de faire une petite rétrospective de l'année 2016. Ce sera en bonus l'occasion de vous parler du futur du site et des nouveautés à venir.

Sommaire

• Avant de commencer
• L'année 2016 en chiffres
  • Des requêtes comme s'il en pleuvait
  • Pages vues et visiteurs uniques par semaine
  • Répartition des URLs
  • Répartition des navigateurs
  • Répartition des systèmes d'exploitation
• L'année 2016 du point de vue d'un administrateur système
  • Le problème des flux RSS
  • Attaques par déni de service et aspirateurs de site
  • Référencement du site sur les moteurs de recherche
• Les évolutions à venir
• Conclusion

Bonjour à toutes et à tous !

Lors du lancement du site, il y a plus d'un an déjà, j'avais dit que je ferais un article "statistique" après un an d'existence … et j'ai complètement oublié. Oups.

Je rattrape donc le coup avec cet article. Seulement 4 mois de retard, on a vu pire ! (désolé).

Bref, les chiffres sont là, je vous propose donc de voir comment s'est passée l'année 2016 en chiffres et en images.

Avant de commencer

Avant de commencer, je souhaiterai remercier tous mes lecteurs et lectrices. Sans vous ce site ne serait qu'une coquille vide. Un grand Merci à vous tous et à vous toutes !

Vous avez été nombreux à suivre mes écrits et à me soutenir durant l'année 2016. J'espère que vous serez encore plus nombreux en 2017. Au passage, le site Carnet du Maker a officiellement dépassé l'historique blog Skyduino en nombres de pages vues journalières et de visiteurs il y a tout juste deux semaines. Champagne !

L'année 2017 va être une année charnière pour le site. D'ici peu, les choses vont bouger (dans le bon sens) et j'espère pouvoir compter sur vous pour faire du Carnet du Maker une référence dans le domaine de l'électronique amateur francophone

N.B. J'ai prévu un second article pour détailler un peu plus en détail ma vision de l'avenir, comment le site va évoluer (quoi, comment et pourquoi), le financement du site, le TamiaLab et ses services, etc.

L'année 2016 en chiffres

Commençons par les chiffres bruts, garantis sans trucage, sans emploi fictif et sans OGM

Durant l'année 2016, il y a eu :

• 57 nouveaux articles (69 depuis janvier en comptant celui-ci),

• 633 nouvelles images et illustrations (ça ne rigole pas !),

• 112 nouveaux extraits de code,

• 254 nouveaux utilisateurs inscrits.

L'année 2016 a été productive !

J'ai réussi tant bien que mal à suivre le rythme d'un article par semaine que je m'étais fixé, tout en continuant le développement du site en parallèle. Cependant, il est vrai que certains articles étaient moins recherchés que d'autres et que la régularité des publications était loin d'être parfaite (huummm, désolé).

À terme, j'espère pouvoir atteindre mon objectif de deux articles par semaine. Pour le moment, cela n'est pas possible, car j'ai à la fois la rédaction des articles et le code du site à terminer en parallèle.

Petites stats sympas, en moyenne, j'inclus deux extraits de code par article et une dizaine d'images. J'adore les images, cela casse la monotonie du texte et illustrent efficacement les propos.

Au passage, cela peut sembler être un détail, mais tous mes extraits de code et mes images d'illustrations sont de ma fabrication. Je n'utilise aucune ressource que je n'ai pas moi-même réalisée.

Par le passé, sur le blog Skyduino, il m'arrivait d'utiliser des images de Wikipedia ou de Google Image, cela était systématiquement source de problèmes. Avec Carnet du Maker, tout est fait maison. Cela demande du travail (surtout pour les illustrations, graphiques, etc.) et parfois le résultat n'est pas fabuleux (les miniatures d'articles par exemple), mais au moins je n'ai plus à me soucier des droits d'utilisation et de licence.

Des requêtes comme s'il en pleuvait

Durant l'année 2016, le serveur web du TamiaLab a reçu plus de 4 millions de requêtes diverses et variées (images, flux, robots, etc.). Rien de bien spectaculaire dans le domaine du web, mais cela ne représente quand même un historique de 1,64Go à passer à la moulinette pour en extraire des chiffres intéressants.

Comme on peut le voir sur le graphique (par jour), le trafic du site à augmenter lentement mais sûrement tout au long de l'année. C'est un début prometteur.

Plusieurs gros pics de trafic sont visibles sur le graphique. Ceux-ci sont dus à des citations sur de "gros" sites ou sur les réseaux sociaux. Le plus gros pic est lié à une triple publication coup sur coup dans la même semaine sur le webzine Hack-a-day.

Bonne nouvelle, d'après les statistiques, le serveur n'a planté que 3 … 4 … 34 fois … Heu, oubliez ce que je viens de dire. Je suis un très mauvais administrateur système. Plus sérieusement, j'ai bien peur qu'un changement de serveur (ou à défaut une réinstallation complète) ne s'impose à court terme, celui actuel donne des signes inquiétants de fatigue.

Pages vues et visiteurs uniques par semaine

Le nombre de requêtes n'a pas grand intérêt pour faire des statistiques. Le moindre chargement de page web déclenche l'envoi de dizaines de requêtes. Ce qui est intéressant par contre ce sont les pages vues et le nombre de visiteurs uniques.

N.B. J'ai filtré les pages vues "non humaines" (flux RSS, robots, moteurs de recherche, etc.) avant de faire les graphiques. Ce serait bien trop facile d'avoir des statistiques fabuleusement élevées sans filtrage. Les graphiques se basent uniquement sur les pages vues des articles, tout le reste (images, extrait de code, forum, etc.) est ignoré.

Durant l'année 2016, le nombre de pages vues est passé d'une centaine par jour début janvier, à prés de 1 900 aujourd'hui. Wooo ! Une tendance se dessine, on voit bien que la courbe monte et tant mieux.

Le pic lié à la triple publication sur Hack-a-day est clairement visible (augmentation des pages vues et des visiteurs). Cependant cela n'a pas causé une augmentation massive des visiteurs après coup. On peut donc en déduire que les lecteurs de Hack-a-day sont principalement des lecteurs occasionnels ou que mon contenu/site n'a pas su fidéliser le lecteur. Malheureusement, je n'ai aucun moyen de savoir laquelle de ces hypothèses est la bonne.

Pour les autres pics, l'explication est selon moi assez simple : j'ai publié plusieurs articles durant la même semaine.

On est encore (très) loin des statistiques d'un site grand publiques comme NextInpact, mais passer la barre des 2 000 pages vues par jour, c'est déjà quelque chose. Aujourd'hui des milliers, demain des millions, puis se sera la conquête du monde ! **rire diabolique**

Pour les curieux qui se posent la question, la semaine 54 n'est autre que la semaine de Noël / Nouvel An. Manifestement, beaucoup de lecteurs ont fait la fête cette semaine-là et ils ont eu bien raison

PS On remarquera qu'il y a un ratio de deux entre visiteurs uniques et pages vues. C'est un ratio relativement classique qui me laisse penser que mes statistiques ne sont pas trop loin de la réalité.

Répartition des URLs

Le site CDM est constitué de multiples applications (plus d'une trentaine), chacune effectuant une tâche bien précise. Savoir ce qui est le plus utilisé - et donc, quoi optimiser en priorité - est particulièrement important pour moi en tant que développeur et administrateur du site, surtout vu la montagne de bugs qui se cache encore dans le code du site.

Plus de la moitié - presque les trois quarts - des URLs demandées pointent vers des fichiers statiques (images, fichiers, etc.). Pour des raisons budgétaires, le site CDM n'utilise pas de réseau de distribution (CDN) pour ces fichiers statiques. C'est le même serveur web qui gère les pages de contenu et les fichiers statiques. Forcément, vu le nombre d'images dans mes articles, cela représente une bonne partie du travail du serveur.

Idéalement, je pourrai mettre en place un CDN pour décharger le serveur du "sale boulot" de fourniture des fichiers statiques. Pour le moment, vu le trafic du site, cela n'est pas un souci, mais c'est toujours bon à garder en tête.

Les deux applications du site les plus utilisées sont (sans surprise) : les articles et le forum. Suivi ensuite par les images, la page d'accueil, les annonces et les extraits de code.

Pour être franc, je suis un peu surpris de voir les extraits de code après les annonces et la page d'accueil. Il semblerait que peu de lecteurs passent par le lien en dessous des extraits de code dans mes articles pour télécharger le fichier "prêt à l'usage". Je ne sais pas si cela est dû à une mauvaise "publicité" de la fonctionnalité de ma part ou si celle-ci ne vous intéresse tout simplement pas. J'attends votre point de vue en commentaire

Un gros travail de refonte a été fait sur la partie article (mise en ligne prévue sous peu), pour le forum … tout reste à (re)faire. Il y a tellement de bugs dans cette **censuré** que j'ai pris la décision de refaire entièrement la partie forum du site, en repartant sur de bonnes bases.

Si j'avais une machine à remonter dans le temps, je collerais une belle paire de claques à mon ancien moi qui a eu l'idée saugrenue de faire autant de mauvais choix techniques lors de la conception de la partie forum. C'est une telle horreur que le forum a tenté de se suicider en début d'année.

Plus sérieusement, il est évident qu'un gros travail de refonte va être nécessaire sur le forum. Ne serait-ce que pour résoudre les innombrables bugs d'affichage qui résistent encore et toujours. C'est d'autant plus nécessaire que celui-ci est de plus en plus populaire.

Répartition des navigateurs

Le gros souci avec le web, c'est la multitude de navigateurs web différents. Chaque navigateur a sa petite particularité qui rend le travail de développement web particulièrement difficile.

J'ai par exemple des pages du site qui fonctionnent parfaitement sous Chrome, mais qui ne sont pas alignées sur Firefox (ou inversement). Ajoutez à cela la compatibilité PC, mobiles et tablettes (obligatoire de nos jours), je vous laisse imaginer le casse-tête.

Il ya donc un tiers de mes lecteurs sous Chrome, un tiers sous Firefox et un tiers sur des variantes mobiles (Chrome mobile, Safari, Opera) ou désuètes (Internet Explorer, Edge).

N.B. Pour info, je teste le site CDM sur Chrome (principalement) et Firefox. Normalement, le site fonctionne sans soucis sur les versions mobiles de ces deux navigateurs.

Répartition des systèmes d'exploitation

Du côté des systèmes d'exploitation, c'est Windows qui est en tête, sans grande surprise. Windows 7 et Windows 10 sont en top position.

Très franchement, voir Windows 10 en seconde position me laisse perplexe. Ce Vista des temps moderne, bourré de bugs et de choses infâmes est en seconde place ? Arf.

Hormis Windows, il y a pas mal d'Android (ce qui est logique, Android est partout de nos jours), d'Apple et d'Ubuntu. Je dois avouer ne pas tester le site sous Mac ou Linux.

PS Note pour les utilisateurs de Windows XP ou Window Vista : il serait peut-être temps de penser à migrer vers une version plus récente de Windows, ou vers Linux (ou Mac, pas de jaloux). C'est une simple remarque, n'y voyez pas d'agression ou autre.

L'année 2016 du point de vue d'un administrateur système

L'année 2016 a été forte en émotions, en articles et projets, mais aussi malheureusement en problèmes.

Parmi tous les problèmes rencontrés (et il y en a eu un paquet), il y en a trois en particulier que je voudrais détailler avec mes lecteurs.

Le problème des flux RSS

J'ai un gros problème avec les flux RSS, ou plus précisément avec les agrégateurs de flux (les programmes qui récupèrent les flux RSS pour les afficher).

Comme le montre le graphique ci-dessus, il ya beaucoup plus de "vues" via les flux RSS que via le site lui-même. Que ce soit pour les articles, le forum ou les annonces.

Pour diverse raison technique, chaque demande de flux RSS est traitée directement par le serveur (je n'utilise pas de serveur cache). Dans les faits, afficher un flux RSS demande quasiment autant de temps et de ressources que d'afficher la version web d'un article.

Le souci, c'est que certains utilisateurs configurent (involontairement, je l'espère) leurs agrégateurs de flux RSS de manière totalement fantaisiste. Certains questionnent les sites à la recherche de mise à jour du contenu toutes les 5 à 10 minutes. Sans même se douter du trafic monstre que génère ce genre de pratiques. Et c'est encore pire quand l'agrégateur de flux est un web service hébergé sur un serveur distant avec un accès très haut débit à internet.

Aucun site web ne met à jour son contenu toutes les 10 minutes ! À part les gros sites de presse "en continu", personne ne publie plus d'un article par heure. Inutile donc de rafraichir les flux RSS plus d'une fois par heure (comportement par défaut de Firefox et Thunderbird).

Ce problème de quasi-déni de service avec les flux RSS est une vraie plaie du web. Je ne suis pas le seul administrateur de site web à me plaindre de cela. Aucun agrégateur de flux ne devrait pas permettre le rafraichissement des flux RSS plus d'une fois par tranche de 15 minutes.

Pour vous donner un exemple du grand n'importe quoi auquel je dois faire face avec les flux RSS, il y a quelques mois, j'ai eu à gérer le cas d'un lecteur avec un agrégateur de flux RSS mal configuré sur son serveur. Celui-ci demandait le flux RSS des articles du site (et sûrement de beaucoup d'autres) toutes les quatre secondes. Vous avez bien lu, une demande de flux RSS toutes les quatre secondes.

Par pitié, si vous utilisez un agrégateur de flux RSS, vérifiez sa configuration. Un rafraichissement toutes les 60 minutes est largement suffisant.

Attaques par déni de service et aspirateurs de site

Durant l'année écoulée, j'ai aussi du faire face à plusieurs problèmes plus qu'imprévus.

Pour commencer, à trois reprises, le site CDM a été la cible d'attaques par déni de service. Je vous rassure, rien de bien méchant ("seulement" plusieurs centaines de requêtes par seconde). C'était des attaques de faibles envergures. Le serveur a tenu la charge et personne n'a (normalement) remarqué l'attaque. Cela dit, ce genre de chose me désole au plus haut point.

J'ai aussi remarqué à plusieurs reprises que certaines personnes utilisaient des aspirateurs de site pour avoir une copie locale des articles. En soi, cela ne me dérange pas. J'accorde à mes lecteurs le droit de garder une copie des articles pour une lecture ultérieure "hors ligne" (voir CGU en bas de page). Du moment que la copie n'est pas distribuée à un tiers, ça me va (dans le cas contraire, mon autorisation préalable est requise).

Cependant, il y a une limite à toute bonne chose. Aspirer l'intégralité du site avec un logiciel automatisé n'est par exemple pas acceptable. Surtout quand le logiciel en question est configuré pour utiliser chaque octet de bande passante disponible afin d'accélérer au maximum la copie. C'est encore plus énervant quand cela provient du réseau interne d'une grande université française.

PS Je tiens au passage à décerner le "stupidity award" à la personne qui a tenté d'aspirer le site CDM en oubliant de configurer la limite de profondeur de la copie. Je vous laisse imaginer ce qu'il s'est passé quand le logiciel de copie est tombé sur une page pointant vers elle même. Heureusement que je ne paye pas la bande passante du serveur …

En mettant en ligne le site CDM, j'avais fait le choix de ne pas mettre en place de restrictions au niveau du serveur web. J'espérai naïvement ne pas avoir à instaurer de limite sur le nombre de requêtes par minute. Malheureusement, au vu des multiples abus constatés durant l'année écoulée, je vais y être obligé.

Référencement du site sur les moteurs de recherche

Un autre problème que je vais devoir résoudre rapidement, c'est celui du référencement du site sur les moteurs de recherche (Google, Bing, etc.). C'est un fait, le site CDM est très mal classé dans les moteurs de recherche, même sur des mots clefs comme "arduino ds18b20".

Le site est bien présent dans les résultats, mais généralement en seconde page. Or comme le dit l'expression : la seconde page de résultat de Google est le meilleur endroit pour cacher un corps.

J'ai pas mal de boulot en perspective de ce côté-là … Priez pour mon âme, je sens que cela va être difficile

Les évolutions à venir

Assez parler de problèmes, parlons de l'avenir.

En ce moment, je fais pas mal de modifications sur le code du site. Sauf qu'au lieu d'ajouter du code, j'en supprime. Je factorise le code et les fonctionnalités en double. Je supprime (ou remplace) des fonctionnalités inutiles. Mon but est de simplifier au maximum aussi bien le code que l'aspect du site. Je trouve celui-ci trop lourd, trop complexe. Il ya trop de "bruit" autour du contenu.

Je veux mettre en avant le contenu, plutôt que l'entourage. Je veux rendre le site plus simple à utiliser, même (et surtout) pour des personnes ne maitrisant pas bien l'outil informatique. Exemple tout bête : le bouton "connexion" en haut à droite qui permet de se connecter ou de s'inscrire au site. J'ai remarqué que pour certaines personnes, cela n'était pas intuitif d'avoir le lien d'inscription dans le menu connexion. Ces personnes cherchent alors le bouton inscription sans le trouver. C'est un problème.

Pour résumer : moins il y aura de choses qui peuvent planter ou être mal utilisé/compris, mieux ce sera.

D'ici peu, une nouvelle version du site sera en ligne, avec pas mal de changements plus ou moins visibles. Le changement le plus important sera la mise en place des abonnements. J'en parlerai dans mon prochain article. Pour résumer, les abonnements sont véritablement la seule solution que j'ai pu trouver pour permettre au site de survivre dans le temps, sans tomber dans les pièges de la publicité et du publirédactionnel. Pas d'inquiétude, les abonnements ne vont pas pour autant rendre le site payant, loin de là.

Il y aura aussi de gros changements au niveau de la mise en ligne des modifications du site. Au lieu d'attendre plusieurs mois qu'un lot de modifications soit terminé, je vais partir sur une logique de plusieurs petites mises à jour régulières. Le but est d'éviter que des bugs restent en l'état en attendant que des travaux en cours soient terminés.

J'ai aussi en préparation un module permettant aux membres du site de soumettre des idées d'articles et de voter pour leurs idées préférées. Pour le moment, c'est en cours de conception.

Conclusion

Pour conclure cet article, je vous propose de me dire en commentaire tout ce qui vous passe par la tête concernant le site. Évolutions possibles, choses qui vous agacent, choses qui vous plaisent, c'est le moment d'ajouter votre grain de sel à l'édifice.

Et si vous avez des questions, c'est l'occasion de les poser

---

Cliquez ici pour accéder aux commentaires de l'article.