Maniatux's Blog

Welcome to the internet

Linux

Aperçu de Xen Orchestra

Rédigé par Xavier - - 11 commentaires

Xen Orchestra est une interface web qui s'appuie sur xapi pour piloter un serveur Xen. Il est possible créer des VMs, les monitorer, faire des snapshot, attacher des SR et gérer des ACL pour les utilisateurs autorisés à se connecter à la console. Étant très intéressé par la virtualisation et Xen, j'ai testé cette solution et je dois dire que je suis plutôt impressionné.

Lire la suite de Aperçu de Xen Orchestra

Les solutions de virtualisation sur Linux

Rédigé par Xavier - - 5 commentaires

Depuis 5 ans environ je m'intéresse de près aux solutions de virtualisation sur Linux. J'ai eu l'occasion d'en utiliser plusieurs et j'ai décidé de rédiger un court article à ce sujet. Pourquoi court ? Simplement parce que chaque solution mérite un livre entier et qu'en un article je ne peux tout résumer efficacement.

Notez que dans l'article je vais omettre volontairement 3 solutions :

  • VServer car je ne l'ai jamais utilisé
  • Docker car je ne l'ai jamais utilisé non plus et selon moi il se destine plus au packaging d'applications
  • Virtualbox car trop vaste et pas très utilisé sur les serveurs

OpenVZ

OpenVZ est en quelques sortes la solution historique de virtualisation basée sur les containers sous Linux. C'est un outil puissant qui permet de faire fonctionner plusieurs systèmes invités avec limitation du CPU, RAM, quota de disque mais surtout émulation du /proc et /sys ce qui permet au système invité de voir réellement les ressources allouées. Par exemple si on définit une limite de 256Mo de RAM, un htop montrera que votre système dispose 256Mo de RAM. Si on alloue 10GB de disque, df montrera 10GB. Cela rend OpenVZ idéal si vous souhaitez fournir des VPS à vos clients, car ils seront à la fois isolés et transparents pour l'utilisateur.

Deux inconvénients majeurs à OpenVZ : ce n'est pas un projet upstream (nécessite d'utiliser un kernel patché) et l'inertie du projet. Le dernier kernel supporté par OpenVZ est le 2.6.32 ce qui nous ramène tout de même en 2010 (c'est le kernel de rhel6). Dans un billet de blog l'équipe d'OpenVZ défend ce choix : le 2.6.32 n'est pas vieux, il est "stable et éprouvé". Il faut tout de même constater qu'en 2015 le 2.6.32 peut être pesant, face à certaines technologies qui nécessitent un kernel récent (systemd). Un travail est en cours pour qu'OpenVZ soit utilisable sur un kernel upstream récent, malheureusement il est loin d’être fonctionnel. Fin 2014 l'équipe OpenVZ a annoncé une simplification dans leur fonctionnement : Virtuozzo (version propriétaire) et OpenVZ (version libre) vont fusionner et une version compatible kernel 3.10 sera disponible. Pas de date annoncée, juste "début 2015" et pas de nouvelles depuis.

Il faut noter également que dans un container il n'est pas possible de charger des modules noyau, vous devez le faire sur l'hôte. Par exemple si vous souhaitez utiliser fuse ou iptables, vous devez au préalable charger les modules sur l'hôte. Cela peut être un avantage (sécurité) ou un inconvénient (si votre hébergeur n'a pas chargé les bons modules sur l'hôte, c'est fichu pour vous). Autre point intéressant : OpenVZ est la solution utilisée par OVH pour ses VPS Classic.

LXC

LXC est un ensemble d'outils permettant d'utiliser les cgroups pour la virtualisation basée sur les containers. Contrairement à OpenVZ qu'il vise à remplacer, LXC est upstream. Malheureusement son évolution est très lente, et il y a encore beaucoup de manques qui ne sont toujours pas comblés malgré les années. Cela va de la faille de sécurité au désagrément. Deux exemples : tout d'abord un utilisateur root dans un container qui arriverait à écrire sur l'hôte serait toujours considéré comme root, l'isolement n'est donc pas parfait. Ce point est colmaté plus ou moins efficacement par SELinux, Apparmor ou par le mode "unprivileged" de LXC qui pose à mon sens beaucoup plus de désagréments que d'avantages. Autre point négatif, LXC n'émule pas de /proc ni /sys. Donc si on alloue 256Mo de RAM à notre container et que l'on lance htop dans ce dernier, la quantité de RAM affichée sera faussée (ce sera celle de l'hôte, par exemple 8GB), idem pour df et l'espace disque. Impossible de louer des VPS à des clients puisque les informations du système qu'ils verront seront seront celles de l'hôte, donc faussées.

LXD et LXCFS doivent palier ce manque, malheureusement ces projets sont encore jeunes (fin 2014) et pas du tout utilisables à l'heure actuelle. LXD va permettre de lancer de manière simple des containers en mode "unprivileged" avec une surcouche Apparmor pour parfaire l'isolement. LXCFS va émuler /proc et /sys ce qui va non seulement permettre au container de voir réellement les ressources qui lui sont allouées, mais aussi résoudre certains problèmes quand on empile les instances de systemd.

Xen

Xen est une solution complexe et particulière, à mi chemin entre la vraie virtualisation et les containers. C'est un mini système d'exploitation qui démarre en premier et qui se comporte comme une sorte de switch entre vos systèmes invités pour l'accès au matériel. C'est une solution particulière pour deux raisons : votre système d'exploitation hôte devient Dom0, il n'est plus le maître, c'est un invité tournant sur Xen pour lequel vous devez allouer des ressources. Le rôle Dom0 lui permet de piloter Xen. Ensuite il nécessite que vos systèmes invités soient "compatibles" Xen. C'est le cas pour Linux en upstream ainsi que FreeBSD et NetBSD dans des versions spécifiques, mais pas Windows.

Pour faire tourner Windows dans Xen, il faut invoquer le mode "HVM" qui va alors fonctionner plus ou moins comme KVM, c'est à dire avec la virtualisation CPU. A cela s'ajoutent différents modes: PVHVM et PHV qui correspondent à différents niveaux de mélanges entre la virtualisation CPU et la paravirtualisation. Xen est une science à lui tout seul et il y a de quoi y passer des jours.

Contrairement aux containers limités à Linux, Xen supporte plusieurs systèmes d'exploitations, dans plusieurs versions. En effet chaque système invité (DomU) charge son kernel, ce qui offre plus de libertés (par exemple la possibilité de charger des modules). Et là encore, l'isolement est très bon ainsi que la visibilité des ressources allouées, ce qui permet d'utiliser Xen si vous souhaitez fournir des VPS.

Xen est utilisé entre autres par AWS (le cloud Amazon).

KVM

KVM est la solution phare de virtualisation sous Linux, poussée par Red Hat qui base plusieurs solutions dessus. KVM est une puissance brute entourée d'excellents composants tels que VirtIO qui ajoute de la paravirtualisation dans les périphériques virtuels. Avec les instructions de virtualisation et un bios émulé, KVM permet de faire fonctionner quasiment n'importe quel système d'exploitation.

Malheureusement, le gros défaut selon moi de KVM est le manque d'outils simples à utiliser. Virt-manager est à mon sens trop bugué pour convaincre, et ce depuis des années. oVirt est en revanche excellent mais taillé pour les grosses infrastructures. Au final KVM est peut être un peu trop restreint aux professionnels qui peuvent bâtir une infrastructure conséquente pour y faire tourner du oVirt ou de l'Openstack.

Conclusion

A chaque solution son usage et le sujet est tellement vaste qu'il est difficile de conclure. Néanmoins je constate que LXC n'est toujours pas mûr, OpenVZ reste devant. Pour ceux qui ont les moyens, l'infrastructure et des besoins spécifiques, KVM et Xen sont des solutions toutes indiquées même si à mon sens KVM sera plus logique pour les sysadmin habitués à VMware.

Blacklist all the spammers !

Rédigé par Xavier - - Aucun commentaire

Last days I received lots of spams comments, about ~100 per day. I run Pluxml on my own server so I decided to blacklist their source IPs, with the following method :

  1. Make sure that all the spam comments are offline (waiting for moderation), make sure to validate all legit content.
  2. Exctract the IPs from the .xml files in the server (each comment has its own .xml, with a _ prefix if offline) with a script.
  3. DROP these IPs in iptables.

This is not really clean but it's a fast solution. Just be careful, don't drop legit IPs.

get-ips.sh

#!/bin/sh
#
awk '/<ip>/ {gsub("<[^>]*>", ""); print}' /path/to/pluxml/data/commentaires/_* >> ./ip.txt

Execute ./get-ips.sh you will get a ip.txt file.

blacklist-ips.sh

#!/bin/sh
#
IP="./ip.txt"
if [ -f $IP ]; then
        while read BLOCKED; do
                iptables -I INPUT -s $BLOCKED -j DROP
        done < $IP
fi

This script will read /root/ip.txt and will blacklist the content in iptables.

This is volatile so don't forget to save your iptables configuration or your blacklist will be lost if you reboot your server.

Manjaro et Nvidia Optimus

Rédigé par Xavier - - 4 commentaires

J'ai eu l'occasion de bidouiller un ordinateur portable DELL fonctionnant avec un hardware Intel + Nvidia Optimus. Le principe est intéressant sur papier, c'est l'APU Intel qui est relié physiquement à l'écran ainsi qu'aux connecteurs, et il est capable de déléguer les calculs de rendu au GPU Nvidia lorsque nécessaire. Bien sûr en pratique cela ne fonctionne pas très bien sur Linux, à cause des pilotes Nvidia non libres et du vieillissant Xorg pas vraiment prévu pour fonctionner comme ça.

Cependant des courageux ont développé des outils comme bumblebee pour gérer la cohabitation Intel / Nvidia sur Linux. Manjaro va plus loin encore plus loin puisqu'un outil graphique facilitant la mise en place est disponible. De plus, si vous démarrez un LiveCD / LiveUSB, une option est disponible dès le boot pour activer les pilotes propriétaires (Optimus est pris en charge).

Cependant je ne sais pas si cela fonctionne correctement. Selon les applications utilisées, l'APU Intel sera parfois plus performant que le GPU Nvidia. Par exemple Stellarium est beaucoup plus rapide sur Intel que Nvidia, alors que pour Minecraft c'est l'inverse. Au moins, par défaut, c'est l'Intel qui fonctionne et la Nvidia semble désactivée puisque l'autonomie batterie est excellente.

$ java -jar Minecraft.jar # 30FPS avec Intel
$ optirun java -jar Minecraft.jar # 70FPS avec Nvidia GT720M

Si la solution semble fonctionner correctement et surtout ne pas pénaliser l'autonomie batterie, ce n'est pas encore parfait. Les technologies "hybrides" graphiques sont à éviter si vous utilisez autre chose que Windows. Le mieux reste de choisir du 100% Intel.

Et hop ! Un deuxième VPS chez OVH...

Rédigé par Xavier - - 8 commentaires

Mon serveur @home est la cible d'attaques de type SYN flood depuis quelques temps. Au début elles n'étaient pas très importantes mais depuis peu elles ont gagné en intensité, m'obligeant à bloquer une dizaines d'IP par jour (à la main). Les différentes astuces sur le web faisant appel à iptables ou au fichier sysctl.conf ont aidé, mais devant la virulence de l'attaque je dois toujours intervenir pour bloquer les IP.

Mon serveur @home tourne sous Debian Jessie et fourni plusieurs containers LXC dont un qui fait tourner une instance Yunohost et héberge mes mails. Quand une attaque violente se produit les mails ont des difficultés à arriver et j'ai du mal à les lire. De plus cela sature mon routeur en amont (la Bbox) ce qui me ralenti la connexion à internet pour toutes les machines du réseau (ping 6000ms, 50% de pertes de paquets).

Aujourd'hui je suis à court d'options, mon serveur ne semble pas assez robuste pour filtrer efficacement toutes ses requêtes. Il me faudrait une appliance pare-feu en amont pour filtrer tout cela, mais je n'ai pas envie de m'encombrer avec du matériel supplémentaire ou devoir à nouveau tout réinstaller.

J'ai déjà dit du bien du VPS Classic 1 chez OVH, qui me permet de faire tourner le blog maniatux.fr pour un coût dérisoire (2,39€ TTC par mois, soit moins de 30€ par an...). Ces VPS sont protégés contre les attaques ddos donc à priori je ne serai plus embêté.

Je reconnais que c'est une solution de facilité, mais je ne suis pas équipé pour contrer du ddos chez moi.