Atlantis USX – Storage is Software

Par défaut

Atlantis USX – The New Order of Storage Freedom

Atlantis est une solution purement Software, elle fournit une solution de stockage par logiciel (100%), du pur SDS ! Atlantis USX Unified Software-Defined Storage est une solution intelligente de stockage définie par logiciel. Elle peut fournir instantanément des ressources de stockage pour toute application utilisant plus efficacement une infrastructure classique existante et permet de renforcer ou de faire évoluer cette infrastructures vers des solutions hyper-convergées.

En exploitant la puissance de traitement (calcul, mémoire et flash) plus rapide et moins cher, Atlantis USX élimine les inefficacités et les contraintes des solutions de stockage legacy (traditionnel) du SAN et du NAS matériel. Atlantis USX 3.1 optimise le stockage et améliore les performances pour supporter les workloads tels que les applications critiques, stockage de fichiers, VDI, SBC, et sur n’importe quel hyperviseur.

USX supporte VMware, vSphere et Citrix XenServer.

La solution Atlantis est en cela très intéressante car elle propose conjointement une couche de virtualisation, à laquelle il est possible d’ajouter de nouvelles fonctionnalités au stockage existant (VVOL), et de proposer une solution complète SDS Software-Defined Storage.

Atlantis permet de mettre en commun et de proposer une abstraction du stockage (NAS, SAN et DAS) afin de créer des volumes destinés aux applications VM, VDI… La solution offre également de nouvelles fonctionnalités comme le HA, la déduplication, la mise en cache, la compression…

Atlantis solution est aujourd’hui distribuée sous forme d’appliance virtuelle OVF. La phase d’installation et de configuration est relativement simple, elle nécessite uniquement une bonne compréhension de certains concepts de base.

Atlantis USX 3.1 GA est sortie le 16 octobre 2015.

AtlantisUSX_myvmworld

 

Atlantis Computing propose à ses clients deux approches très simples. La première permet de s’intégrer dans un environnement virtualisé et de consolider le stockage existant. La seconde permet de fournir directement sous forme d’appliance hyper convergée (HyperScale), une infrastructure complète et Full Flash. Les deux approches utilisent le même logiciel, le même moteur : Atlantis USX.

hyperscale_Myvmworld

Comment fonctionne Atlantis ?

Atlantis introduit une couche logicielle entre l’hyperviseur et les machines virtuelles afin de fournir une file d’attente optimisée permettant, grâce à une déduplication en ligne (réalisée par les appliances virtuelles) de réduire la latence des I/O, mais également de réduire la capacité de stockage nécessaire aux machines virtuelles consommant le Datastore présenté par Atlantis.

Une fois l’OVF téléchargé et déployé sur l’infrastructure virtuelle, Atlantis USX déploie de manière automatisée deux types de machine virtuelle : les Volumes VM et les Services VM. Ces deux machines virtuelles sont fondamentalement différentes car elles possèdent des rôles bien distincts.

La flexibilité et la souplesse du logiciel permet à Atlantis de pouvoir proposer plusieurs types de volume en fonction du cas d’usage.

  • Hyper-Convergé (Hybrid ou All Flash),
  • Hybrid,
  • In-Memory,
  • All Flash,
  • Simple Hybrid, Simple In-Memory, and Simple All Flash.

USX volume comparison table-Myvmworld

Volume VM

Le volume VM est une machine virtuelle (Ubuntu) entièrement autonome possédant toute l’intelligence d’Atlantis : déduplication en ligne, compression, réplication, cloning, snapshot, etc. Elle représente le cœur de la solution et permet de présenter un Datastore à l’hyperviseur.

Cette machine virtuelle, va exporter au travers du réseau, le Datastore sous deux protocoles NFS ou iSCSI.

Du point de vue des machines virtuelles, le Datastore USX est perçu comme un DataStore partagé et les lectures / écritures se font directement au travers de ce Datastore.

Atlantis_myvmworld

Architecture HCI

Service VM

Les services VM sont utilisés afin de pouvoir distribuer la couche de « back end » des volumes VM au niveau de plusieurs hyperviseurs. La donnée est donc répartie sur les différents hyperviseurs grâce au service VM, l’accès au Datastore se fera toujours au travers du Volume VM.

USX components_myvmworld

Source: https://help.atlantiscomputing.com/usx3

Pour les volumes de type Hyper-Converged (Hybrid ou All Flash), hybride, et en mémoire, Atlantis déploie aussi sur chaque hôte une VM appelée Service VM. Ces Services VM permettent d’exporter des ressources locales sous-jacente à l’hyperviseur (RAM, mémoire flash locale, DAS, JBOD, SSD) de chaque hôte et d’agréger ces ressources en un pool virtuel. Chaque service VM peut servir plusieurs volumes.

Chaque service VM peut exporter jusqu’à deux des ressources suivantes :

  • mem (RAM uniquement).
  • DISK (DAS seulement).
  • FLASH (flash local uniquement).
  • mem + disque (RAM + DAS).
  • mem + flash (Flash RAM + local).

 Deduplication In-line In-Memory

La Volume VM va procéder une déduplication en ligne sur des blocs de données fixes de 4KB (< 200 microsecondes de latence par opération IO). Avant d’écrire sur le système de fichier embarqué en mémoire (DedupFS), les données en écriture sont segmentées en block de 4KB. L’algorithme propriétaire d’Atlantis permet d’identifier si un bloc de données de 4KB est déjà présent ou non dans le système de fichier. A partir de son algorithme, Atlantis utilise un mécanisme de Hash (MD5 HASH) qui couvre un domaine de collision de 91 ExaByte par volume pour 0,0001% de probabilité. 

deduplication_myvmworld

Si celui-ci n’est pas présent, un nouvel inode est créé dans le DedupFS, la table de blocs est mise à jour, une nouvelle entrée est créé et  identifiée de façon unique, ce block (en mémoire) est copié sur le tiers de performance (SSD, PCIe Flash, RAM). Les inodes, ainsi que la table des blocs, sont copiés sur le tiers de performance, puis l’acquittement est envoyé au niveau de l’application. Si en revanche le bloc de 4KB est déjà présent dans le système de fichier, ce bloc de 4KB n’est pas copié sur le tiers de performance, il est acquitté immédiatement, après que les metadata (inode + reference count) soient mises à jour et copiées sur le tiers de performance, le tiers de performance jouera le rôle de Write Caching et de Read Buffer.

La déduplication est construite à partir d’un journal en trois dimensions :

  • 1 pour les métadonnées dedup,
  • 1 pour les blocs Rewired,
  • 1 pour le système de fichiers (DedupFS).

La déduplication est implémentée par volume, elle n’est pas globale.

x-lzma-compressed-tarLes données sont compressées à partir d’un algorithme de compression sans perte LZMA, et ensuite écrites sur le tiers de performance, la compression favorise la croissance du facteur de déduplication.

L’algorithme utilisé est propriétaire et protégé par les brevets US 8996800 B2 / US 8874877 B2 / US 8732401 B2 / US 8874851 B2 /US 8868884 B2.

 

Atlantis USX dispose d’une façon unique d’exploiter la mémoire disponible à l’intérieur des Hyperviseurs pour fournir un stockage performant et optimisé. En tirant parti des ressources de la RAM (un des composants les plus performants du serveur), Atlantis USX peut effectuer en temps réel, la déduplication Inline, la compression et l’écriture. Chacune de ces fonctions réduit la quantité de données consommée, d’accélérer les IOPS et surtout de diminuer la latence.

 

Share This...Buffer this pageShare on LinkedInTweet about this on TwitterShare on Google+Email this to someonePin on PinterestShare on Facebook

VMTurbo Assurer les performances applicatives au sein du Datacenter

Par défaut

Par Fabien Azra 

Voir le profil de FAbien sur LinkedIn

Garantir la performance des applications en environnement virtuel avec VMTurbo

L’adage dit « Un bon informaticien est un informaticien fainéant » car ce dernier s’attachera toujours à automatiser autant que possible l’ensemble de ses tâches quotidiennes pour ne plus rien avoir à faire.

Les environnements virtuels, même si ils ont significativement simplifié la gestion quotidienne des infrastructures, restent de véritables challenges pour ces informaticiens. Comment alors s’assurer que les ressources mises à disposition des machines virtuelles seront toujours suffisantes pour garantir la bonne performance des applications qu’elles contiennent tout en minimisant l’interaction humaine ?

Un état instable permanent

Si à un instant T, l’environnement virtuel peut paraitre dans un état stable, la moindre demande de ressources de la part d’une application peut entrainer un déséquilibre. La machine virtuelle qui l’héberge, a t-elle besoin de davantage de mémoire, de puissance de calcul, de bande passante ou de performance du stockage ? Le serveur physique ou la baie de stockage hébergeant cette VM disposent-ils de ces ressources ?

Bien sûr, l’humain peut trancher et prendre la décision de faire les modifications qui s’imposent. Mais cette décision est-elle si simple à prendre ? Doit-on déplacer cette VM sur un autre host disposant de la capacité de RAM ou de CPU souhaité ? Doit-on déplacer son vdisk sur un autre datastore ? Doit-on juste augmenter le nombre de vCPU ou la vMem alloués à cette VM ? N’est-ce pas juste un encombrement d’un port réseau du host ? Et quel sera l’impact de ce déplacement sur le host de destination ? Ne faut-il mieux pas déplacer les autres VMs environnantes plutôt que celle-ci ?

Décision plus ardue qu’il n’y parait finalement ! Multiplions ce questionnement pour des dizaines, voir des centaines de VMs et donc d’applications, sur des serveurs physiques, des switches réseau et des baies de stockage multiples et variés et nous voilà devant un véritable casse-tête pour notre informaticien fainéant.

vmturbo_logo

L’infrastructure virtuelle : un modèle économique

VMTurbo permet de résoudre ce casse-tête permanent en partant d’un constat simple : l’infrastructure virtuelle est une place de marché répondant au principe de l’offre et de la demande.

Les applications, les machines virtuelles, les hyperviseurs, les switches réseaux et autres baies de stockages sont des acheteurs et vendeurs s’échangeant des biens : les ressources (CPU, Mémoire, IOPS, bande-passante, etc…). Le prix de chaque ressource fluctue en permanence en fonction du temps, de la rareté et de la demande plus ou moins forte.

Moins une ressource est utilisée, moins elle est chère. Plus elle est utilisée, plus le prix grimpe. Ainsi, une baie de stockage subissant un pic d’accès vendra chèrement ses IOPS à un hyperviseur et ce dernier les facturera tout aussi cher à la VM, la poussant à aller chercher ailleurs un tarif plus intéressant.

Par ce moyen, VMTurbo va tendre vers un « Etat idéal » : celui où l’ensemble des VMs dispose des ressources dont il a besoin au bon moment.

VMTurbo_myvmworld

Surveiller vs. Contrôler

Dans une infrastructure virtuelle, en dessous de 70% d’utilisation, on gaspille les ressources (on peut donc densifier le nombre de VMs), mais dès que l’on passe au dessus, on augmente le risque.

Pour surveiller ce risque, on a le réflexe naturel de mettre en place un des nombreux outils de monitoring disponibles sur le marché. Malheureusement, ces solutions, tout comme les schedulers natifs aux hyperviseurs, ne font que réagir au dépassement d’un seuil. Cela signifie qu’on attend que le risque se produise et qu’on accepte que l’environnement soit dégradé, impactant ainsi le business de l’entreprise. Elles obligent l’administrateur à agir en mode « pompier », à prendre des actions manuelles pour résoudre les problèmes et sont consommatrices de temps face à la priorité de projets plus critiques.

VMTurbo comprend les demandes des applications et les fait correspondre avec l’offre de l’infrastructure, prenant les décisions à la place de l’humain en temps réel. Ces actions automatisées, centrées sur le besoin plutôt que sur l’infrastructure maintiennent l’environnement virtuel dans un état de santé optimal, de façon 100% logicielle.

Proposé sous la forme d’une simple VM à déployer en quelques minutes, sans agent (fonctionne via appels API), VMTurbo cartographie instantanément l’ensemble de l’infrastructure. Les premières recommandations peuvent être actionnées dans les 30 minutes (comme la relocalisation des VMs). Il sera plus sage d’attendre une trentaine de jours pour les opérations de resize up ou down (nécessitant souvent un redémarrage) afin d’avoir une visibilité plus précise de l’activité d’une application particulière (comme un serveur de paie, par exemple).

VMTurbo? collecte et conserve les metrics les plus pertinents, permettant d’affiner ses décisions en se basant sur l’historique. Mais il peut également faire des projections via sa fonction « Plan » et anticiper l’ajout ou le retrait d’un host, ou encore de lots de VMs et leur impact sur l’environnement virtuel actuel. Il peut également réserver les ressources pour un futur déploiement et l’automatiser en se basant sur des templates de VMs. Par ailleurs, ses dashboards personnalisables et les nombreux rapports permettent à l’administrateur de suivre l’ensemble des actions prises, tout comme leurs résultats.

VMTurbo_opsman-laptop_myvmworld

Il supporte un très grand nombre d’environnements virtuels : VMware, Hyper-V, Acropolis HV (KVM), XenServer, RHEV-M, IBM PowerVM.

Et il collecte également, pour corréler l’ensemble des informations :

  • Cloud et Orchestration : vCloudDirector, CloudStack, OpenStack, VMM, AWS, Azure, SoftLayer, CloudFoundry
  • Load Balancer : NetScaler
  • Stockage : NetApp, EMC, PureStorage, Nutanix, HP, Dell
  • Fabric : Cisco UCS
  • Network : Arista
  • Applications : Exchange, Oracle, SQL, MySQL, WebSphere, WebLogic, JBoss, Tomcat

VMTurbo_Supply_myvmworld

Un jeu de Tetris

En relocalisant et en réajustant l’ensemble des applications, VMTurbo joue à Tetris dans le Datacenter et permet de récupérer de l’espace, de densifier les VMs sur l’infrastructure existante et de repousser les investissements matériels.

VMTurbo_Tetris_myvmworld

Pour ne citer qu’un des nombreux exemples de ROI constaté en moins de 90 jours sur plus de 90% de leurs clients, prenons celui de la banque Barclays. Leur environnement virtuel, qui fait tourner plus de 60.000 VMs, les obligeait à 15% de croissance d’investissement par mois. VMTurbo, une fois mis en place, va faire près de 3.000 recommandations par jour, permettant à Barclays en les suivant de ne pas faire de nouvel investissement sur les 12 mois suivants, représentant 7,5M$ d’économie.

VMTurbo_realTime

Téléchargez la version d’évaluation 30 jours :  operations-manager-30-day-trial

Pour conclure, revenons à notre informaticien fainéant ! Sa crainte était de voir le logiciel mieux travailler que lui et que l’on puisse même se passer de ses services. Mais l’automatisation et le contrôle de VMTurbo sur l’infrastructure virtuelle permettront à notre informaticien de se rendre indispensable sur d’autres projets plus gratifiants. Pour le démontrer, voici une petite analogie : aujourd’hui, un avion est totalement gouverné par le logiciel. Ce dernier peut le faire décoller, le faire voler et le faire atterrir sans nécessiter aucune interaction humaine.

Pour autant, accepteriez-vous de monter dans cet avion sans pilote ?

Fabien AzraFabien est en charge de l’équipe avant-vente de BigTec, distributeur à valeur ajouté accompagnant la transformation des datacenters. Il travaille en étroite collaboration avec les constructeurs et les revendeurs pour assurer la réussite des implémentations des solutions. Avec plus de 15 ans d’expérience technique, c’est un spécialiste des solutions de stockage et de virtualisation.

Pour suivre Fabien et pour plus d’informations sur son parcours et ses compétences :

Voir mon profil LinkedIn Fabien Voir le profil de Fabien Azra

Share This...Buffer this pageShare on LinkedInTweet about this on TwitterShare on Google+Email this to someonePin on PinterestShare on Facebook