Interrogez-nous, nous vous répondrons !

Benchmark commun Tensorflow

Résumé des résultats des modèles de test pour la classification des images avec les serveurs LeaderGPU

Attention: due to the newly amended License for Customer Use of Nvidia® GeForce® Sofware, the GPUs presented in the benchmark (GTX 1080, GTX 1080 TI) can not be used for training neural networks.(except blockchain processing).

LeaderGPU® est un nouvel acteur sur le marché du calcul par le GPU, qui a l'intention de changer les règles du jeu. À l'heure actuelle, le marché du calcul par le GPU est représenté par plusieurs grands acteurs, tels que AWS, Google Cloud, etc. Cependant, un grand acteur n'est pas toujours synonyme de la meilleure offre du marché. Le projet LeaderGPU®, par rapport à AWS et Google Cloud, fournit des serveurs physiques, et non des VPS, où les ressources matérielles peuvent être partagées entre plusieurs dizaines d'utilisateurs. Le tableau ci-dessous compare le coût de traitement de 500 000 images pour le modèle Inception V3 par différents services :

Modèle GPU Service Nombre d'images Temps d'utilisation Prix par minute Coût total
Inception V3 8x K80 Nuage Google 500000 36m 43sec 0,0825 €* 3,02 €
Inception V3 8x K80 AWS 500000 36m 14sec 0,107 € 3,87 €
Inception V3 8x GTX 1080 LeaderGPU 500000 12m 9sec 0,09 € 1,09 €

Le tableau montre que LeaderGPU® est non seulement 300 % plus rapide que ses concurrents, mais aussi plus économique d'au moins 29 % par rapport à Google Cloud et AWS.

Les tests ont été effectués sur les systèmes informatiques LeaderGPU®. Pour l'évaluation des concurrents, nous avons utilisé les résultats des tests des instances Google et AWS. Les tests ont été réalisés sur des données synthétiques des modèles de réseaux suivants : ResNet-50, ResNet-152, VGG16 et AlexNet. À la fin de cet article, vous trouverez les résultats des tests d'autres modèles. Le test des données synthétiques a été effectué en utilisant tf. Variable en analogie avec la configuration des modèles pour ImageNet.

Tests LeaderGPU® (ltbv20 2x Nvidia® Tesla® P 100)

Environnement de test :

  • Type d'instance : ltbv20
  • GPU : 2x NVIDIA® Tesla® P100
  • Système d'exploitation : CentOS 7
  • CUDA® / cuDNN : 8.0 / 5.1
  • TensorFlow™ GitHub hash : b1e174e
  • Benchmark GitHub hash : 9165a70
  • Date des tests : juin 2017
Options InceptionV3 ResNet-50 ResNet-152 Alexnet VGG16
Taille des lots sur GPU 64 64 32 512 32
Optimisation sgd sgd sgd sgd sgd
Ltbv 20 Nvidia® Tesla® P100 (1, 2 GPUs)

Test des données synthétiques (images/sec)

GPU InceptionV3 ResNet-50 ResNet-152 VGG16 Alexnet
1 136.55 217.76 82.05 137.32 2807.64
2 259.14 410.88 150.41 240.61 5117.86
Autres résultats

Test des données synthétiques (images/sec)

Taille du lot alexnet vgg11 vgg16 vgg19 lenet googlenet
32 1516.70 373.45 240.61 203.73 14524.23 714.25
64 2480.30 472.15 274.67 230.73 28599.07 877.76
128 3486.68 540.51 288.80 243.55 44943.19 990.89
256 4440.35 464.69 -* -* 63311.75 1075.38
512 5117.86 -* -* -* 80078.57 1104.74
Taille du lot suralimentation inceptionv3 inceptionv4 resnet50 resnet101 resnet152
32 574.13 233.99 116.45 361.06 214.15 150.41
64 1052.63 259.14 125.09 410.88 245.36 170.79
128 1509.01 269.51 -* 439.41 -* -*
256 2041.60 -* -* -* -* -*
512 2323.77 -* -* -* -* -*

* La quantité disponible de mémoire vive du GPU ne permet pas de lancer des tests sur des paquets de cette taille (taille du lot).

Tests LeaderGPU® (GTX 1080)

Environnement de test :

  • Type d'instance : ltbv17, 14, 16
  • GPU : GTX 1080
  • Système d'exploitation : CentOS 7
  • CUDA® / cuDNN : 8.0 / 5.1
  • TensorFlow™ GitHub hash : b1e174e
  • Benchmark GitHub hash : 9165a70
  • Date des tests : juin 2017
Options InceptionV3 ResNet-50 ResNet-152 Alexnet VGG16
Taille des lots sur GPU 64 64 32 512 32
Optimisation sgd sgd sgd sgd sgd
Ltbv 17, 14, 16 GTX 1080 (2, 4, 8 GPUs)

Test des données synthétiques (images/sec)

GPU InceptionV3 VGG16 ResNet-50 ResNet-152 Alexnet
2 187.93 173.2 259.39 109.02 3344.11
4 345.05 276.43 485.92 192.25 6221.67
8 685.59 428.57 949.72 369.02 9405.27
Autres résultats

Test des données synthétiques (images/sec)

2x GTX 1080

Taille du lot alexnet vgg11 vgg16 vgg19 lenet googlenet
32 823.87 223.73 150.50 129.67 14440.58 608.46
64 1517.33 299.24 173.20 149.62 25817.36 676.81
128 2198.87 291.47 -* -* 40910.02 717.52
256 2878.43 -* -* -* 53821.73 730.47
512 3344.11 -* -* -* 66096.43 -*
Taille du lot overfeat débutv3 inceptionv4 resnet50 resnet101 resnet152
32 284.06 180.62 91.63 245.55 154.15 109.02
64 568.15 187.93 -* 259.39 -* -*
128 911.17 -* -* -* -* -*
256 1211.36 -* -* -* -* -*
512 1424.58 -* -* -* -* -*

* La quantité disponible de mémoire vive du GPU ne permet pas de lancer des tests sur des paquets de cette taille (taille du lot).

4x GTX 1080

Taille du lot alexnet vgg11 vgg16 vgg19 lenet googlenet
32 1238.14 295.30 272.03 155.75 18389.01 1110.35
64 2375.18 354.55 276.43 169.51 37465.98 1235.77
128 3889.23 321.28 -* -* 60612.34 1365.62
256 5056.10 -* -* -* 89908.56 1394.58
512 6221.67 -* -* -* 114433.39 -*
Taille du lot surfaçage débutv3 inceptionv4 resnet50 resnet101 resnet152
32 450.85 328.23 166.82 447.25 276.27 192.25
64 885.37 345.05 -* 485.92 -* -*
128 1576.74 -* -* -* -* -*
256 2126.47 -* -* -* -* -*
512 2447.81 -* -* -* -* -*

* La quantité disponible de mémoire vive du GPU ne permet pas de lancer des tests sur des paquets de cette taille (taille du lot).

8x GTX 1080

Taille du lot alexnet vgg11 vgg16 vgg19 lenet googlenet
32 1347.98 381.49 347.37 333.71 27248.65 2023.19
64 2406.83 620.29 428.57 -* 51105.12 2352.15
128 4255.75 -* -* -* 93211.00 2644.26
256 6318.54 -* -* -* 145559.65 2610.21
512 9405.27 -* -* -* 206469.92 -*
Taille du lot surfaçage inceptionv3 inceptionv4 resnet50 resnet101 resnet152
32 555.36 632.23 323.09 857.12 518.57 369.02
64 1042.12 685.59 -* 949.72 -* -*
128 1735.24 -* -* -* -* -*
256 2575.93 -* -* -* -* -*
512 3815.25 -* -* -* -* -*

* La quantité disponible de mémoire vive du GPU ne permet pas de lancer des tests sur des paquets de cette taille (taille du lot).

Tests LeaderGPU® (GTX 1080TI)

Environnement de test :

  • Type d'instance : ltbv21, 18
  • GPU : GTX 1080TI
  • Système d'exploitation : CentOS 7
  • CUDA® / cuDNN : 8.0 / 5.1
  • TensorFlow™ GitHub hash : b1e174e
  • Benchmark GitHub hash : 9165a70
  • Date des tests : juin 2017
Options InceptionV3 ResNet-50 ResNet-152 Alexnet VGG16
Taille des lots sur GPU 64 64 32 512 32
Optimisation sgd sgd sgd sgd sgd
Ltbv 21, 18 GTX 1080TI (2, 4 GPUs)

Test des données synthétiques (images/sec)

GPU InceptionV3 VGG16 ResNet-50 ResNet-152 Alexnet
2 264.7 235.15 377.41 127.43 4596.37
4 493.14 401.68 706.95 270.35 8513.54
10 928.26 478.82 1418.60 513.37
Autres résultats

Test des données synthétiques (images/sec)

2x GTX 1080 TI

Taille du lot alexnet vgg11 vgg16 vgg19 lenet googlenet
32 880.18 287.25 190.05 169.67 13411.38 807.60
64 1743.20 385.95 235.15 198.28 28360.89 954.35
128 2808.68 457.54 - - 44453.02 1042.77
256 3777.74 - - - 67451.51 1070.28
512 4596.37 - - - 87898.53 -
Taille du lot surfeat inceptionv3 inceptionv4 resnet50 resnet101 resnet152
32 304.50 250.37 125.81 351.21 218.02 127.43
64 607.91 264.70 - 377.41 236.24 -
128 1162.21 - - 381.62 - -
256 1617.89 - - - - -
512 1992.50 - - - - -

4x GTX 1080 TI

Taille du lot alexnet vgg11 vgg16 vgg19 lenet googlenet
32 1264.01 378.39 331.08 208.39 19239.51 1487.66
64 2502.01 481.49 401.68 236.07 38818.10 1755.63
128 4539.97 541.39 - - 71457.41 1943.93
256 6787.68 - - - 111721.23 1992.45
512 8513.54 - - - 152549.70 -
Taille du lot surfaçage inceptionv3 inceptionv4 resnet50 resnet101 resnet152
32 475.69 451.16 228.76 648.11 383.04 270.35
64 942.19 493.14 - 706.95 422.93 -
128 1706.03 - - 722.16 - -
256 2907.18 - - - - -
512 3478.50 - - - - -

10x GTX 1080 TI

Taille du lot alexnet vgg11 vgg16 vgg19 lenet googlenet
32 865.89 368.50 309.07 289.88 18065.32 2200.48
64 1719.84 667.04 478.82 465.45 36486.24 3333.87
128 3344.45 868.66 - - 70077.18 3771.19
256 6159.03 - - - 138600.70 4335.86
512 - - - 237511.15 -
Taille du lot suralimentation inceptionv3 inceptionv4 resnet50 resnet101 resnet152
32 346.22 809.19 459.10 1116.42 760.83 513.37
64 676.99 928.26 - 1418.60 937.95 -
128 1322.01 - - 1504.64 - -
256 2387.97 - - - - -
512 - - - - - -

Tests AWS EC2 (NVIDIA® Tesla® K80)

Environnement de test :

  • Type d'instance : p2.8xlarge
  • GPU : 8x NVIDIA® Tesla® K80
  • Système d'exploitation : Ubuntu 16.04 LTS
  • CUDA® / cuDNN : 8.0 / 5.1
  • TensorFlow™ GitHub hash : b1e174e
  • Benchmark GitHub hash : 9165a70
  • Date des tests : mai 2017
Options InceptionV3 ResNet-50 ResNet-152 Alexnet VGG16
Taille des lots sur GPU 64 64 32 512 32
Optimisation sgd sgd sgd sgd sgd
p2.8xlarge from AWS (1, 2, 4, 8 GPUs)

Test des données synthétiques (images/sec)

GPU InceptionV3 ResNet-50 ResNet-152 Alexnet VGG16
1 30.8 51.5 19.7 684 36.3
2 58.7 98.0 37.6 1244 69.4
4 117 195 74.9 2479 141
8 230 384 149 4853 260

Autres résultats (images/sec)

GPU InceptionV3 (taille du lot 32) ResNet-50 (taille du lot 32)
1 29.9 49.0
2 57.5 94.1
4 114 184
8 216 355

Les résultats des tests proviennent de https://www.tensorflow.org/performance/benchmarks#details_for_amazon_ec2_nvidia_tesla_k80

Tests Google Compute Engine (NVIDIA® Tesla® K80)

Environnement de test :

  • Type d'instance : n1-standard-32-k80x8
  • GPU : 8x NVIDIA® Tesla® K80
  • Système d'exploitation : Ubuntu 16.04 LTS
  • CUDA® / cuDNN : 8.0 / 5.1
  • TensorFlow™ GitHub hash : b1e174e
  • Benchmark GitHub hash : 9165a70
  • Date des tests : mai 2017
Options InceptionV3 ResNet-50 ResNet-152 Alexnet VGG16
Taille des lots sur GPU 64 64 32 512 32
Optimisation sgd sgd sgd sgd sgd
n1-standard-32-k80x8 from Google (1, 2, 4, 8 GPUs)

Test des données synthétiques (images/sec)

GPU InceptionV3 ResNet-50 ResNet-152 Alexnet VGG16
1 30.5 51.9 20.0 656 35.4
2 57.8 99.0 38.2 1209 64.8
4 116 195 75.8 2328 120
8 227 387 148 4640 234

Autres résultats (images/sec)

GPU InceptionV3 (taille du lot 32) ResNet-50 (taille du lot 32)
1 29.3 49.5
2 55.0 95.4
4 109 183
8 216 362

Les résultats des tests proviennent de https://www.tensorflow.org/performance/benchmarks#details_for_google_compute_engine_nvidia_tesla_k80

Évaluons maintenant les coûts de calcul du traitement de l'image.

Dans le tableau ci-dessous, nous allons calculer le coût et le temps de traitement de 500 000 images en utilisant les modèles Inception V3, ResNet-60 et ResNet-152, et trouver la meilleure offre. Comme on peut le voir dans le tableau, LeaderGPU® est l'offre la plus favorable du marché parmi les autres fournisseurs considérés.

Modèle GPU Plate-forme Nombre d'images Temps de traitement Prix (par minute) Coût total
Inception V3 8x K80 Nuage de Google 500000 36m 43sec 0,0825 €* 3,02 €*
Inception V3 8x K80 AWS 500000 36m 14sec 0,107 €* 3,87 €*
Inception V3 8x 1080 LeaderGPU 500000 12m 9sec 0,09 € 1,09 €
ResNet-50 8x K80 Nuage Google 500000 21m 32sec 0,0825 €* 1,77 €*
ResNet-50 8x K80 AWS 500000 21m 42 sec 0,107 €* 2,32 €*
ResNet-50 8x 1080 LeaderGPU 500000 8m 46sec 0,09 € 0,79 €
ResNet-152 8x K80 Nuage Google 500000 56m 18sec 0,0825 €* 4,64 €*
ResNet-152 8x K80 AWS 500000 55m 55sec 0,107 €* 5,98 €*
ResNet-152 8x 1080 LeaderGPU 500000 22m 35sec 0,09 € 2,03 €

* Le service Google Cloud n'est pas fourni à la minute. Le coût de la minute est calculé sur la base du prix horaire ($ 5,645).

LEGAL WARNING:

PLEASE READ THE LICENSE FOR CUSTOMER USE OF NVIDIA® GEFORCE® SOFTWARE CAREFULLY BEFORE AGREEING TO IT, AND MAKE SURE YOU USE THE SOFTWARE IN ACCORDANCE WITH THE LICENSE, THE MOST IMPORTANT PROVISION IN THIS RESPECT BEING THE FOLLOWING LIMITATION OF USE OF THE SOFTWARE IN DATACENTERS:

«No Datacenter Deployment. The SOFTWARE is not licensed for datacenter deployment, except that blockchain processing in a datacenter is permitted.»

BY AGREEING TO THE LICENSE AND DOWNLOADING THE SOFTWARE YOU GUARANTEE THAT YOU WILL MAKE CORRECT USE OF THE SOFTWARE AND YOU AGREE TO INDEMNIFY AND HOLD US HARMLESS FROM ANY CLAIMS, DAMAGES OR LOSSES RESULTING FROM ANY INCORRECT USE OF THE SOFTWARE BY YOU.



Mis à jour: 17.03.2025

Publié: 07.12.2017


Des questions ? Écrivez-nous!

By clicking «I Accept» you confirm that you have read and accepted the website Terms and Conditions, Privacy Policy, and Moneyback Policy.