Harmonize gres across clusters

[satyaog]

No description provided.

[bouthilx]

C'est pourquoi le filelock?

[satyaog]

C'était dans une tentative de résoudre le problème des tests qui fails de temps en temps. Je me disais qu'avec le multi-process il y avait peut-être un problème avec les ports qui se faisait parfois assigner 2 fois pour deux instances différentes. Mais c'était seulement des tests, il n'y en a plus maintenant dans cette branche

[bouthilx]

Oups, le ticket mentionnait seulement le problème pour les format gpu:nom:nombre. Il y a aussi un mismatch avec la façon d'afficher les noms entre node_gpu_mapping et les données de prometheus.

Voici un exemple des noms qu'on peut trouver dans la dernière année:

[
    'NVIDIA A100-SXM4-40GB', 'gpu:v100:8', 'Quadro RTX 8000',
    'Tesla V100-SXM2-16GB', 'Tesla V100-SXM2-32GB',
    'NVIDIA A100-SXM4-80GB', 'Tesla V100-SXM2-32GB-LS', 'gpu:v100l:4',
    'gpu:p100:4', 'NVIDIA A100 80GB PCIe', 'gpu:p100l:4', 'gpu:p100:2',
    'gpu:t4:4', 'gpu:v100:6', 'a100', 'NVIDIA RTX A6000', '3g.40gb',
    '2g.20gb', '4g.40gb'
]

Idéallement, on voudrait que v100 soit remplacé par une description plus précise tel que Tesla V100-SXM2-16GB. Dans le cas de Cedar, le mapping va être différent selon les noeuds, car il y a des GPUs avec différente quantité de RAM.

Il y a aussi les '3g.40gb', '2g.20gb', '4g.40gb' qui sont problématique car ça ne dit pas le type de GPU sur lequel est la tranche MIG. Ça devrait peut-être être un ticket à part. 🤔

[satyaog]

Ah je comprends mieux maintenant merci! J'avais regarder la base de donnée de dev mais il n'y avait que des infos sur graham. J'ai complètement oublié de redemander s'il était possible d'avoir une version à jour de la db de test pour vraiment vérifier les valeurs

[satyaog]

The great part of the logic should be good but for the details I think I will need an updated dev db to list the available gpu data we have there. I'll let you decide if this should be merged or not before that

[satyaog]

I have very weird results with the updated sarc-bc dev database. For the mila cluster (I haven't verify the other clusters as there's way too many nodes), there seams to be a the cross-over for the type of gpus assigned with nodes that don't seam to match the cluster architecture :

mila	4g.40gb			cn-a001	
mila	NVIDIA A100-SXM4-80GB	cn-a001	
mila	Quadro RTX 8000		cn-a001	
mila	Quadro RTX 8000		cn-c015	cn-c023	cn-c025	cn-c028	cn-g021	cn-g022	cn-g023	cn-g024	
mila	Tesla V100-SXM2-32GB	cn-a004
mila	Tesla V100-SXM2-32GB	cn-b001	cn-g004	
mila	Tesla V100-SXM2-32GB	cn-b001	cn-d001	cn-g017	cn-g018	cn-g022	cn-g023	cn-g024	cn-g026	
mila	Tesla V100-SXM2-32GB-LS	cn-b001	

The aggregation I made was :

db.getCollection('jobs').aggregate(
  [
    {
      $match: {
        'allocated.gpu_type': { $ne: null }
      }
    },
    {
      $group: {
        _id: {
          cluster: '$cluster_name',
          gres: '$allocated.gpu_type',
          nodes: '$nodes'
        }
      }
    },
    {
      $sort: {
        '_id.cluster': 1,
        '_id.gres': 1,
        '_id.nodes': 1
      }
    }
  ],
  { maxTimeMS: 60000, allowDiskUse: true }
);

Did I made my query wrong or am I missing something?