Pourquoi la fiabilité du cluster IA commence dans la couche physique ?

Réponse rapide

Pour cette raison, le câblage à fibre optique est devenu un élément essentiel de la conception des centres de données IA. Une infrastructure fibre optique bien planifiée aide le réseau à évoluer sans transformer chaque mise à niveau ou défaut de liaison en un projet de recâblage majeur.

Les charges de travail d'IA remodèlent les exigences en matière de câblage des centres de données

Les applications d'entreprise traditionnelles s'exécutent souvent sur des serveurs relativement indépendants. La formation à l’IA distribuée est différente. Des milliers de GPU peuvent avoir besoin d'échanger des gradients, des états de modèle et des données de points de contrôle à plusieurs reprises au cours d'une même tâche de formation. Cela modifie à la fois la quantité et la direction du trafic à l'intérieur du centre de données.

Les clusters GPU génèrent davantage de trafic vers l'Est-Ouest

Dans les réseaux conventionnels, une grande partie du trafic peut se déplacer du nord-sud entre les utilisateurs et les applications. Dans un cluster d'IA, une grande partie du trafic se déplace vers l'est-ouest entre les GPU, les commutateurs feuilles, les commutateurs spine et les systèmes de stockage.

Tout goulot d’étranglement de bande passante, liaison optique instable ou chemin physique incorrect peut augmenter le temps de communication collective. Le résultat pourrait ne pas être une panne complète. Cela peut se traduire par une utilisation moindre du GPU, des performances de travail inégales ou un temps de formation plus long.

Les systèmes à l'échelle du rack-augmentent la densité des fibres

Les systèmes d'IA modernes-à l'échelle du rack concentrent beaucoup plus d'interfaces de calcul et de réseau dans chaque armoire. La structure de mise à l'échelle-intégrée en usine-peut rester à l'intérieur du rack, tandis que les connexions de mise à l'échelle-de stockage et de gestion quittent le rack via un câblage externe.

Le nombre de fibres dépend donc de la conception réelle de l'interface plutôt que d'une règle fixe « fibres par rack ». À titre d'exemple de planification simple, 72 ports optiques utilisant huit fibres actives par interface nécessiteraient 576 fibres actives pour ce seul plan de réseau. Le front-le stockage, la gestion et la capacité de réserve augmenteraient encore le nombre d'installations.

L'espace de cheminement, la densité des panneaux de brassage et l'accès aux services sont donc des éléments de conception importants avant l'arrivée des racks.

La couche physique affecte la topologie et la maintenance

Dans les structures GPU-optimisées pour le rail, les positions GPU ou NIC correspondantes peuvent être connectées aux groupes de commutateurs feuilles-correspondants. Un mauvais cavalier peut toujours afficher un état de liaison-normal tout en plaçant le trafic sur le mauvais chemin physique.

Le système de câblage doit donc prendre en charge :

• mappage de port répétable ;
• séparation claire entre les avions de circulation ;
• polarité documentée et interfaces de connecteur ;
• composants accessibles sur site-remplaçables ;
• par-enregistrements de test de lien.

Comment le câblage à fibre optique prend en charge les centres de données IA

Permet un déploiement flexible sur les couches réseau

Les centres de données IA utilisent rarement un seul type de câble pour chaque connexion. La fibre appropriée dépend de la portée, de l'interface de l'émetteur-récepteur, du plan de mise à niveau et des exigences en matière de perte de canal-.

L'OS2-mode unique est généralement envisagé pour les structures back-end-haute vitesse-, car il prend en charge une portée plus longue et peut rester en service sur plusieurs générations d'émetteurs-récepteurs. Le multimode OM4 ou OM5 peut toujours être pratique pour les interfaces définies à courte portée - où le PMD sélectionné et le coût total le prennent en charge.

Pour les connexions d'équipements duplex courtes, des produits tels que leCâble de raccordement fibre uniboot LC UPC vers LC UPC duplex OS2peut réduire l'encombrement du câble en transportant deux fibres dans une seule gaine. Pour les liaisons multimodes à courte portée-, unCâble de raccordement fibre optique OM4 duplex LC UPC vers LC UPCpeut prendre en charge l'application de correctifs organisés-au niveau du rack lorsqu'elle correspond à l'interface optique sélectionnée.

Le choix doit toujours suivre la fiche technique de l'émetteur-récepteur plutôt qu'une règle générale-mode-contre-multimode.

Prend en charge la connectivité MTP/MPO haute-densité

L'optique parallèle peut nécessiter huit, douze, seize fibres ou plus sur une interface. Le routage de ces liens sous forme de cordons duplex individuels consommerait rapidement de l'espace dans les racks et les chemins.

Câblage fibre MTP/MPOcombine plusieurs fibres dans un seul connecteur et est largement utilisé pour les liaisons haute densité-, les connexions optiques parallèles directes- et les systèmes de dérivation. Cela peut simplifier l'installation, mais uniquement lorsque le nombre de fibres, le format du connecteur, la polarité et le niveau de perte sont correctement spécifiés.

Par exemple, unCâble fibre OS2 MPO-vers-MPOpeut être utilisé comme une-épine dorsale pré-terminée ou un ensemble de commutateurs-à-commutateurs dans une architecture-monomode applicable. UnCorde de brassage de fibre MPOfournit une connexion compacte pour les équipements optiques-parallèles ou les systèmes de brassage compatibles.

Avant de commander un ensemble MTP/MPO, confirmez :

• le modèle exact de l'émetteur-récepteur ;
• Format MPO-8, MPO-12, MPO-16 ou MPO-24 ;
• épinglage mâle ou femelle ;
• orientation clé ;
• positions des fibres actives ;
• Tapez A, B, C ou un mappage de canal spécifique au fournisseur- ;
• perte d'insertion maximale ;
• veste et classement au feu.

Améliore l'organisation du câblage et la facilité d'entretien

Le câblage point-à-point minimise les connexions intermédiaires, mais des milliers de longs cavaliers peuvent devenir difficiles à tracer et à remplacer. Le câblage structuré place des lignes principales fixes entre les points de distribution et utilise des cordons de brassage plus courts sur les panneaux accessibles.

A tableau de connexions à fibre optiquepeut concentrer l'étiquetage, les-connexions croisées et les correctifs d'équipement dans un emplacement défini. Pour un nombre de cœurs plus élevé, unSystème de rack ODF 19 poucespeut fournir une capacité organisée de terminaison et de distribution dans le MDA ou l’IDA.

L'approche structurée peut faire d'un cordon d'équipement court ou d'un cordon de brassage de panneau l'unité remplaçable sur site-au lieu d'un long tronc acheminé via un chemin partagé. Cela améliore la maintenance uniquement lorsque les panneaux restent accessibles et que les paires couplées supplémentaires s'inscrivent dans le budget optique.

Aide à contrôler la perte optique à 400G et 800G

Aux distances des centres de données, l'atténuation de la fibre est généralement faible par rapport à la perte du connecteur. Un canal à haut débit-peut réussir ou échouer en fonction du nombre et de la qualité de ses connexions couplées.

L’exemple simplifié suivant montre l’effet. Il s'agit d'un calcul illustratif et non d'une limite universelle de 800 G.

Si un projet utilise une allocation de planification de 2,5 dB, l'exemple de qualité standard-la dépasserait tandis que l'exemple à faible-perte conserverait environ 1,06 dB de marge. La limite d'acceptation réelle doit provenir de la spécification du PMD ou de l'émetteur-récepteur sélectionné.

Pour l'approvisionnement, spécifiez une perte d'insertion maximale garantie plutôt que de vous fier uniquement à une valeur typique. L'offre plus large de Glory Opticalgamme de câblage pour centres de donnéescomprend des liaisons MTP/MPO personnalisées, des systèmes de correctifs et des configurations-préterminées qui peuvent être classées par type de fibre, polarité, longueur, format de connecteur et niveau de perte.

Réduit les erreurs de polarité et d’interface

La polarité détermine si les fibres de transmission à une extrémité atteignent les positions de réception correctes à l'autre extrémité. La vitesse nominale de liaison ne définit pas une méthode de polarité universelle.

Une chaîne complète peut inclure des lignes réseau, des cassettes,adaptateurs fibre optique, cordons de brassage et interfaces d'équipement. Chaque composant affecte la carte de broches finale.

Pour les liaisons 800G, vérifiez si l'optique utilise une interface MPO-16, deux interfaces MPO, un connecteur VSFF ou un autre format. Ne commandez pas de ligne réseau en utilisant uniquement des descriptions telles que « 800G », « DR8 » ou « Type B ».

Prend en charge les environnements de rack à haute-densité et à refroidissement par liquide-

Les racks AI haute-puissance combinent souvent un câblage fibre optique avec des collecteurs de refroidissement liquide-, des tuyaux, des jeux de barres et des ports de commutateur haute-densité. L'arrière du rack n'est plus réservé uniquement aux câbles de données.

La fibre optique permet de réduire l'encombrement des câbles par rapport à une portée équivalente en cuivre à haut débit-, mais la densité à elle seule ne garantit pas la facilité d'entretien. Le rack terminé doit permettre aux techniciens de :

• atteindre les loquets du connecteur ;
• inspecter et nettoyer les faces d'extrémité ;
• retirer un module sans tirer sur les cordons adjacents ;
• maintenir un rayon de courbure minimum ;
• séparer la fibre du matériel d'alimentation et de refroidissement ;
• stockez les boucles de service sans bloquer le flux d’air ou l’accès au liquide de refroidissement.

Conceptions duplex compactes telles quecordes de correction de fibre d'Unibootpeut réduire le volume du cordon dans les sections basées sur LC-. Les lignes principales à nombre élevé de-fibres-et les panneaux modulaires peuvent réduire le nombre de câbles acheminés individuellement entre les zones de distribution.

Simplifie le déploiement avant-terminaison

L’arrêt sur le terrain ajoute des risques en termes de main d’œuvre, de temps de test et de calendrier. Les assemblages pré-terminés déplacent l'installation, le polissage et les tests initiaux des connecteurs dans un environnement d'usine contrôlé.

Un système pré-terminé-peut inclure :

• Câbles principaux MPO/MTP ;
• MPO-vers-assemblages de dérivation LC ;
• cordons de brassage d'équipement étiquetés ;
• panneaux de brassage ou modules de cassette chargés ;
• yeux tirants et emballage de protection ;
• par-insertion de fibre-rapports de perte et de polarité.

Glory Optical fournitassemblages de fibres optiques OEM/ODM personnalisésavec des options-de longueur, de polarité, d'étiquetage, de gaine, de connecteur et d'emballage spécifiques au projet. Pour les déploiements de clusters d’IA, le livrable utile n’est pas simplement un câble avec des connecteurs. Il s'agit d'un assemblage testé qui correspond à une carte de port approuvée et peut être retracé jusqu'à son rapport d'usine.

Comment planifier le câblage fibre pour 400G, 800G et 1,6T

Le nom de la vitesse à lui seul ne définit pas le connecteur, le nombre de fibres ou la polarité. Gelez le SKU exact de l’émetteur-récepteur avant de lancer les lignes réseau, les cassettes ou les assemblages de dérivation pour la production.

Le tableau suivant fournit un cadre de planification-de première passe. Il ne remplace pas la documentation du commutateur et de l'émetteur-récepteur.

Une stratégie de migration pratique consiste à conserver la modularité de l'installation de câbles fixes et à la séparer des optiques remplaçables. Cela permet de changer les émetteurs-récepteurs, les cassettes ou les cordons d'équipement sans remplacer automatiquement chaque ligne principale.

Tests de fibre et mise en service pour les centres de données IA

Les liens-haut débit doivent être acceptés comme des canaux complets, et non comme un ensemble de composants pris individuellement.

Tests de niveau 1

Le niveau 1 vérifie :

• de fin-à-fin de perte d'insertion ;
• longueur;
• cartographie de polarité ou de fibre ;
• réussite/échec par rapport à la limite approuvée.

Pour les liaisons MTP/MPO, un testeur multifibre-natif peut enregistrer chaque position sans utiliser de manière répétée des cordons de dérivation duplex individuels.

Tests OTDR de niveau 2

Les tests OTDR aident à localiser :

• connecteurs à-pertes élevées ;
• épissures inattendues ;
• macrocourbures;
• événements de réflexion ;
• distance à une faute.

Le niveau 2 doit compléter, et non remplacer, le résultat de bout en bout-à-du niveau 1.

Séquence de mise en service recommandée

1. Gelez les numéros de pièces du commutateur et de l’émetteur-récepteur.
2. Approuver le connecteur complet et le schéma de polarité.
3. Calculez la perte de canal dans le pire des cas-en utilisant les valeurs maximales garanties.
4. Inspectez, nettoyez et réinspectez-les deux côtés de chaque connexion.
5. Effectuez des tests de niveau 1 sur tous les liens de production critiques.
6. Effectuez des tests OTDR sur les lignes réseau et sur tout lien proche de sa limite de perte.
7. Stockez les résultats par-fibre sous l'ID de lien tel que-construit.
8. Vérifiez la topologie avec une charge de travail ou un benchmark collectif, et pas seulement l'état de la liaison.
9. Surveillez les indicateurs d'alimentation de réception et d'erreur pré-FEC en production, le cas échéant.
10. Testez à nouveau n’importe quel canal après le changement d’un cordon, d’une cassette, d’un adaptateur ou d’une ligne réseau.

Une étiquette de test en usine indiquant uniquement « PASS » n'est pas suffisante pour un grand projet d'IA. Demandez les valeurs par-fibre, la méthode de test, la longueur d'onde, les informations sur l'équipement et le résultat de la polarité.

Produits optiques Glory recommandés pour le câblage des centres de données AI

Le produit doit suivre l’architecture plutôt que l’inverse. Les groupes de produits Glory Optical suivants correspondent aux fonctions de câblage courantes dans un centre de données IA.

Avant de sélectionner un produit, fournissez au fournisseur le modèle de commutateur, le SKU de l'émetteur-récepteur, la carte des ports, le calendrier de longueur, la résistance au feu, le format du connecteur, la polarité et l'exigence de perte maximale.

FAQ sur le câblage fibre du centre de données AI

Conclusion

Le câblage à fibre optique prend en charge la bande passante, la densité et la portée requises par les réseaux d'IA modernes, mais son rôle va plus loin. Le système de câblage physique affecte la précision de la topologie, la séparation des plans de circulation, la marge optique, la facilité d'entretien du rack, l'étendue des réparations et la capacité de valider chaque lien de production.

L'approche la plus fiable consiste à calculer l'installation de fibre à partir de l'architecture réelle, à utiliser des composants modulaires et préterminés où ils réduisent les risques sur le terrain, à vérifier la polarité complète du canal et à conserver les enregistrements de test par fibre.

Glory Optical fournitproduits de câblage en fibre optique pour centres de donnéesy compris les assemblages MTP/MPO, les panneaux de brassage, les systèmes ODF, les cordons de brassage duplex et les configurations-préterminées personnalisées. Pour connaître le nombre de fibres, la polarité, les limites de perte ou les exigences d'étiquetage spécifiques au projet-, soumettez le calendrier des liaisons via leGlory Optical demande-une-page de devis.