Sieć fabric, przełączanie i łącza operatorów
Śledź pakiety od szafy do meet-me roomu i znajdź miejsca, w których fizyczna rzeczywistość ogranicza logiczny projekt.
Efekty nauki
- Prześledź pakiet od portu serwera do granicy operatora
- Porównaj umiejscowienie warstwy dostępowej i jego skutki dla okablowania
- Oddziel redundancję logiczną od fizycznej niezależności
NADSUBSKRYPCJA
RATIO = TOTAL ACCESS PORT CAPACITY ÷ UPLINK CAPACITY
Decyzja projektowa, a nie wada. Liczy się to, czy współczynnik odpowiada ruchowi, który faktycznie generują obciążenia.
Warstwa dostępowa to miejsce, w którym zaczyna się fizyczna rzeczywistość
Port serwera łączy się z przełącznikiem dostępowym, a to, gdzie ten przełącznik stoi, decyduje o tym, co biegnie przez salę. Gdy jest w szafie, miedź jest krótka i zostaje w środku, a na zewnątrz wychodzi kilka światłowodowych łączy uplink. Gdy stoi na końcu lub w środku rzędu, przełączanie jest współdzielone przez wiele szaf, a każde połączenie serwera staje się poziomym odcinkiem kabla, który musi do niego dotrzeć.
Żadne z rozwiązań nie jest lepsze w ogóle. Przełącznik w każdej szafie marnuje porty w częściowo zapełnionych szafach i dokłada urządzeń do zarządzania; przełączanie współdzielone łączy te porty w pulę i płaci za to gęstymi wiązkami miedzi, które zajmują trasy kablowe, dokładają masy i mogą blokować przepływ powietrza tam, gdzie przechodzą. Decyzja kablowa i decyzja termiczna to ta sama decyzja, podejmowana na różnych rysunkach.
Leaf-spine zmienił znaczenie słowa „fabric”
Tradycyjne projekty trójwarstwowe zakładały, że większość ruchu opuszcza budynek, więc warstwa dostępowa zasilała agregację, a agregacja – rdzeń. Gdy aplikacje stały się rozproszone, większość ruchu zaczęła płynąć między serwerami, a topologia zoptymalizowana pod ruch północ–południe kazała ruchowi wschód–zachód pokonywać długie, nierówne ścieżki.
Fabric leaf-spine odpowiada na to, łącząc każdy przełącznik leaf z każdym spine, dzięki czemu dowolne dwa leafy dzieli ta sama liczba przeskoków. Przepustowość zwiększa się, dodając kolejne spine’y, a nie powiększając pojedyncze urządzenia. Ceną jest znacznie więcej okablowania między warstwami leaf i spine oraz projekt, którego zachowanie zależy od tego, czy łącza uplink są obecne i zrównoważone, a nie od kondycji jednego dużego urządzenia.
Dwie sieci są dwiema tylko wtedy, gdy pozostają rozdzielone
Niezależne sieci A i B to sieciowy odpowiednik torów zasilania A/B – i zawodzą w ten sam sposób. Dwa przełączniki w jednej szafie, zasilane z jednej listwy, z uplinkami biegnącymi jedną trasą kablową, to nie dwie ścieżki, tylko jedna ścieżka ze zdublowanym sprzętem.
Prawdziwa niezależność musi przetrwać prześledzenie całej drogi: osobne tory zasilania, osobne trasy fizyczne, osobne ścieżki uplink, a najlepiej także osobne zarządzanie i okna zmian, żeby jedna błędna konfiguracja nie mogła trafić do obu sieci naraz. Awaria, która wyłącza obie sieci, rzadko jest awarią przełącznika; to wspólna trasa, wspólne źródło zasilania albo wspólna zmiana.
Granica operatora to miejsce, w którym kończy się budynek
Łączność opuszcza budynek przez punkty wejścia kabli, a dywersyfikacja ma tam charakter fizyczny, nie umowny. Dwóch operatorów, których światłowody wchodzą tym samym kanałem, tym samym wejściem do budynku albo tą samą ulicą, jest narażonych na tę samą koparkę. Prawdziwa dywersyfikacja to osobne trasy fizyczne, osobne punkty wejścia i dowody, a nie zapewnienia.
Meet-me room (MMR) to miejsce, w którym operatorzy i najemcy łączą się krosami, co czyni go jednocześnie najbardziej użytecznym i najbardziej skoncentrowanym punktem w projekcie łączności. Zasługuje na takie samo traktowanie jak każda inna wspólna zależność: wiedz, co od niego zależy, co się stanie, gdy będzie niedostępny, i czy istnieje jakakolwiek ścieżka, która przez niego nie przechodzi.
Opóźnienie to budżet, a odległość go wydaje
Każdy element ścieżki kosztuje czas: propagacja na odległość, serializacja, kolejkowanie przy przeciążeniu i przetwarzanie na każdym przeskoku. Odległości nie da się zoptymalizować – wyznaczają ją fizyka i położenie obiektów, dlatego rozmieszczenie wrażliwe na opóźnienia to w tym samym stopniu decyzja o nieruchomościach co decyzja sieciowa.
Reszta to projekt i eksploatacja. Mniej przeskoków, rozsądna nadsubskrypcja i przeciążenia, które się mierzy, zamiast je zakładać, załatwiają większość sprawy. Przewidywalna ścieżka jest zwykle warta więcej niż nieznacznie krótsza, bo o sieci, której zachowanie zmienia się wraz z obciążeniem, bardzo trudno wnioskować podczas incydentu.
Jak to wygląda w Data Center Fan
Data Center Fan modeluje łączność jako przepustowość i powierzchnię incydentów – przecięte światłowody, ataki i przeciążenia wpływają na kontrakty i dostępność. Gra mocno upraszcza topologię i nie symuluje przełączania, routingu ani prawdziwego fabricu.
Częste nieporozumienie
„Top-of-rack znaczy, że przełącznik jest na górze szafy”. To nazwa topologii, a nie pozycja montażowa; przełącznik często montuje się w środku szafy, żeby przewody do serwerów powyżej i poniżej były jak najkrótsze.
Test wiedzy
Szafę obsługują dwie niezależne sieci, ale oba uplinki biegną jednym korytem kablowym. Co jest prawdą?
- Projekt jest w pełni redundantny
- Zdarzenie fizyczne w tym korycie może odciąć obie ścieżki
- Niezależność gwarantuje separacja logiczna
Niezależność logiczna nie przetrwa wspólnej trasy fizycznej. Dwie ścieżki, które dzielą koryto, pion kablowy lub pomieszczenie, są narażone na wszystko, co się tam wydarzy.
Najczęściej zadawane pytania
Co to jest fabric leaf-spine?
Dwuwarstwowa topologia, w której każdy przełącznik leaf łączy się z każdym przełącznikiem spine, więc dowolne dwa leafy dzieli ta sama liczba przeskoków. Pasuje do ruchu wschód–zachód między serwerami i skaluje się przez dodawanie spine’ów, a nie przez powiększanie pojedynczych urządzeń.
Czym różni się architektura trójwarstwowa od leaf-spine?
Projekty trójwarstwowe układają warstwy dostępu, agregacji i rdzenia jedna na drugiej, co pasuje do ruchu opuszczającego budynek. Leaf-spine łączy każdy leaf z każdym spine, co daje przewidywalną liczbę przeskoków dla ruchu między serwerami. Ta zmiana podążyła za rozproszeniem aplikacji.
Co to jest meet-me room?
Pomieszczenie w obiekcie, w którym operatorzy i najemcy łączą się ze sobą krosami. To punkt, w którym skupia się łączność budynku, co czyni go zarazem niezwykle użytecznym i wspólną zależnością, którą warto rozumieć.
Co to jest dywersyfikacja operatorów (carrier diversity)?
Łączność, która nie dzieli fizycznego losu. Dwóch operatorów zapewnia dywersyfikację tylko wtedy, gdy ich światłowody biegną osobnymi trasami i wchodzą do budynku w osobnych punktach; umowy z dwoma dostawcami, których kable dzielą jeden kanał, to nie dywersyfikacja.
Co to jest nadsubskrypcja w sieci centrum danych?
Stosunek łącznej przepustowości portów dostępowych do dostępnej dla nich przepustowości uplinków. To świadoma decyzja projektowa, a nie usterka – pytanie brzmi, czy wybrany współczynnik odpowiada ruchowi, który obciążenia faktycznie generują.
Dlaczego okablowanie wpływa na chłodzenie?
Bo gęste wiązki miedzi zajmują trasy kablowe i przestrzeń pod podłogą, dokładają masy i mogą blokować powietrze, które podłoga ma dostarczać. Decyzja o rozmieszczeniu przełączników, która dokłada okablowania poziomego, jest też decyzją o przepływie powietrza w przestrzeniach, przez które to okablowanie przechodzi.