← トップ(目次) ② ルーティング OSPF BGP VRRP IPv6 IPマルチキャスト ③ セキュリティ 拠点間VPN プロキシとSWG 認証連携 ④ クラウド・DC ロードバランサー VXLANとEVPN ⑤ DNS・メール DNS メールと送信ドメイン認証 ① LAN冗長化 L2冗長化 | 全分野の用語ドリル
VXLAN と EVPN とは ── 実機を触ったことがない人のためのデータセンター網の構造
令和6年 午後Ⅱ問1 がまるごとこのテーマで、平成27年 午後Ⅱ問2 でも IaaS 基盤の題材として出ています。
一言で言えば「L3 ネットワークの上に、仮想的な L2 ネットワークをトンネルで作る 技術」が VXLAN で、
「そのトンネルの出入口同士が、BGP を使って MAC アドレスを教え合う 仕組み」が EVPN です。
午後の設問は、カプセル化の中身、MAC アドレスをどう学習するか、OSPF や BGP とどう組み合わせるかに集中しているので、その順で説明します。
1. 何を解くか 2. スパイン・リーフとアンダーレイ 3. VXLAN の動作 4 ステップ 4. EVPN
5. 仮想化基盤との関係 6. 用語集 7. 午後での問われ方 8. ミニ確認問題
用語の振り返り 関係の深いページ
1. VXLAN が解いている問題
アンダーレイ(L3 ネットワーク。リーフ〜スパイン間は全部 IP の回線、OSPF で経路制御)
スパイン 1
スパイン 2
リーフ 1 VTEP 10.0.0.11
リーフ 2 VTEP 10.0.0.12
リーフ 3 VTEP 10.0.0.13
リーフ 4 VTEP 10.0.0.14
VM11
VM41
VM11 と VM41 は同じ VLAN100(同じサブネット)だが、
間にあるのは L3 ネットワーク。VXLAN がこの上に L2 を延ばす
赤枠=VTEP(VXLAN の出入口)。リーフ 1 → リーフ 4 はスパイン 1 経由と 2 経由の 2 経路(ECMP)
図1 スパイン 2 台・リーフ 4 台のデータセンター網。以下の説明はすべてこの図で進める
データセンターでは 1 台の物理サーバの上で多数の仮想マシン(VM)が動き、顧客(テナント)ごとにネットワークを分けます。
従来はこれを VLAN で分けていましたが、3 つの限界に当たります。
VLAN ID は 12 ビットで最大 4094 個 。テナントが数千になると足りない。
VM は別の物理サーバへ動かせる (ライブマイグレーション)が、動かした先でも同じ IP で動き続けるには同じ L2 ネットワーク(同じサブネット) が移動先まで延びていなければならない。VLAN をデータセンター全体に張り巡らせることになる。
大きな L2 網は冗長経路を STP でブロック するので、回線の半分が遊ぶ。障害時の収束も遅い。
VXLAN の発想 データセンター内の配線は全部 L3(IP のルーティング) で組み、冗長経路は OSPF の ECMP で全部使う。
その上で、同じテナントの VM 同士が「同じ L2 にいる」ように見せるために、イーサネットフレームを IP パケットに包んで運ぶ (トンネル)。
包む・開く役の装置が VTEP (VXLAN Tunnel End Point)で、図1 ではリーフスイッチがそれです。
VLAN ID の代わりに VNI (VXLAN Network Identifier、24 ビット=約 1677 万)でネットワークを区別します。
下の L3 ネットワークをアンダーレイ 、その上に作る仮想 L2 ネットワークをオーバーレイ と呼びます。
この二層構造が理解の鍵で、設問で「どの機器が、どちらの層で、何を見ているか」を取り違えないことが第一歩です。
2. スパイン・リーフとアンダーレイ
図1 の形をスパイン・リーフ構成 と呼びます。サーバを収容するリーフ と、リーフ同士をつなぐだけのスパイン の 2 段で、
すべてのリーフがすべてのスパインとつながる のが決まりです。リーフ同士は直接つながず、どのリーフ間も「リーフ → スパイン → リーフ」の 2 ホップで等距離になります。
リーフ〜スパイン間は全部 L3 のリンク (ポイントツーポイントのサブネット)で、OSPF などで経路を交換する。STP は使わない。
リーフ 1 からリーフ 4 へは「スパイン 1 経由」「スパイン 2 経由」の 2 経路がある。OSPF のコストを同じにして ECMP にすれば両方使える(令和6年 午後Ⅱ問1 「複数ある経路のそれぞれについて、コストの合計値を同じ値にする」)。
VTEP のアドレスはループバックインタフェース に付ける。「一つの物理インタフェースに障害があっても VTEP として動作できるから」(同問)。OSPF のルータ ID をループバックにする理由と同じ発想です。
OSPF の用語(LSDB、最短経路、ルータ ID)も同じ問題の中で空欄になっています。OSPF とは の 2 章を先に読んでおいてください。
3. VXLAN の動作 4 ステップ
VLAN と VNI を対応づける
サーバはこれまで通り VLAN タグ付きのフレームをリーフに送ります。リーフ(VTEP)は「ポート X の VLAN100 は VNI 10100」のようにVLAN ID と VNI の対応表 を持ち、
受け取ったフレームをどの VNI に乗せるか決めます。同じテナントのネットワークには、どのリーフでも同じ VNI を割り当てます。
フレームを包む(カプセル化)
VM11 が送った元のフレーム
宛先 MAC: VM41
送信元 MAC: VM11
IP ヘッダ
データ
リーフ 1(VTEP)が丸ごと包む
アンダーレイを流れるパケット
外側 Ethernet 次ホップの MAC
外側 IP 10.0.0.11→10.0.0.14
UDP 宛先 4789
VXLAN ヘッダ VNI 10100
元のフレームそのまま (宛先 MAC: VM41 …)
外側の宛先 IP は「VM41 を収容する VTEP」のアドレス。アンダーレイのルータは外側 IP しか見ない
追加されるヘッダは 50 バイト(Ethernet 14+IP 20+UDP 8+VXLAN 8)。アンダーレイの MTU はその分大きくする
図2 VTEP は元のフレームを UDP/IP で包み、外側の宛先には相手 VTEP の IP を書く
VTEP は元のイーサネットフレームを丸ごと (宛先・送信元 MAC を含めて)包みます。外側から順に、Ethernet ヘッダ、IP ヘッダ(送信元=自分の VTEP アドレス、宛先=相手 VTEP のアドレス)、
UDP ヘッダ(宛先ポート 4789)、VXLAN ヘッダ(VNI 入り)、そして元のフレーム、という並びです。
令和6年 午後Ⅱ問1 は内側から「イーサネットフレーム → VXLAN ヘッダー → IPv4 ヘッダー」の順を答えさせ、VNI のビット数 24 と、カプセル化に使うトランスポートが UDP であることを空欄にしています。
MTU 包むと 50 バイト増えるので、アンダーレイの MTU が 1500 のままだと、サーバが 1500 バイトのフレームを送った瞬間に収まらなくなります。
アンダーレイのリンクはジャンボフレーム(1550 以上、実際は 9000 など)にしておくのが前提です。IPsec トンネルの MTU 問題と同じ構図で、「トンネルのせいで MTU が足りない」は午後の定番です。
相手 VTEP を知る(MAC アドレスの学習)
包むには「宛先 MAC の VM41 はどの VTEP の先にいるか 」を知らなければなりません。VTEP は普通の L2 スイッチの MAC アドレステーブルの代わりに、
「MAC アドレス → VNI → リモート VTEP の IP 」という対応表を持ちます(同問「VM11 の MAC アドレス、VNI 及び L3SW11 の VTEP の IP アドレス」)。
フラッド&ラーン(EVPN なし)
EVPN あり
リーフ 1
リーフ 2
リーフ 3
リーフ 4
宛先 MAC を知らないフレームは、同じ VNI を持つ
全リモート VTEP へ複製して送る(マルチキャスト
239.0.0.1 宛て、または 1 台ずつユニキャスト)
返事が来て初めて「VM41 はリーフ 4」と学習
リーフ 1
ルートリフレクタ (スパイン)
リーフ 4
① リーフ 4 は VM41 の MAC を
学習したら BGP で広告する
② RR が全リーフに配る
③ リーフ 1 は送る前から
「VM41 は 10.0.0.14」を知っている
Unknown Unicast のフラッディングが減る
図3 EVPN がないと知らない宛先は全 VTEP へばらまく。EVPN は先に教え合う
EVPN を使わない場合、この対応表はフラッド&ラーン で作ります。L2 スイッチと同じで、宛先 MAC を知らないフレーム(Unknown Unicast)、ブロードキャスト、マルチキャスト(まとめて BUM トラフィック )は
同じ VNI を持つすべてのリモート VTEP に転送 し、返事のフレームの送信元 MAC と外側の送信元 IP を見て学習します。
「すべてのリモート VTEP に送る」方法は 2 つあります。①アンダーレイでマルチキャスト を使い、VNI ごとに決めたグループアドレス(令和6年の問題では 239.0.0.1)宛てに 1 回送る。
②VTEP が宛先ごとにユニキャストで複製 して送る(ヘッドエンドレプリケーション、ingress replication)。
平成27年 午後Ⅱ問2 は①の構成で、「宛先となる VM の存在場所が不明だから」マルチキャストで送り、各 VTEP は該当グループの IGMP join を出しておく、という流れでした。
届いた側で開く
相手 VTEP(リーフ 4)は外側のヘッダを外し、VNI から VLAN ID に戻して、元のフレームを VM41 のポートへ出します。VM41 からの返事は逆向きに同じことが起きます。
サーバ側から見れば、間の L3 ネットワークは存在しないのと同じです。
4. EVPN ── 学習を BGP に任せる
フラッド&ラーンは単純ですが、VM が増えるほど BUM のフラッディングが増え 、アンダーレイでマルチキャストの設定も要ります。
そこで「VTEP が自分の配下の MAC アドレス(と IP アドレス)を最初から全員に広告 しておく」仕組みが EVPN (Ethernet VPN)です。広告に使うのは MP-BGP (マルチプロトコル BGP)で、
「VNI 10100 の MAC xx:xx は VTEP 10.0.0.14 にいる」という情報を BGP の経路として配ります(令和6年 午後Ⅱ問1 「MP-BGP を用いて学習する」)。
ピアの張り方 : VTEP 同士を iBGP でフルメッシュにするとピア数が爆発するので、スパインをルートリフレクタ にしてリーフはスパインとだけピアを張る。「利点は iBGP ピアの数を減らすことができる。設定するのはクラスター ID」(同問)。BGP ページのルートリフレクタの節と同じです。
フラッディングが減る : 宛先 MAC は広告で知っているので、Unknown Unicast をばらまく必要がなくなる。空欄「Unknown Unicast」(同問)。
ARP 抑制 : IP と MAC の対応も広告されるので、VM からの ARP 要求に VTEP が代理応答でき、ARP ブロードキャストもオーバーレイに流れない。
マルチホーミング : 1 台のサーバを 2 台のリーフにつなぐとき、その 2 本を ESI (Ethernet Segment Identifier)で同じセグメントとして広告し、両方のリーフが同時に転送できる。「二つの回線の帯域を有効に利用できる」(同問)。スタック越しの LAG と同じ効果を、独立した 2 台のリーフで得る方法です。
分散エニーキャストゲートウェイ : 全リーフに同じ仮想 MAC・IP のデフォルトゲートウェイを置き、VM がどこへ移動しても最寄りのリーフがゲートウェイになる。VRRP を使わずに済む。
なぜ BGP なのか OSPF は「リンクの状態」を運ぶ設計で、MAC アドレスのような大量の情報を載せる拡張がありません。BGP は属性を自由に追加でき(マルチプロトコル拡張)、数十万経路を運ぶのが本職なので、MAC/IP の広告に向いています。
データセンター網では「アンダーレイは OSPF、オーバーレイの MAC 学習は BGP(EVPN)」という組合せが典型です。
5. 仮想化基盤との関係
物理サーバの中にはハイパーバイザが作る仮想スイッチ があり、VM はそこにつながります。VTEP の役目をこの仮想スイッチに持たせる構成(ホストオーバーレイ)と、物理のリーフスイッチに持たせる構成(図1)があります。
VM をライブマイグレーションで別の物理サーバへ動かすと、その VM の MAC アドレスは別の VTEP の配下に移る ので、学習情報を更新する必要があります。EVPN では移動先の VTEP が新しい広告を出し、古い情報が置き換わります(MAC モビリティ)。
コンテナは VM より軽い仮想化で、1 つの OS の上でプロセスを隔離します。コンテナ間の通信も仮想スイッチ(ブリッジ)やオーバーレイで組むのは同じ発想です(令和4年 午後Ⅱ問2 がコンテナ移行の題材)。
6. 用語集(午後で出る順)
用語 意味 午後でのポイント
オーバーレイ/アンダーレイ 上に作る仮想 L2 ネットワーク/下で支える物理 L3 ネットワーク どの機器がどちらを見ているかを取り違えない
VTEP VXLAN トンネルの出入口。包む・開く アドレスはループバックに。「物理 IF 障害でも VTEP として動作できる」
VNI 24 ビットのネットワーク識別子(約 1677 万) VLAN 4094 の限界を超える。VLAN ID と対応づける
カプセル化 外側 Ethernet+IP+UDP(4789)+VXLAN ヘッダ+元フレーム 並び順と「UDP」「24」。50 バイト増で MTU 注意
スパイン・リーフ 全リーフが全スパインとつながる 2 段構成 リーフ間は常に 2 ホップ。ECMP で冗長経路を全部使う
ECMP 等コストの複数経路に分散 OSPF のコストを揃える
BUM トラフィック Broadcast・Unknown unicast・Multicast 全リモート VTEP へ複製。マルチキャストか ingress replication
フラッド&ラーン ばらまいて返事で学習する方式 学ぶのは MAC・VNI・リモート VTEP の IP の組
EVPN MP-BGP で MAC/IP を広告するコントロールプレーン Unknown Unicast が減る。ARP 抑制
MP-BGP IPv4 以外の情報も運べる BGP の拡張 EVPN の経路を運ぶ
ルートリフレクタ iBGP のフルメッシュを不要にする中継役 スパインに置く。クラスター ID
ESI マルチホーミングのセグメント識別子 2 台のリーフに同時接続して両方の帯域を使う
分散エニーキャストゲートウェイ 全リーフが同じ仮想ゲートウェイを持つ VM が移動してもゲートウェイは最寄り。VRRP 不要
ライブマイグレーション VM を止めずに別の物理サーバへ移す 同じ L2 が必要=VXLAN の動機。MAC の所在が変わる
仮想スイッチ ハイパーバイザ内の L2 スイッチ VTEP をここに置く構成もある
7. 午後での問われ方と答え方の型
設問の型 答え方 出た年度
空欄「VNI は□ビット」「カプセル化に使う□」 24、UDP R6 午後Ⅱ問1
カプセル化したパケットのヘッダの並び 内側から イーサネットフレーム → VXLAN ヘッダ → (UDP)→ IPv4 ヘッダ → 外側 Ethernet R6 午後Ⅱ問1
VXLAN セグメント数が多い理由 VNI が 24 ビットなので 2 の 24 乗の論理セグメントが構成できる H27 午後Ⅱ問2
BUM フレームをマルチキャストで送る理由 宛先 VM がどの VTEP の先にいるか不明なので、同じ VNI を持つ全リモート VTEP に転送する R6 午後Ⅱ問1、H27 午後Ⅱ問2
VTEP が学習する情報 VM の MAC アドレス、VNI、収容している VTEP の IP アドレス R6 午後Ⅱ問1
VTEP アドレスをループバックにする理由 一つの物理インタフェースに障害があっても VTEP として動作できるから R6 午後Ⅱ問1
アンダーレイで両経路を使う OSPF 設定 各経路のコストの合計値を同じにする(ECMP) R6 午後Ⅱ問1
ルートリフレクタの利点と設定項目 iBGP ピア数を減らせる。クラスター ID R6 午後Ⅱ問1
EVPN で減るトラフィック・学習方法 Unknown Unicast のフラッディング。MP-BGP で MAC を学習する R6 午後Ⅱ問1
マルチホーミング(ESI)の利点 二つの回線の帯域を有効に利用できる R6 午後Ⅱ問1
VLAN ID から VNI への対応と転送先 VLAN ID に対応する VNI を持つ全リモート VTEP R6 午後Ⅱ問1
書き方の型 「誰が・どの層で」を必ず入れる。「全 VTEP に送る」ではなく「同じ VNI を持つ全てのリモート VTEP に転送する」。
学習内容を問われたら「MAC アドレス」だけで止めず「MAC アドレス、VNI、VTEP の IP アドレス 」の 3 点を書く。
OSPF・BGP の設問が同じ問題に混ざるので、アンダーレイ(OSPF、コスト、ECMP)とオーバーレイ(BGP、EVPN、MAC)を頭の中で分けて読む。
8. ミニ確認問題
クリックで答えが開きます。
Q1 VLAN ではなく VXLAN を使う理由を 3 つ VLAN ID が 4094 までしかない。VM の移動のために同じ L2 を L3 網越しに延ばしたい。STP で冗長経路をブロックせず ECMP で全部使いたい。
Q2 VXLAN のカプセル化で付くヘッダを外側から順に 外側 Ethernet、外側 IP(VTEP 間)、UDP(宛先 4789)、VXLAN ヘッダ(VNI 24 ビット)、そして元のイーサネットフレーム。合計 50 バイト増。
Q3 VTEP とは何で、アドレスはどこに付けるか VXLAN トンネルの出入口で、フレームを包む・開く装置(リーフや仮想スイッチ)。アドレスはループバックに付け、物理ポート障害でも動作できるようにする。
Q4 スパイン・リーフの接続の決まりと利点 すべてのリーフがすべてのスパインとつながる。リーフ間は常に 2 ホップで等距離、複数スパイン経由の経路を ECMP で同時に使える。
Q5 フラッド&ラーンで VTEP が学習する 3 つの情報 VM の MAC アドレス、VNI、その VM を収容するリモート VTEP の IP アドレス。
Q6 BUM トラフィックを全リモート VTEP に届ける 2 つの方法 アンダーレイのマルチキャスト(VNI ごとのグループアドレス宛て)と、VTEP が宛先ごとにユニキャストで複製する ingress replication。
Q7 EVPN が解決すること MAC/IP を MP-BGP で事前に広告するので、Unknown Unicast のフラッディングが減り、ARP も VTEP が代理応答できる。
Q8 EVPN でスパインをルートリフレクタにする理由 リーフ同士を iBGP フルメッシュにするとピア数が増えすぎるため。リーフはスパインとだけピアを張る。設定にはクラスター ID を使う。
Q9 ESI によるマルチホーミングの利点 サーバを 2 台のリーフにつないだ 2 本の回線を両方同時に使え、帯域を有効利用できる(片方は待機、にならない)。
Q10 アンダーレイで注意する MTU の話 カプセル化で 50 バイト増えるので、アンダーレイの MTU を 1500 より大きく(ジャンボフレーム)しておかないと、1500 バイトのフレームが運べない。
用語の振り返り
このページの用語集(15 語)から作った確認問題です。「意味 → 用語」は意味の説明(用語そのものは__で伏せてある)を読んで用語を入力し、Enter で答え合わせします。
表記ゆれで × になったときは「合っていた」で直せます。「用語 → 意味」は口で説明してから答えを開いて自己採点します。結果はこのブラウザに保存され、「×だけ」で間違えた語だけを解き直せます。
意味 → 用語を答える 用語 → 意味を言う 全部 ×だけ 未回答だけ シャッフル 記録を消す
BGP … EVPN は MP-BGP。ルートリフレクタも BGP の仕組みOSPF … アンダーレイの OSPF と ECMPL2冗長化 … 大規模 L2 を STP に頼らず作る理由IPマルチキャスト … BUM トラフィックのマルチキャスト配送
← トップ(目次) ② ルーティング OSPF BGP VRRP IPv6 IPマルチキャスト ③ セキュリティ 拠点間VPN プロキシとSWG 認証連携 ④ クラウド・DC ロードバランサー VXLANとEVPN ⑤ DNS・メール DNS メールと送信ドメイン認証 ① LAN冗長化 L2冗長化 | 全分野の用語ドリル