2007/07/13 maz&tomo 1

BGP ◎◎編 時代と共に～10年の歴史を振り返りながら～

Yoshida ‘tomo’ Tomoya

<yoshida@ocn.ad.jp>

Matsuzaki ‘maz’ Yoshinobu

<maz@iij.ad.jp>

2007/07/13 maz&tomo 2

０．昔ばなし編

・ＯＣＮ

・ＩＩＪ

2007/07/13 maz&tomo 3

ＯＣＮの昔話（おかげさまで10周年）

� OCN 1996 12 25

� 2

�

� OSPF

�

� OSPF /28, /29

� 1LSDB

2007/07/13 maz&tomo 4

ＯＣＮの昔話（続き）

�

� JPNIC

�

�

� Static OSPFBGP

� no-export

�

� BGP

� Confede

2007/07/13 maz&tomo 5

ＯＣＮバックボーンの変遷

GW

ATM-SW

ATM-SW

ABR

FDDI-SW FE-SW

FE-SW FE-SW

GW

FDDI-SW FDDI-SW

ABRABR

GWcluster clustercluster

Servicefluster

Servicecluster

Servicecluster

Servicecluster

After After

2007/07/13 maz&tomo 6

最近

�

�

� 100km

2007/07/13 maz&tomo 7

7月末現在のOCNバックボーン（主要部分）

80G

20G××××2

80G

20G××××2

2.4G××××2

2.4G××××2

20G××××220G××××2

2.4G××××22.4G××××2 30G××××2

2.4G××××2

60G××××2

100G××××2

2007/07/13 maz&tomo 8

ＯＣＮバックボーンの経路制御

� : OSPF

� ECMP

� OSPF

� V4/V6

� : BGP

�

� V4/V6

2007/07/13 maz&tomo 9

ＩＩＪの昔ばなし

� static BGP/OSPF

� /24

� /24 BGP

� OSPF

� AS access-listas_path filter

2007/07/13 maz&tomo 10

ＩＩＪの昔ばなし(その後)

� BGP

�

� AS prefix-listbgp community

� / bgp community

� /

2007/07/13 maz&tomo 11

１．経路の推移を見てみよう編

2007/07/13 maz&tomo 12

IPv4経路数

http://bgp.potaroo.net/rv-index.html

2007/07/13 maz&tomo 13

ＩＰv6経路数の推移

http://www.cidr-report.org/v6/as6447/index.html

6bone

2007/07/13 maz&tomo 14

IPv4経路数の推移 ～予測と過去の実測値～

666510

574578

495326

427005

368107

317334

273564

235831

203302

175261

150712

130873

112821

97259

83844

72279

62310

53715

2

1.15

1.15

1.15

1.15

1.15

1.15

1.15

1.15

1.15

1.16 :

1.15 :

-1.15

-1.15

-1.15

-1.15

-1.15

-1.15

-1.16650671998

-1.16748271999

-1.16860512000

-1.16989582001

-1.161138022002

1.15 :1507122004

1.16 :1752612005

1.162015502006

1.162317822007

1.162665502008

1.163065322009

1.163525122010

1.164053892011

1.164661972012

1.165361272013

1.166165462014

1308732003

-1.16565801997

1

2003

→→→→

2007/07/13 maz&tomo 15

IPv4経路数の推移予測

0

100000

200000

300000

400000

500000

600000

1997 1998 1999 2000 2001 2002 2003 2004 2005 2006 2007 2008 2009 2010 2011 2012

Num

ber

of ro

ute

s

1.15 times

1.16 times

1.17 times2003 2004

1.15

2004 2005

1.16

2005 2006

1.17

5 40

2007/07/13 maz&tomo 16

IPv4経路数の推移予測（続き）

年に1.15倍～1.17倍の増加（最近は倍率が増加傾向）割り振りが停止しても一定期間は広告経路の増加は継続される（予想）

0

200000

400000

600000

800000

1000000

1200000

1997

1998

1999

2000

2001

2002

2003

2004

2005

2006

2007

2008

2009

2010

2011

2012

2013

2014

2015

2016

1.15

1.16

1.17

Route aggregationをきちんと実施していこうというdraftも

2007/07/13 maz&tomo 17

/8毎に見ると

Nov-2004

Nov-2006

0/8

8/8

16/8

24/8

32/8

40/8

48/8

56/8

64/8

72/8

80/8

88/8

96/8

104/8

112/8

120/8

128/8

136/8

144/8

152/8

160/8

168/8

176/8

184/8

192/8

200/8

208/8

216/8

224/8

232/8

240/8

248/8

0

2000

4000

6000

8000

10000

12000

Class-B

CIDR allocation

202/8 203/8

1

num

ber

of

route

s

2007/07/13 maz&tomo 18

プリフィックス長毎に見てみると

2003末 : 1308732004末 : 1507122005末 : 1752612006末 : 204725

/8～/16は微小ながら増加している

2003末 2004末 2005末 2006末

増減2003-4

増減2004-5

増減2005-6

/1 0 0 0 0 0 0 0/2 0 0 0 0 0 0 0/3 0 0 0 0 0 0 0/4 0 0 0 0 0 0 0/5 0 0 0 0 0 0 0/6 0 0 0 0 0 0 0/7 0 0 0 0 0 0 0/8 19 19 18 19 0 -1 1/9 4 3 5 10 -1 2 5/10 6 7 8 13 1 1 5/11 14 15 17 30 1 2 13/12 57 61 81 111 4 20 30/13 100 138 187 222 38 49 35/14 277 314 340 397 37 26 57/15 483 553 666 794 70 113 128/16 7506 8113 8597 9077 607 484 480

2007/07/13 maz&tomo 19

半分が/24

2003末 : 1308732004末 : 1507122005末 : 1752612006末 : 204725

2003末 2004末 2005末 2006末増減2003-4

増減2004-5

増減2005-6

/17 1829 2270 2880 3625 441 610 745/18 3334 3933 4871 5826 599 938 955/19 8716 9818 11026 12664 1102 1208 1638/20 9249 10402 12142 14281 1153 1740 2139/21 6656 8007 10194 12838 1351 2187 2644/22 9386 11066 13440 16203 1680 2374 2763/23 10943 12707 14626 17682 1764 1919 3056/24 71541 82382 95225 109219 10841 12843 13994/25 182 252 345 658 70 93 313/26 233 239 292 468 6 53 176/27 156 130 194 364 -26 64 170/28 70 69 26 69 -1 -43 43/29 21 54 12 44 33 -42 32/30 50 120 36 80 70 -84 44/31 0 0 3 0 0 3 -3/32 41 40 30 31 -1 -10 1

2007/07/13 maz&tomo 20

何が伸びてるのか

�

�

2007/07/13 maz&tomo 21

APNIC地域の/8毎のトレンド

Nov-04

Nov-05

Nov-06

58/8

59/8

60/8

61/8

116/

8

117/8

118/8

119/8

120/8

121/8

122/8

123/8

124/8

125/8

126/8

202/8

203/8

210/8

211/8

218/8

219/8

220/8

221/8

222/8

0

2000

4000

6000

8000

10000

12000

58/8

59/8

60/8

61/8

116/8

117/8

118/8

119/8

120/8

121/8

122/8

123/8

124/8

125/8

126/8

202/8

203/8

210/8

211/8

218/8

219/8

220/8

221/8

222/8

202/8, 203/8

1/10

2007/07/13 maz&tomo 22

APNIC地域を細かく見ると

2007/07/13 maz&tomo 23

RIPE地域の/8毎のトレンド

Nov-04

Nov-05

Nov-06

62/8

77/8

78/

879

/880

/8

81/8

82/

883

/884

/8

85/8

86/

887

/888

/889

/8

90/8

91/

819

3/8

194/8

195/8

212/

8213

/8

217

/8

0

1000

2000

3000

4000

5000

6000 62/8

77/8

78/8

79/8

80/8

81/8

82/8

83/8

84/8

85/8

86/8

87/8

88/8

89/8

90/8

91/8

193/8

194/8

195/8

212/8

213/8

217/8

2007/07/13 maz&tomo 24

ARIN地域の/8毎のトレンド

Nov-04

Nov-05

Nov-06

24/

8

64/8

66/

8

68/

8

70/8

72/

8

74/

8

76/8

97/8

99/

8

204/8

206

/8

208

/8

216/

8

0

1000

2000

3000

4000

5000

6000

7000

24/8

63/8

64/8

65/8

66/8

67/8

68/8

69/8

70/8

71/8

72/8

73/8

74/8

75/8

76/8

96/8

97/8

98/8

99/8

199/8

204/8

205/8

206/8

207/8

208/8

209/8

216/8

2007/07/13 maz&tomo 25

LACNIC地域の/8毎のトレンド

Nov-04

May-05

Nov-05

May-06

Nov-06189/8

201/8

0

1000

2000

3000

4000

5000

6000

7000

8000

189/8

190/8

201/8

200/8

200/8

2007/07/13 maz&tomo 26

AfriNIC地域の/8毎のトレンド

Nov-04

May-05

Nov-05

May-06

Nov-06 41/8

0

50

100

150

200

250

300

41/8

41/8

2007/07/13 maz&tomo 27

２．BGPでトラフィック制御編

2007/07/13 maz&tomo 28

トラヒック制御の手法例

�Path Attribute�LocalPreference

�MED

�IGP cost�closest exit

�eBGP multihop

�multipath� iBGP

�eBGP

2007/07/13 maz&tomo 29

Local Preference

�

� default: 100

�

�

�

� AS Path

LP: 200LP: 100

traffic

2007/07/13 maz&tomo 30

MED

�

�

max

�

� AS Path IGP Cost

�

� always-compare?

� deterministic?MED: 1000 MED: 2000

traffic

ＡＳ

ＡＳ

2007/07/13 maz&tomo 31

優先制御の憂鬱

� BGP

�

AS

AS

LP:200

LP: 100

LP: 200

LP:200

LP:100

AS

AS

LP:200

LP:100W/D

AS

AS

LP:100 LP:100

2007/07/13 maz&tomo 32

closest exit

� ☺

� AS/

�

�

2007/07/13 maz&tomo 33

closest exitの維持

�

�

� LocalPref MED

� IGP

�

�confederation

� route reflectorMED +2000

�

2007/07/13 maz&tomo 34

eBGP multihopで負荷分散

�

�

�

� loopback static

� eBGP IP TTL

� loopback eBGP

�

�

eB

GPsta

tic s

tatic

2007/07/13 maz&tomo 35

BGP multipath

� Best Path� BGP Best Path selection

� LocalPreference, AS Path MEDnext_hop BGP Path

� multipath

� iBGP 1 Best Path� Path

� eBGP multipath next_hop attributeiBGP

2007/07/13 maz&tomo 36

eBGP multipath

� eBGP Path

�

� Multipath

� eBGP multihop

�

�

eB

GP

eB

GP

MultiPath !!

2007/07/13 maz&tomo 37

iBGP multipath

� iBGP Path

�

eB

GP

eB

GP

iBG

PiBG

P

MultiPath!

� Multipath

�

2007/07/13 maz&tomo 38

経路制御の苦悩

�closest exit�

�

�

� IX�FE→ GbE

�GbE → 10GE

�10GE → ????

�

2007/07/13 maz&tomo 39

ISP間でバックアップの難しさ

� /

�

�

�

�

�

� or

2007/07/13 maz&tomo 40

最近のISP間トラヒック制御

� closest exit

�

� multipath

� MEDclosest exit

� 10GE

� multipath

�

2007/07/13 maz&tomo 41

ゆくゆくはこんな接続を希望

� ...

#11

#2

#2

2007/07/13 maz&tomo 42

３．ＢＧＰタイマー編

2007/07/13 maz&tomo 43

keepalive

� UPDATE

� ( keepalive )

� keepalive/holdtime

� 30 /90 (Juniper?)

� 60 /180 (Cisco?)

�

� IIJ 10 /40

2007/07/13 maz&tomo 44

最近のkeepalive

�

�

�

� BFD

� keepaliveBFD

� OCN Interop BFD for BGP

� 1000msec 3

�

2007/07/13 maz&tomo 45

� UPDATE

� Cisco ( )

� iBGP 5

� eBGP 30

� RR

MRAI timer

eBGP iBGP eBGP

UPDATE

MRAI MRAI

2007/07/13 maz&tomo 46

最近のMRAI

� 0sec for iBGP

� 30sec for eBGP

� Cisco

� 12.0(32)S or R3.3

�

� Juniper

� MRAI 0sec

2007/07/13 maz&tomo 47

bgp damping

�

�

�

�

2007/07/13 maz&tomo 48

bgp damping（続き）

1000

5051505

753

375

2000

10103010

1505

75０

suppress

One flap

Cisco Juniper

One flap

15 minutes

15 minutes

15 minutes

Stable

Cisco is 1000Juniper is 2000

withdrawn 1000readvertisement1000

In this timeJuniper’s route

is not used

Default suppress :

Cisco 2000 , Juniper 3000reused

2007/07/13 maz&tomo 49

最近のbgp damping

�

�

� OCN

� MRAI

�

�

2007/07/13 maz&tomo 50

他

� MD5

� 2004 TCP Vulnerability

� ISP

� http://www.bugest.net/irs/docs_20040707/Tcp_Vulnerability_yoshida.pdf

� e i

� Cluster-ID

�

� loopback( )

2007/07/13 maz&tomo 51

4．これから編

2007/07/13 maz&tomo 52

経路数の増大

�

� 22

� /24

� 22

� http://www.cidr-report.org/

� Route Aggregation

� http://www.ripe.net/docs/ripe-399.html

2007/07/13 maz&tomo 53

細かい経路を減らす努力

� /25 (/25)

�

� IIJ/OCN

� PA

�

� IGP aggregate

2007/07/13 maz&tomo 54

AP地域、頑張ろう

� APNIC

� de-aggregation routes

� 1 prefix AS

TOTAL APNIC ARIN RIPE AfriNIC LACNICBGP routing table entries 213110 48310 104128 44039 2527 14058after maximum aggregation 114382 19415 61213 28738 964 4050Deaggregation factor 1.86 2.49 1.7 1.53 2.67 3.47

Total ASes present 24455 2877 11364 9195 180 760Origin ASes announcing only one prefix 10282 782 4363 4831 59 246

42.0% 27.2% 38.4% 52.5% 32.8% 32.4%

* BGP Routing Table Analysis Reports *

Routing Table Report 04:00 +10GMT Mon 26 Feb, 2007

2007/07/13 maz&tomo 55

ＢＧＰ経路情報の信頼性向上

� Secure Inter-domain Routing WG� Inter-domain Routing

�

�

� RPSEC WG

� 2006 WG

� http://www.ietf.org/html.charters/sidr-charter.html

2007/07/13 maz&tomo 56

もろもろの課題

�

� 10G Link-aggregation → 100GE → 1TE?

� 100G

� IX(eBGP)

� BFD for BGP

� 4-octet ASN Deployment

� AS23456(AS_Trans)

� 3 4-octet ASN

� IPv6 NW

2007/07/13 maz&tomo 57

もろもろの課題２

�

� 20

� 40

� IPv4+IPv6

� aggregation

� Intra Inter-AS

2007/07/13 maz&tomo 58

おしまいおしまいおしまいおしまい

日本日本日本日本のすごさをもっとのすごさをもっとのすごさをもっとのすごさをもっと国際的国際的国際的国際的ににににアピールアピールアピールアピールできるようできるようできるようできるよう、、、、今後今後今後今後ともともともとも頑張頑張頑張頑張ってってってって参参参参りますりますりますります