Facebook Oregon'da Veri Merkezi Açıyor

Facebook’un Oregon eyaletinin Prineville kasabasında inşa ettiği veri merkezi, son aylarda hyperscale operasyonlarını izleyenlerin radarında. Önce Ocak’ta 147.000 metrekarelik tek bir bina açıklandı, ardından plan revize edildi ve buna ek 160.000 metrekarelik ikinci bir bina ile toplam 307.000 metrekareye çıkarıldı. İnşaata başlanan bu kompleksin ilk 147.000 metrekarelik kısmı 2011’in ilk çeyreğinde devreye girecek, ikinci kısım 2012 başında tamamlanacak.

Prineville bölgesi için bu çok iyi bir haber: Facebook açıkladığı kadarıyla 35 farklı iş alanından yaklaşık 200 kişilik bir kadro istihdam edecek. Kasabanın nüfusunun on bin civarında olduğunu düşünürsek bu istihdam yerel ekonomi için ciddi bir hareket.

Konuyla ilgili Facebook’un kısa açıklamasını burada bulabilirsiniz.

Yer Seçimi Tesadüf Değil

Prineville bir Oregon iç bölgesi kasabası ve coğrafi olarak hyperscale bir veri merkezi için neredeyse “ders kitabı” lokasyon. Sebepleri sırasıyla:

Soğuk iklim ve düşük nem

Yıl boyunca düşük ortalama sıcaklık ve kuru hava, klasik DX (direct expansion) klima üniteleri yerine free cooling mimarisini mümkün kılıyor. Yani sunucu salonlarındaki ısının önemli bir kısmı, dışarıdaki soğuk havayı filtrelenip içeri alarak veya su-hava ısı değiştiricileri üzerinden değerlendirilerek atılabiliyor. Bu yaklaşım, kompresörlü soğutma için harcanan elektriği dramatik biçimde aşağı çekiyor; PUE (Power Usage Effectiveness) değerini 1.1–1.2 civarına indirme potansiyeli var. Endüstri ortalaması 2.0’ın üzerindeyken bu rakam ciddi bir fark.

Ucuz hidroelektrik enerji

Columbia Nehri havzasındaki büyük hidroelektrik santralleri (Bonneville, John Day, The Dalles) bölgeyi ABD’nin en ucuz ve yeşil elektrik kaynaklarından birine sahip kılıyor. Hyperscale veri merkezinin işletme maliyetinin önemli bir kısmı elektrik faturasıdır; kWh başına 3–5 sent farkı, megavat ölçeğinde yıllık milyonlarca dolar demek.

Vergi avantajları

Oregon eyaleti, belirli bölgelerinde “Enterprise Zone” statüsüyle ciddi mülk vergisi indirimleri sunuyor. Bu nedenle Prineville bölgesi Facebook’un ilk değil; Google The Dalles’ta, Amazon Boardman’da veri merkezi koşturuyor. Yani Facebook, sektörün ağır toplarının yan komşusu olarak yerleşiyor. Aynı bölgede yoğunlaşan bu yatırımlar tesadüf değil; iklim + enerji + vergi formülü hesabı net biçimde Oregon iç bölgelerine işaret ediyor.

Fiber bağlantı

Bölge, sahildeki ana fiber omurgalardan iç tarafa uzanan hatlar üzerinde yer alıyor. Hyperscale operasyon için gerekli düşük gecikmeli ve yüksek kapasiteli bağlantı orada.

İnşaat Detayları

Bina Vitesse LLC tarafından inşa ediliyor. Sızan bilgilerden ve Facebook’un kendi paylaşımlarından anlaşılan kadarıyla Facebook bu veri merkezini “anahtar teslim” hazır bir tesis olarak kiralamıyor; baştan tasarlayıp inşa ettiriyor. Bu bilinçli bir tercih. Klasik kolokasyon sağlayıcılarının verdiği genel amaçlı veri merkezi tasarımı, hyperscale iş yükleri için optimum değil. Hava akışından kabin sıralamasına, soğutma stratejisine kadar her şey kendi yük profillerine göre tasarlandığında verimlilik ciddi şekilde artıyor.

Özel Sunucu Tasarımına Dair İpuçları

Asıl ilginç tarafa geliyoruz. Facebook’un bu veri merkezinde standart bir HP/Dell/IBM rack sunucu yığını kullanmayacağı, kendi tasarımı sunucularla dolduracağı sızıyor. Yani Google’ın yıllardır uyguladığı modelin benzeri: tedarikçiyi atlayıp doğrudan tasarımcısı olmak.

Detaylar henüz tam açık değil ama dolaşan bilgilerden anlaşılan kadarıyla:

12V yedek pil sistemi: Klasik UPS yerine Google’dan tanıdığımız, her sunucunun yanında küçük bir 12V batarya yer alan model. Bu yaklaşım, UPS katmanındaki AC-DC ve DC-AC dönüşümleri elimine ederek ciddi enerji verimi sağlıyor. Google bu yöntemin verimliliğini geçen yıl tartışmaya açmıştı.
Şasiden sadeleştirme: Gereksiz plastik kapak, gösterge LED’i, ön panel kontrolleri ayıklanmış; sadece soğutma akışını ve servis kolaylığını optimize eden açık tasarım.
Yüksek voltaj dağıtımı: Tipik 208V/120V dağıtım yerine 277V seviyesinde dağıtımla transformatör kayıplarının azaltılması bekleniyor.
Sıcak/soğuk koridor ayrımı: Tüm hat ekipmanlarının homojen yöneltilmesiyle hava akışında karışıklığın yok edilmesi.

Bu kararların tamamı Facebook’un sadece bir kullanıcı değil, kendi donanım tasarımcısı haline geldiğini gösteriyor. Geçen yılki Velocity konferansında Facebook mühendislerinden Jonathan Heiliger’in “biz hardware’ı da yazılım gibi tasarlıyoruz” söylemini hatırlatır gibi bir gelişme.

60.000 Sunucu ve Büyüme

2009’daki sıçramadan sonra Facebook’un yaklaşık 60.000 sunucu civarında bir kapasiteyle çalıştığı tahmin ediliyor. Bu rakamın Prineville’le birlikte nereye gideceği henüz net değil ama büyüme tarafında manzaraya bakacak olursak:

Kullanıcılar sitede her gün toplam 16 milyar dakikadan fazla zaman harcıyor.
Her hafta 6 milyar civarında içerik üretiliyor (durum güncellemesi, fotoğraf, link, not vb.).
Her ay 3 milyar fotoğraf yükleniyor.
Saniyede yaklaşık bir milyon fotoğraf görüntüleniyor.
Sunucular saniyede 50 milyar civarında işlem (çoğu cache okuması) yapıyor.

Bu hacimde bir operasyonun standart kurumsal donanım üzerine kurulu olması artık ekonomik değil. Facebook’un kendi donanımına geçişinin altında yatan asıl sebep tam da bu ölçek.

Hyperscale Tasarımının Geleceği

Daha geniş açıdan baktığımızda, Google’ın bir on yıl önce başlattığı “kendi donanımını tasarla, vergi cenneti bulunabilir lokasyona kur, free cooling kullan” yaklaşımının artık bir tek şirketin tercihi olmadığı, sektör standardı haline geldiği görülüyor. Facebook bu hatta katılan en büyük ikinci hyperscale operatör. Microsoft’un kontainer tabanlı veri merkezi tasarımları (Chicago’daki C-pod modeli), Yahoo’nun “Computing Coop” deneyleri ve Amazon’un AWS veri merkezleri için yaptığı yatırımlar aynı dönüşümün farklı yansımaları.

Türkiye Perspektifi

Türkiye’de henüz bu ölçekte ve felsefede tasarlanmış bir veri merkezi inşası gündemde değil. Yakın zamanda devreye giren ya da inşaatı devam eden ulusal projeler (Türk Telekom Beştepe, çeşitli özel sektör Tier III tesisleri) klasik kurumsal IT modeline uygun tasarımlar; iyi mühendislik ürünleri olsalar da hyperscale felsefesinden uzaklar. Önümüzdeki yıllarda Türkiye’de büyük internet servislerinin (e-ticaret platformları, sosyal medya benzerleri, oyun şirketleri) ölçeği büyüdükçe bu tasarım dilinin yerelde de tartışılmaya başlamasını bekliyorum.

Facebook’un Prineville hamlesi, hyperscale tasarımının artık “Google’a özgü acayiplik” olmaktan çıkıp web sektörünün ölçek operasyonunda standart yaklaşıma dönüştüğünü gösteriyor. Önümüzdeki bir-iki yıl içinde başka büyük internet şirketlerinin de benzer tasarım kararlarını açıklamasını beklerim.