跳到主要內容

​雲中奈飛（一）：Netflix的上雲之旅_網頁設計公司


※自行創業缺乏曝光? 網頁設計幫您第一時間規劃公司的形象門面



網站的第一印象網頁設計，決定了客戶是否繼續瀏覽的意願。台北網動廣告製作的RWD網頁設計，採用精簡與質感的CSS語法，提升企業的專業形象與簡約舒適的瀏覽體驗，讓瀏覽者第一眼就愛上它。



作者按： 


Netflix（譯為奈飛/網飛）公司自1997年創立以來，已發展成為美國最大的互聯網流媒體服務商。它從2008到2015年間長達七年的將其所有IT系統從自有數據中心遷移到AWS之上的旅程，在當時可謂前無古人的創舉，對公有雲的發展、傳統企業上雲及基於雲的業務轉型等都有很大的推動和促進作用。雖然已過去多年，有些東西已略微顯得過時，但奈飛上雲的理念、步驟、做法等，對當今企業上雲及用雲仍有很大的參考價值。 


因此，在接下來的幾周內，筆者打算花上些許時間，對奈飛的上雲之旅，及其雲上運行，基於網上公開資料，從上雲歷程、雲上架構、支撐團隊、雲上安全等維度做下梳理和總結，形成系列文章。它山之石，可以攻玉。本文為這系列文章的第一篇，介紹奈飛的總體上雲歷程。


 


本文目錄


零、公司簡介....................................... 1


一、發端.............................................. 4


二、驗證.............................................. 6


三、進行.............................................. 8


四、完成.............................................. 11 


五、筆者感受


 


零、公司簡介


 



 


Netflix（https://www.netflix.com/）公司總部設在美國加利福尼亞州，是全世界最大的視頻流媒體平台，在除中國大陸地區以外的所有國家和地區均提供視頻點播服務，相當於國內的愛奇藝、優酷和騰訊視頻等視頻網站。 


1997年，當Reed Hastings和Marc Randolph創建 Netflix時，這家公司唯一業務是DVD郵購業務。2002年上市，股票發行價為15美元；2007年開始發展流媒體業務；2013年，發布其首部原創電視劇《紙牌屋》；2016年宣布全球化，全世界200多個國家和地區可訂閱Netflix觀看電影電視劇。 2017年，Netflix用戶數量超過美國有線電視用戶總數。如今，Netflix的股價是419美元，已成為世界上大型的電視劇和電影製片公司之一、美國最大的互聯網流媒體服務商，在世界範圍內擁有很強的影響力，高峰時刻佔據了互聯網流媒體流量的33%。 



 


除了商業上非常成功外，Netflix在技術上也非常成功，它雖然是家娛樂公司，但實際上是一家技術公司。從2008年開始，直到2015年底，它花了整整七年時間，把公司整套IT系統搬到了AWS上。這可謂前無來者。除此之外，Netflix在分佈式系統開源上具有巨大的影響力，其開源項目叫做Netflix OSS(Open Source Software)，涵蓋範圍基本包括了業界絕大部分分佈式系統領域，包括但不限於： 


·       公共運行時服務及庫，比如Eureka, Ribbon, Hystrix


·       大數據，比如Genie


·       構建和發布工具，比如Asgard/Spinnaker


·       數據持久化，比如EVCache


·       可觀察性、可靠性和性能，比如Simian Army 


 


一、發端


 


Netflix的上雲之旅始於2008年8月。從公開資料來看，當時主要有兩個驅動力促使其上雲： 


（1）發生了系統宕機。 


當時，Netflix的IT系統運行在高端昂貴的IBM服務器、Oracle數據庫和SAN存儲搭建的平台之上。某次，因為SAN存儲硬件故障導致的數據庫宕機，使得Netflix的DVD配送服務不得不停止了3天。這個故障使得公司管理層開始意識到，由IT團隊利用昂貴的平台來保證系統可用性的做法存在問題，更應該從應用層面去保障系統可用性。因此，需考慮IT系統從傳統垂直擴展的帶有單點故障的架構，轉向高可用、水平擴展的分佈式架構。與此同時，他們開始思考是否可以利用剛剛出現的低成本雲基礎設施來替代昂貴傳統IT基礎設施來支撐需具備高可用性的應用。


 



 


（2）新業務帶來巨大數據中心擴容壓力。 


Netflix的傳統DVD寄送服務的服務模式下，客戶瀏覽Netflix網站選擇DVD，然後公司開始寄送。因為受到DVD來回寄送速度的限制，通常是以周為周期給客戶寄送DVD。因此，這種傳統業務模式對IT系統的業務壓力較輕。 



傳統DVD寄送業務模式


 


儘管DVD業務增長迅速，但2007年Netflix仍然決定推出第一款流媒體產品"Watch Now"來革新其業務。這種業務也是它後來蓬勃發展的關鍵因素之一。這種新服務模式下，用戶與Netflix網站之間的交互頻率是傳統DVD寄送業務下交互頻率的100倍甚至不止。 



流媒體服務模式


 


新模式下，用戶每周看的視頻數量是之前的十倍，而每個視頻對數據中心中的IT系統產生的流量則是百倍，因此每個用戶對IT系統產生的流量是之前的千倍。也就是說，只要0.1%的用戶從傳統模式轉向新模式，那IT系統的容量就必須翻倍。其實這種規律也很常見。即使用戶並沒有顯著增長，只要因為業務模式的變化，對IT系統的壓力也可能成倍增加。 


這就要求Netflix找到一種快速擴容數據中心的方法，因為根據當時的業務預測，其用戶很快就會轉向在線流媒體服務模式。時間來到2009年，隨着新業務的發展，Netflix面臨兩個選擇：自建數據中心，或利用其業務競爭對手亞馬遜於2006年才發布的AWS雲。前者需要大量前期資金投入，並且未來的容量需求無法預測且是變化不定的，而後者則是在視頻流領域的最大競爭對手Amazon的雲上開展業務。Netflix決定選擇後者。他們認為，相比在不實際產生業務價值的數據中心上做前期巨大投入，將資金投入在視頻內容和開發人員身上會更有價值。


 



 


二、驗證


於是這一年（2009年），Netflix開始研究利用AWS雲來開展業務的各種風險，包括業務競爭風險、規模性風險、商業風險和公關風險等。就業務競爭風險，Netflix與AWS溝融了AWS是如何與Amazon Premier做業務分離的。然後開展實驗去驗證AWS上的資源快速擴容能力。Netflix還與AWS簽訂了首批企業許可協議，這種協議下Netflix不需要通過授權信用卡方式來使用AWS資源，而信用卡授權是當時大多數人在AWS上消費時使用的主要方式。 


隨着兩家合作消息的傳開，2010年4月，紐約時報還發表了一篇關於Netflix和AWS業務的文章，說兩者將進行業務合作。請注意其中的"peculiar（特有）"一詞，表示那時候企業上雲是新聞，而上到競爭對手的雲上更是新聞。 



 


當時Netflix還諮詢了一些業界專家，專家們認為這種做法非常瘋狂，因為當時很少有企業這麼做，而且企業業務上雲在當時還是一個非常不成熟的策略。但Netflix決定堅持下去，成為首批上雲企業客戶之一。 


接下來，Netflix實驗性地將一些沒有真正面向客戶的應用遷移到AWS上。首先從電影編碼開始，當時其只有數據中心沒有足夠的容量來容納編碼服務器。有一次Netflix申請3000台服務器，結果AWS一個小時內就交付了，這就驗證AWS資源交付的彈性和及時性。而且隨着這項工作的完成，不用的機器即被釋放，這證明了雲計算的"按需使用和付費"特徵。


接下來驗證視頻服務QoS日誌上雲。隨着進入數據中心數據庫的流量越來越多，這些流量正在溢出，而且自己的機房缺乏足夠的存儲空間來保存想要的信息。於是，Netflix利用S3來存儲數據，利用EMR來處理數據。Netflix是Hadoop早期用戶之一，曾與AWS合作將Hive作為基於EMR的處理選項。


 


※綠能、環保無空污,成為電動車最新代名詞，目前市場使用率逐漸普及化



台中景泰電動車行只是一個單純的理由，將來台灣的環境，出門可以自由放心的深呼吸，讓空氣回歸自然的乾淨，減少污染，留給我們下一代有好品質無空污的優質環境





 


到2010年，可行性驗證基本完成，Netflix認為上雲看起來是可行的。於是2011年，Netflix作出決定，不再擴容自有IDC。


 


三、進行


 


Netflix開始真正地要在AWS雲上起飛了。從最簡單的API服務開始，然後是最簡單的Web網頁，然後是更多的API和網頁。



 


到2010年底，Netflix成功地將網站前端都遷移到了AWS上，但後端依然在自有數據中心內。



 


用戶訪問流量還是進入其自有數據中心，但是有選擇地將部分流量利用HTTP Redirect將請求轉向AWS Cloud。這其實也就是我們現在常常提到的金絲雀模式，通過導入部分用戶到新環境上來驗證和逐步地完成系統遷移。


 



 


接下來是數據遷移。2010年的主要工作之一，是將主數據系統放在數據中心，將副本放在雲中，並將數據從本地持續地同步到雲中。


 



 


2011年，Netflix決定將所有數據放到雲上。其中一個問題是如何做數據備份。Netflix沒有採用當時常見的利用本地數據中心中的磁帶來備份雲中數據的做法，而是充分利用了S3的安全性和持久性，用不同的賬戶在不同的AWS區域中創建S3存儲桶，然後將生產數據導入生產區域S3存儲桶，再經過壓縮和加密並傳送到容災區域的桶中。利用不同的賬戶，主要是從安全角度考慮。後來，AWS發布了Glacier后，Netflix利用它來做長期歸檔的數據存儲。


 


 


 


到2015年，除了計費和賬單系統外，其餘所有系統都已經遷移到AWS上了。到2016年1月4日，Netflix完成了最後這兩個系統的遷移，詳細信息請參加其公司博客https://netflixtechblog.com/netflix-billing-migration-to-aws-451fba085a4。


 



 


四、完成


 


2016年2月，Netflix宣布其上雲遷移工作全部完成。這一年，Netflix的用戶數是2008年開始上雲遷移時候的8倍，而用戶的月度觀看視頻數則有幾千倍的增長，用戶遍布全球超過130個國家，Netflix也成為了一家國際化視頻服務提供商。




 


到2017年，除了CDN由其自建外，Netflix使用AWS來滿足其幾乎所有計算和存儲需求，包括數據庫、分析、建議引擎、視頻轉碼等數百種功能。而且，Netflix系統的可用性在持續增加，正在不斷接近99.99%的既定目標。



  • Netflix的視頻服務在高峰時段佔據了高達37%的Internet流量。相比之下，YouTube 僅佔到15.6%，網頁瀏覽約 6%, Facebook約2.7%, Amazon Instant Video 約2.0%。


  • 在AWS上共利用超過10萬個 EC2 Instances 的80萬CPU Cores，且在此基礎上有約 20% 的波動。


  • 在每個服務區域上的 AWS Elastic Load Balancing 的流量超過 50Gbps


  • 在 S3 上存儲和管理超過15億個對象的 60 PB 的數據。其中每天要丟棄超過 400TB 的過期數據以及新增 600TB 的數據。



 


2016年Netflix在AWS上的系統架構：



儘管降低成本支出並不是Netflix上雲的主要出發點之一，但是實際上，現在每個視頻的播放成本是當初利用自有數據中心的幾分之一，這是一種非常可觀的額外收益。這主要歸功於雲的彈性，使得Netflix可以持續地優化實例類型，近乎實時地增加或減少所用的資源，而不需要維持大規模的備用容量，以及公有雲的規模不斷擴大帶來的單位成本下降。 


那為什麼需要7年時間才能完成上雲遷移呢？這是因為全業務上雲是一項艱巨的工作，需要做好多的艱難決策。可以想到的是，最簡單的方式是將所有系統緣分不斷地搬到雲上，但是隨着系統一起搬過去的還有你在傳統數據中心中遇到的所有問題和限制。因此，Netflix選擇了一條另外的道路，重構所有系統，徹底改變公司IT運營方式，將單體應用改變為微服務架構應用、重構數據模型、使用NoSQL數據庫。將過去那種預算嚴格受控制、版本發布嚴格受管控、花幾周時間來做物理容量擴容的傳統方式，改變為持續集成和發布、技術團隊獨立做決策、基於松耦合DevOps環境的新方式。這種方式使得Netflix花了七年時間才完成上雲之旅，但是正是這種轉變，也使得它成為了一家國際化的網絡視頻服務提供商。 


五、筆者感受


 


大膽決策，開先河。不說10年前，就是在現在，要不要上（公有）雲、源代碼和核心數據能不能上雲、雲上安全怎麼搞、以什麼步驟上雲、應用要不要做架構升級等等這些問題，依然是評估上雲時會引發爭論的話題。而十年前的Netflix，從自身業務出發，做出了艱難決策，決定把資金用在核心業務上，將數據中心外包給公有雲，這前無來者，開了業界先河。要為他們的眼光、勇氣和決心點贊！


先易后難，保安全。Netflix並非倉促上陣，而是總體上執行先易后難、先驗證再推廣的策略。從最簡單的API、網頁前端、離線視頻編碼系統等開始，做技術可行性驗證。驗證成功后，再推廣至其它系統，最後做最核心的賬單和支付系統遷移，在保障業務穩定和用戶體驗的前提下，花了七年時間才完成全部遷移工作。要為他們的務實精神點贊！


以終為始，高標準。Netflix並沒有簡單地將其IT系統從其自有數據中心搬到AWS上，而是以終為始，高標準完成遷移工作。"終"是系統的可用性要達到四個九，確保用戶體驗。要實現這個目標，需要在遷移上雲前對應用做分佈式改造。只有這樣，才能充分利用雲的彈性和分佈式能力。而且，Netflix主要利用的是AWS的IaaS，自研了全球分佈的PaaS平台。一方面是因為當時AWS所提供的是以IaaS為主，還考慮到了供應商綁定以及未來多雲等可能。這些做法都具有開創性和前瞻性，不僅這種做法對後來更多用戶如何上雲極具參考價值，而且Netflix將其PaaS中很多組件都開源了，直接促進了行業發展。要為他們對自己的嚴格要求和對業界的貢獻點贊！


 


參考資料：



  • 復盤Netflix發展史：如何用20年成為一家千億美元公司？，克魯斯2018年5月14日。https://www.gelonghui.com/p/179693


  • Completing the Netflix Cloud Migration，https://media.netflix.com/en/company-blog/completing-the-netflix-cloud-migration，2016.1


  • YouTube video，Globally Distributed Cloud Applications at Netflix，October 2012，Adrian Cockcro


  • Migrating to Cloud - Lessons from Netflix, Brought Up to Date，Adrian Cockcroft，https://media.netflix.com/en/company-blog/completing-the-netflix-cloud-migration


  • Companies Slowly Join Cloud-Computing，By Brad Stone and Ashlee Vance，https://www.nytimes.com/2010/04/19/technology/19cloud.html



 


感謝您的閱讀，歡迎關注我的微信公眾號：


本站聲明:網站內容來源於博客園,如有侵權,請聯繫我們,我們將及時處理

※如何讓商品強力曝光呢? 網頁設計公司幫您建置最吸引人的網站，提高曝光率!



以設計的實用美學觀點，規劃出舒適、美觀的視覺畫面，有效提昇使用者的心理期待，營造出輕鬆、愉悅的網站瀏覽體驗。



Orignal From: ​雲中奈飛（一）：Netflix的上雲之旅_網頁設計公司

留言

張貼留言

這個網誌中的熱門文章

有了四步解題法模板，再也不害怕動態規劃！（看不懂算我輸）

導言 動態規劃問題一直是算法面試當中的重點和難點，並且動態規劃這種通過空間換取時間的算法思想在實際的工作中也會被頻繁用到，這篇文章的目的主要是解釋清楚 什麼是動態規劃 ，還有就是面對一道動態規劃問題，一般的 思考步驟 以及其中的注意事項等等，最後通過幾道題目將理論和實踐結合。 什麼是動態規劃 如果你還沒有聽說過動態規劃，或者僅僅只有耳聞，或許你可以看看 Quora 上面的這個 回答 。 How to explain dynamic 用一句話解釋動態規劃就是 " 記住你之前做過的事 "，如果更準確些，其實是 " 記住你之前得到的答案 "。 我舉個大家工作中經常遇到的例子。 在軟件開發中，大家經常會遇到一些系統配置的問題，配置不對，系統就會報錯，這個時候一般都會去 Google 或者是查閱相關的文檔，花了一定的時間將配置修改好。 過了一段時間，去到另一個系統，遇到類似的問題，這個時候已經記不清之前修改過的配置文件長什麼樣，這個時候有兩種方案，一種方案還是去 Google 或者查閱文檔，另一種方案是借鑒之前修改過的配置，第一種做法其實是萬金油，因為你遇到的任何問題其實都可以去 Google，去查閱相關文件找答案，但是這會花費一定的時間，相比之下，第二種方案肯定會更加地節約時間，但是這個方案是有條件的，條件如下： 之前的問題和當前的問題有着關聯性，換句話說，之前問題得到的答案可以幫助解決當前問題 需要記錄之前問題的答案 當然在這個例子中，可以看到的是，上面這兩個條件均滿足，大可去到之前配置過的文件中，將配置拷貝過來，然後做些細微的調整即可解決當前問題，節約了大量的時間。 不知道你是否從這些描述中發現，對於一個動態規劃問題，我們只需要從兩個方面考慮，那就是 找出問題之間的聯繫 ，以及 記錄答案 ，這裏的難點其實是找出問題之間的聯繫，記錄答案只是順帶的事情，利用一些簡單的數據結構就可以做到。 概念 上面的解釋如果大家可以理解的話，接    動態規劃 算法是通過拆分問題，定義問題狀態和狀態之間的關係，使得問題能夠以遞推（或者說分治）的方式去解決。它的幾個重要概念如下所述。    階段： 對於一個完整的問題過程，適當的切分為若干個相互聯繫的子問題，每次在求解一個子問題...
張貼留言
閱讀完整內容

計算機本地文件快要滅絕了

　　 編者按： 文件是数字世界的基石，是我們基本的工作單位。但是，隨着互聯網的雲化、平台化、服務化，文件日益變得可有可無。這樣一種改變究竟好不好呢？喜歡懷舊的 Simon Pitt 開始回顧各種文件的好處，哪怕這讓他顯得不合時宜。原文發表在 medium 上，標題是：Computer Files Are Going Extinct 　　我喜歡文件。我喜歡對文件重命名、移動、排序，改變它們在文件夾中的显示方式，去備份文件，將之上傳到互聯網，恢復它們，對其進行複製，甚至還可以對文件進行碎片整理。作為信息存儲方式的一種隱喻，在我看來文件是很出色的。我喜歡把文件當作一個工作單位。如果我要寫篇文章，文章會放在文件裏面。如果我要生成圖像，圖像會保存進文件裏面。 　　 謳歌 files.doc 　　文件是擬物化的。這是個很花哨的詞，只是用來表示文件是反映現實物品的一個数字概念。比方說，Word 文檔就像一張紙，躺在你的辦公桌上（desktop）。JPEG 就像一幅畫，等等。它們每個都有一個小圖標，圖標的樣子看起來像它們所代表的現實物品。一堆紙，一個畫框，一個馬尼拉文件夾。真的挺很迷人的。 　　我喜歡文件的一點是，不管裏面有什麼，跟文件的交互方式總是一致的。我上面提到的那些東西——複製、排序、碎片整理——我可以對任何文件進行那些處理。文件可能是圖像、遊戲的一部分、也可能是我最喜歡的餐具清單。碎片整理程序不在乎它是什麼。它不會去判斷內容。 　　自從我開始在 Windows 95 裏面創建文件以來，我就一直都很喜歡文件。但是我注意到我們已經開始慢慢地遠離把文件當作基本工作單位的做法。 Windows95。我的計算機 　　 services.mp3 的興起 　　十幾歲的時候，我開始痴迷於收集和管理数字音樂：我收藏 MP3 文件。一大堆的 128 kbps MP3 文件。如果你足夠幸運，有自己的 CD 刻錄機的話，就可以將它們刻錄到 CD 上，然後在朋友之間傳遞。一張 CD 可以容納 700 MB。這相當於將近 500 張軟盤！ 　　我會仔細端詳我的收藏，然後煞費苦心地給它們添加上 IDv1 和 IDv2 音樂標籤。隨着時間的流逝，大家開始開發可以在雲端自動獲取曲目列表的工具，這樣你就可以檢查和驗證 MP3 的質量。有時候我甚至會去聽那些該死的東西，儘管...
張貼留言
閱讀完整內容

純電動 Mini Cooper SE 將成為中國國產車，年產 16 萬輛

BMW 集團與中國長城汽車合資，將於江蘇建立新廠，專門投入生產 MINI Cooper SE 和部分長城品牌電動車，預計於 2022 年完工並投入生產，每年將可生產 16 萬輛電動車。 靈動可愛的 Mini Cooper，在許多車迷心中都有著特殊的地位，今年 7 月發表了首款純電動版本的 Mini Cooper SE 之後，獲得熱烈迴響，預訂數量已接近 8 萬台，顯示大家對於純電 Mini 的熱愛，因為油電版的 Mini Cooper Countryman 的全球總銷售量也才 3 萬出頭。 Mini Cooper SE 之前公布了官方定價，最低從 27,900 歐元起算，美國售價約 29,900 美元。相比現有的三門款，只貴了一成左右。然而，三年後，中國消費者將有機會買到最便宜的電動 Mini。 電動 Mini Cooper SE 最低價是 27,900 歐元，扣掉全額補助最低可以到 24,400 歐元。 BMW 集團與中國長城汽車集團於 2018 年宣布，將組建合資公司光束汽車，投入在中國的電動車生產計畫，而現在他們正式宣布啟動計畫，於江蘇張家港打造一個新工廠，全部投入電動車的製造，包括了 Mini Cooper SE 和其他長城汽車旗下的電動車。 目前的電動 Mini 只在英國牛津工廠製造，不難想像當產能轉移到中國後，Mini Cooper SE 的價格將有機會進一步調降，來競爭全球最大的電動車市場。這座屬於合資公司光束汽車的新工廠，採用一個新的產銷模式，由 BMW 和長城共同合作開發、設計、製造新產品，但是銷售通路完全沿用原本的品牌渠道。 換句話說，2020 年到 2022 年銷售的電動 Mini，將會是英國製造，而 2022 年後就會有中國製造版本開賣，考量到 Mini 在中國每年約有 30 萬輛的銷售額，同時油電版的 Coutryman 銷量更佔了全球將近五分之一，無怪乎 BMW 會想在最接近主要市場的地方蓋工廠囉。 外型完美復刻油車版 最後，簡單介紹一下 Mini Cooper SE 這台車。Mini 在電動化的路上，盡力保持著跟經典造型一致的設計，畢竟大家愛的就是它的設計。電動版的 Mini 車頭、車身跟車屁股都多了一個黃色的插頭標誌，車頭的氣壩則變成封閉式設計，除此之外，幾乎看不出來差別，連馬達...
張貼留言
閱讀完整內容