在決定將推薦程序的核心模型開發與生產推理擴展交由 Amazon Web Services 負責之后,我們開始使用 Amazon Personalize 進行開發,并很快感受到將其集成至全擴展機器學習工作流所帶來的卓越便捷性。下圖所示,為這套解決方案的基本架構。
GPU 運算能力決定了深度學習的訓練速度,強大的 GPU 有望將訓練周期由幾個禮拜縮短至數小時。但要全面發揮 GPU 資源的強大性能,我們還需要考量以下因素:
大數據技術是信息發展的一大趨勢,什么是大數據、如何利用大數據是如今熱門的研究話題。本文調查了將Amazon EMR大數據處理平臺用作FRTB IMA計算平臺的實際情況,下圖所示為用例中選擇的特定Amazon EMR架構。
流處理技術源于企業的實際需求,這些企業經歷了數據量、數據產生速度和數據種類的巨大增長,并且迫切需要快速攝取和評估這些數據來進行業務決策。
與傳統系統的批處理模式(“靜態數據”)相比,處理和分析“運動”中數據的能力已是企業間的關鍵差異因素之一。尤其在企業進行數字化轉型的今天,企業迫切需要對當下正在發生的事情進行分析的需求,而不是對昨天或上個月發生的事情進行分析。因此流式數據對企業越來越重要,因為它能讓企業具有競爭優勢。事件發生后,當下的見解會立即變得有價值,隨著時間的流逝其價值會迅速下降。
從物聯網、金融、網絡安全到零售,實時分析、行動能力已經成為多個領域 SLA 的關鍵要素,企業正在將流式數據與數據處理引擎和框架結合在一起來創建流數據應用程序。這類名詞有很多,實時分析、流分析、復雜事件處理(CEP)、實時流分析和事件處理等。
大部分希望遷移到Amazon Web Service存儲服務的公司,都需要在開始遷移時首先評估現有的存儲基礎結構。為了更有效地評估現有存儲基礎結構,有必要了解如何將現有存儲設備映射為不同的Amazon Web Service存儲服務。為此必須花費時間明確目前的數據是如何存儲,以及存儲在哪里,隨后才能以此為依據將現有工作負載和存儲基礎結構遷移至Amazon Web Service存儲服務。
本文將對比Amazon Web Service存儲和本地存儲的存儲模式,以幫助客戶將現有模式與Amazon Web Service存儲服務豐富的產品組合相互匹配。此外本文還將提供存儲模式決策矩陣,借此加快多樣化的應用程序和工作負載需求遷移到Amazon Web Service時的決策過程。應用程序遷移是不少擁有龐大數據庫的企業所面臨的難題。時至今日,各類組織都面對著前所未有的數據量增長與數據復雜性提升。但是,如此寶貴的資產中只有一小部分可被實際用于分析。傳統的本地 MPP 數據倉庫(例如 Teradata、IBM Netezza、Greenplum 以及 Vertica 等)都采用嚴格的架構設定,無法適應現代大數據分析用例。這類傳統數據倉庫的部署與運營成本也更高,需要在軟件及硬件層面進行大量前期投資。另外,它們也無法支持需要高級機器學習與個性化體驗的現代用例,例如實時或預測式分析與應用程序。
Amazon Redshift 是一項快速、全托管、云原生且極具成本效益的數據倉庫,能夠將您的分析管道從這些限制中解放出來。大家可以在您的 Amazon Redshift 集群當中面向 PB 級別的龐大數據執行查詢,甚至可以直接對接數據湖中高達EB級別的數據集合。大家還可以在幾分鐘之內建立一套云數據倉庫,每小時起步使用成本僅為 0.25 美元,而后以每 TB 每年 1000 美元的低廉價格將數據體量擴展至 PB 水平——這一成本甚至不足其他競爭對手解決方案的十分之一。
面對當前數以萬計的全球部署與快速增長,Amazon Redshift 也迎來了無數希望從傳統 MPP 數據倉庫遷移至這一新型云端數據倉庫解決方案的客戶,以及由他們帶來的巨大需求。亞馬遜云科技 Schema Conversion Tool (SCT) 能夠自動將源數據庫 schema 與大多數數據庫代碼對象(包括視圖、存儲過程與函數)轉換為 Amazon Redshift 中的等效功能,極大提升此類 MPP 遷移效果的可預測性。SCT 還可以使用內置數據遷移代理,幫助客戶將數據從多個數據倉庫處統一遷移至 Amazon Redshift。
大規模 MPP 數據倉庫遷移不僅伴隨著極高的項目復雜性,同時也在資源、時間與成本方面帶來一系列風險挑戰。但通過以主題及對象層級為基礎的數據倉庫遷移路線圖,大家可以極大降低陳舊數據倉庫與工作負載遷移所帶來的復雜度水平。
亞馬遜云科技 Professional Services 結合我們過去幾年中參與的一系列大型 MPP 數據倉庫遷移項目,設計并開發出這款工具。相關方法充分汲取來自 ETL 與報告工作負載中的分析經驗,全面考量其間涉及的高復雜度依賴關系。以多個維度為基礎,其將復雜的數據倉庫遷移項目拆分成多個邏輯與系統波次,包括業務優先級、數據依賴關系、工作負載概況以及現有服務水平協議(SLA)等。
要確定應該將哪些應用程序及其相關主題域納入哪些波次,我們需要在應用程序與主題域之間做出詳細映射。下表所示,為此類映射的相關示例。
在本文中我們將介紹一些技巧,探討如何通過網絡操作(例如從 Amazon S3 處下載數據、使用 Amazon EBS 以及 Amazon Elastic Files System(簡稱 Amazon EFS)等文件系統)優化數據傳輸服務。
下圖所示,為 Citibot 示例對話場景截屏。
在工業物聯網監控平臺中,最為關鍵的便是數據的手機工作。以一個風力發電場為例:其渦輪機分布在數百平方英里的范圍內。能源運營商必須通過最大限度地提高渦輪機性能來產生穩定、可盈利的電力輸出。雖然例行的定期維護是連續運行的關鍵,但這并不能阻止渦輪機在下一個維護時段之前停機。能源運營商希望通過向運營人員提供近乎實時的渦輪機機械性能數據來最大限度地提高風力發電場輸出。通過訪問此實時數據,可以根據當前狀況安排維護,并在檢測到故障時立即采取措施。然后,可以通過移動設備自動給現場工程師發送警報。
今天,我非常高興地宣布推出 Amazon Monitron,這是一項狀態監測服務,可檢測潛在故障并允許用戶跟蹤正在發生的故障,從而使您能夠實施預測性維護,從而減少計劃外停機時。
這是一個真實故事:幾個月前,我買了一臺新洗衣機。送貨員在我的地下室安裝時,我們聊起這些物品現在似乎很不耐用;使用壽命根本無法超過幾年。送貨員要走時,我說起自己的熱水器已經老化,維護不良,告訴他我已決定在未來幾周內更換熱水器,很快他就會再過來為我安裝一個新的熱水器。沒想到,它第二天就壞了。你可以笑我,沒關系。我沒有提前打算,確實不冤枉。
盡管這件發生在家里的小事挺讓人煩惱,但與工業環境(例如生產線和倉庫)中機器發生意外故障所造成的巨大時間和金錢損失相比,這絕對不算什么。眾所周知,一粒沙子都可能導致始料未及的停電,墨菲定律告訴我們,停電很可能會在最糟糕的情況下以及最糟糕的時間發生,從而給業務造成嚴重影響。
為避免故障,可靠性經理和維護技術人員通常將以下三種策略結合起來:
基于狀態的維護和預測性維護需要在關鍵設備上安裝傳感器。這些傳感器可測量和捕獲物理值,例如溫度和振動測量值,其變化是潛在故障或狀況惡化的一個主要指標。
如您所料,構建和部署此類維護系統會是一個漫長、復雜且成本高昂的項目,會涉及到定制的硬件、軟件、基礎設施和流程??蛻粝蛭覀儗で髱椭?,而后我們就行動了。
推出 Amazon Monitron
Amazon Monitron 是一項簡單且性價比高的狀態監測服務,借助它,您可以對設施中的設備的狀況進行監控,從而實施預測性維護計劃。
我們將設計過程中的日志分為四種:
半導體在發展最初,由于電路比較簡單,對計算能力的要求不高,基本的設計工作可在單臺工作站上完成。此時 IT 工程師負責基礎設施的維護,而 IC 工程師負責芯片的開發。但隨著電子工藝的發展,電路變得越來越復雜,設計工作對 IT 架構提出了更高的要求。設計架構的復雜化使得原有IT和 IC 工程師的技術棧已經不足以應對復雜的架構,如何在整個設計流程中最大化利用公司 IT 資源,優化設計流程,并幫助設計團隊高效地完成設計工作,就成為了每個設計公司的重要任務。而這部分工作,往往由 CAD 工程師來完成。
國內大部分半導體設計公司都面臨缺少 CAD 工程師的局面。缺少 CAD 團隊影響設計效率成為一個日益顯著的問題。缺少 CAD 團隊意味著缺少開發設計流程工具,缺乏流程管理,無法為作業失敗后的日志分析提供良好的排查指導。本文以回歸測試舉例,闡述在回歸測試過程中,當作業失敗,需要針對異常狀況進行分析時,提供一個簡單的排查流程指導。各位可以根據公司自身的狀況進行定制化設計,并通過異常分析流程在缺少 CAD 團隊的情況下提升開發效率。
我們首先來看一下在一個大型的半導體公司中理想狀況下的 EDA 堆棧。