Googlier.com | 多奇數位 Azure 部落格

Advertise with Googlier.com 多奇數位 Azure 部落格 - Storage http://azure.miniasp.com/ http://www.rssboard.org/rss-specification BlogEngine.NET 2.9.1.0 zh-TW http://azure.miniasp.com/opml.axd http://www.dotnetblogengine.net/syndication.axd 多奇數位創意有限公司多奇數位 Azure 部落格 0.000000 0.000000 Azure Storage 搬移資料工具 - AzCopy <h1>前言</h1> 以下情境適用AzCopy來進行資料搬移 <ul> <li>Azure Storage之間 <li>Azure Storage和本地端之間</li></ul> 針對Azure Storage之間的資料搬移， 一般的作法是將檔案下載到本地端，再利用Azure Explorer…等工具， 上傳至另一個Storage Account。 有了AzCopy，我們就可以使用URL搭配access key的方式， 且同一DC的資料是不收費的唷！ <h1>概念</h1> AzCopy使用的模式如下： <div id="codeSnippetWrapper" style="overflow: auto; cursor: text; font-size: 8pt; border-top: silver 1px solid; font-family: 'Courier New', courier, monospace; border-right: silver 1px solid; width: 97.5%; border-bottom: silver 1px solid; padding-bottom: 4px; direction: ltr; text-align: left; padding-top: 4px; padding-left: 4px; margin: 20px 0px 10px; border-left: silver 1px solid; line-height: 12pt; padding-right: 4px; max-height: 200px; background-color: #f4f4f4"> <div id="codeSnippet" style="border-top-style: none; overflow: visible; font-size: 8pt; font-family: 'Courier New', courier, monospace; width: 100%; border-bottom-style: none; color: black; padding-bottom: 0px; direction: ltr; text-align: left; padding-top: 0px; border-right-style: none; padding-left: 0px; border-left-style: none; line-height: 12pt; padding-right: 0px; background-color: #f4f4f4"><pre style="border-top-style: none; overflow: visible; font-size: 10pt; font-family: 'Courier New', courier, monospace; width: 100%; border-bottom-style: none; color: black; padding-bottom: 0px; direction: ltr; text-align: left; padding-top: 0px; border-right-style: none; padding-left: 0px; margin: 0em; border-left-style: none; line-height: 12pt; padding-right: 0px; background-color: white">AzCopy /Source:<source> /Dest:<destination> /Pattern:<filepattern> [Options]</pre></div></div> <h1>實作</h1> 下載 AzCopy：<a title="https://azure.microsoft.com/zh-tw/documentation/articles/storage-use-azcopy/" href="https://azure.microsoft.com/zh-tw/documentation/articles/storage-use-azcopy/">https://azure.microsoft.com/zh-tw/documentation/articles/storage-use-azcopy/</a> AzCopy預設安裝在：C:\Program Files (x86)\Microsoft SDKs\Azure\AzCopy 假設我要從某個storage account傳到另一個storage account，且所有檔案和資料夾都要複製，就使用以下指令： <div id="codeSnippetWrapper" style="overflow: auto; cursor: text; font-size: 8pt; border-top: silver 1px solid; font-family: 'Courier New', courier, monospace; border-right: silver 1px solid; width: 97.5%; border-bottom: silver 1px solid; padding-bottom: 4px; direction: ltr; text-align: left; padding-top: 4px; padding-left: 4px; margin: 20px 0px 10px; border-left: silver 1px solid; line-height: 12pt; padding-right: 4px; max-height: 200px; background-color: #f4f4f4"> <div id="codeSnippet" style="border-top-style: none; overflow: visible; font-size: 8pt; font-family: 'Courier New', courier, monospace; width: 100%; border-bottom-style: none; color: black; padding-bottom: 0px; direction: ltr; text-align: left; padding-top: 0px; border-right-style: none; padding-left: 0px; border-left-style: none; line-height: 12pt; padding-right: 0px; background-color: #f4f4f4"><pre style="border-top-style: none; overflow: visible; font-size: 10pt; font-family: 'Courier New', courier, monospace; width: 100%; border-bottom-style: none; color: black; padding-bottom: 0px; direction: ltr; text-align: left; padding-top: 0px; border-right-style: none; padding-left: 0px; margin: 0em; border-left-style: none; line-height: 12pt; padding-right: 0px; background-color: white">AzCopy /Source:[sourceURL] /Dest:[DestinationURL] /SourceKey:key /DestKey:key /S /XO</pre></div></div> 如果來源或目的端其中一個是本地，就不用輸入該組Access Key (因為本地本來就沒有Key可以打) /S：代表此路徑底下所有檔案及資料夾都會被複製過去 /XO：排除較舊的來源檔案 其餘使用方式請參考相關連結。 <h1>費用</h1> 若是跨地區的傳輸就要收錢(每月前5G免費)，計價方式以官方為主： <a href="http://azure.miniasp.com/image.axd?picture=image_260.png"><img title="image" style="border-left-width: 0px; border-right-width: 0px; border-bottom-width: 0px; display: inline; border-top-width: 0px" border="0" alt="image" src="http://azure.miniasp.com/image.axd?picture=image_thumb_139.png" width="534" height="363"></a> <h1>相關連結</h1> <ul> <li><a href="https://azure.microsoft.com/zh-tw/documentation/articles/storage-use-azcopy/">開始使用 AzCopy 命令列公用程式</a> <li><a href="https://azure.microsoft.com/zh-tw/pricing/details/data-transfers/">資料傳輸定價詳細資料</a></li></ul>   == 要試用 Azure的朋友，請點選 <a href="https://azure.microsoft.com/zh-tw/pricing/free-trial/">Azure Free Trial – 試用 30 天期</a> 進行試用申請。 == http://azure.miniasp.com/post/Azure-Storage-搬移資料工具-AzCopy ithelp-azure@miniasp.com http://azure.miniasp.com/post/Azure-Storage-搬移資料工具-AzCopy#comment http://azure.miniasp.com/post.aspx?id=8d0333c2-ba8a-4c38-96b8-7cd8ca7a2fec Tue, 24 Nov 2015 08:32:00 +0000 Azure Storage mandy http://azure.miniasp.com/pingback.axd http://azure.miniasp.com/post.aspx?id=8d0333c2-ba8a-4c38-96b8-7cd8ca7a2fec 0 http://azure.miniasp.com/trackback.axd?id=8d0333c2-ba8a-4c38-96b8-7cd8ca7a2fec http://azure.miniasp.com/post/Azure-Storage-搬移資料工具-AzCopy#comment http://azure.miniasp.com/syndication.axd?post=8d0333c2-ba8a-4c38-96b8-7cd8ca7a2fec 開啟檔案總管「\\filelocation」即可存取Azure上存放的資料 - Azure File Storage <h1>前言</h1> Azure File Storage最大的特點在於： 無須下載其他的軟體，使用SMB(ver 2.1 or 3.0)就可以存取File Storage上的檔案。 <h1>概念</h1> Azure官方說明文件提到以下情境可使用File Storage： <ul> <li>移轉必須在 Azure 虛擬機器或雲端服務上執行檔案共用的內部部署應用程式，而無需支付昂貴的重新撰寫程式費用。 </li><li>儲存共用應用程式設定 (例如，在組態檔中) </li><li>在共用位置儲存診斷資料 (例如記錄、度量和損毀傾印) </li><li>儲存開發或管理 Azure 虛擬機器或雲端服務所需的工具和公用程式 </li></ul> <img alt="files-concepts" src="https://acomdpsstorage.blob.core.windows.net/dpsmedia-prod/azure.microsoft.com/zh-tw/documentation/articles/storage-dotnet-how-to-use-files/20151030125546/includes/storage-file-concepts-include/files-concepts.png"> Azure File Storage的概念如圖： <ol> <li>Account：儲存體帳戶，身分驗證用。 </li><li>Share：帳戶可包含無限制「數目」的共用，而共用可儲存無限制「數目」的檔案，最多可達 5 TB 總容量的檔案共用。 </li><li>Directory：目錄階層(optional)。 </li><li>File：共用檔案。檔案的大小可高達 1 TB。</li></ol> 來自<<a title="https://azure.microsoft.com/zh-tw/documentation/articles/storage-dotnet-how-to-use-files/" href="https://azure.microsoft.com/zh-tw/documentation/articles/storage-dotnet-how-to-use-files/">https://azure.microsoft.com/zh-tw/documentation/articles/storage-dotnet-how-to-use-files/</a>> <h1>限制</h1> Share最大5TB；單檔最大1TB。 使用限制： <ul> <li>在相同區域的 Azure 虛擬機器 (SMB 2.1 也支援) </li><li>在不同區域的 Azure 虛擬機器 (僅限 SMB 3.0) </li><li>內部部署用戶端應用程式 (僅限 SMB 3.0) </li><li>當用戶端存取檔案儲存體，使用的 SMB 版本取決於作業系統所支援的 SMB 版本： <a href="http://azure.miniasp.com/image.axd?picture=image_167.png"><img title="image" style="border-left-width: 0px; border-right-width: 0px; border-bottom-width: 0px; display: inline; border-top-width: 0px" alt="image" src="http://azure.miniasp.com/image.axd?picture=image_thumb_67.png" border="0" height="219" width="595"></a> </li></ul> <h1>實作</h1> <ol> <li>到<a href="http://portal.azure.com">http://portal.azure.com</a> 可以直接新增Share： <a href="http://azure.miniasp.com/image.axd?picture=image_168.png"><img title="image" style="border-left-width: 0px; border-right-width: 0px; border-bottom-width: 0px; display: inline; border-top-width: 0px" alt="image" src="http://azure.miniasp.com/image.axd?picture=image_thumb_68.png" border="0" height="350" width="594"></a> </li><li>輸入名稱與配額之後按建立 <a href="http://azure.miniasp.com/image.axd?picture=image_169.png"><img title="image" style="border-left-width: 0px; border-right-width: 0px; border-bottom-width: 0px; display: inline; border-top-width: 0px" alt="image" src="http://azure.miniasp.com/image.axd?picture=image_thumb_69.png" border="0" height="547" width="259"></a> </li><li>在檔案總管輸入： <a href="file://\\localvhd2azure.file.core.windows.net\testfile">\\localvhd2azure.file.core.windows.net\testfile</a> (其實就是 \\File Storage URL\Share Name) <a href="http://azure.miniasp.com/image.axd?picture=image_191.png"></a><a href="http://azure.miniasp.com/image.axd?picture=image_192.png"><img title="image" style="border-top: 0px; border-right: 0px; border-bottom: 0px; border-left: 0px; display: inline" alt="image" src="http://azure.miniasp.com/image.axd?picture=image_thumb_74.png" border="0" height="381" width="620"></a> </li><li>於Portal取得Account Name、Access Key，並輸入，即可隨時隨地登入Azure File Storage <a href="http://azure.miniasp.com/image.axd?picture=image_193.png"></a><a href="http://azure.miniasp.com/image.axd?picture=image_194.png"><img title="image" style="border-top: 0px; border-right: 0px; border-bottom: 0px; border-left: 0px; display: inline" alt="image" src="http://azure.miniasp.com/image.axd?picture=image_thumb_75.png" border="0" height="404" width="462"></a> </li><li>登入成功！可看到裡面有一個我存放的txt檔 <a href="http://azure.miniasp.com/image.axd?picture=image_172.png"><img title="image" style="border-left-width: 0px; border-right-width: 0px; border-bottom-width: 0px; display: inline; border-top-width: 0px" alt="image" src="http://azure.miniasp.com/image.axd?picture=image_thumb_72.png" border="0" height="321" width="526"></a> </li></ol> 《補充》可以下net use指令，讓他變成網路磁碟機唷！ net use [磁碟機代號] \\localvhd2azure.file.core.windows.net\testfile /u:localvhd2azure [儲存體帳戶存取金鑰] <h1>費用</h1> 以東亞地區為例： <ol> <li>Azure File Storage儲存量計費(略比其他Storage類型貴一點) <a href="http://azure.miniasp.com/image.axd?picture=image_195.png"></a><a href="http://azure.miniasp.com/image.axd?picture=image_196.png"><img title="image" style="border-left-width: 0px; border-right-width: 0px; border-bottom-width: 0px; display: inline; border-top-width: 0px" alt="image" src="http://azure.miniasp.com/image.axd?picture=image_thumb_73.png" border="0" height="164" width="710"></a>  來自<<a title="https://azure.microsoft.com/zh-tw/pricing/details/storage/" href="https://azure.microsoft.com/zh-tw/pricing/details/storage/">https://azure.microsoft.com/zh-tw/pricing/details/storage/</a>> </li><li>流量計費 流入Azure的流量不計費；同一Azure region間的流量不計費。 要計費的是從Azure上下載Azure File Storage的檔案流量。</li></ol>   == 要試用 Azure的朋友，請點選 <a href="https://azure.microsoft.com/zh-tw/pricing/free-trial/">Azure Free Trial – 試用 30 天期</a> 進行試用申請。 == http://azure.miniasp.com/post/Azure-File-Storage ithelp-azure@miniasp.com http://azure.miniasp.com/post/Azure-File-Storage#comment http://azure.miniasp.com/post.aspx?id=e3b0e255-cb43-4abc-873c-c561a84053b8 Tue, 03 Nov 2015 04:10:00 +0000 Azure Storage mandy http://azure.miniasp.com/pingback.axd http://azure.miniasp.com/post.aspx?id=e3b0e255-cb43-4abc-873c-c561a84053b8 0 http://azure.miniasp.com/trackback.axd?id=e3b0e255-cb43-4abc-873c-c561a84053b8 http://azure.miniasp.com/post/Azure-File-Storage#comment http://azure.miniasp.com/syndication.axd?post=e3b0e255-cb43-4abc-873c-c561a84053b8 在Azure上存放一般檔案的服務 - Azure Blob Storage <h1>前言</h1> 對於Azure Storage大家一定都有疑惑，什麼是Blob? 什麼是Table? 什麼是Queue? 什麼是File? 今天我們針對其中一種服務：Blob做進一步的介紹。 而什麼時候使用Page Blob、什麼時候使用Block Blob呢？ (這有關費用、也有關用途) 以下我們把上傳至Azure的檔案分成這兩種類型來看： <ol> <li>一般文件及檔案(e.g. .jpg, .pdf, .log…等) </li><li>VHD檔</li></ol> 我們可以用簡單的二分法來看，一般檔案都是Block Blob， Azure VM在用的VHD檔都是Page Blob。 (但是Site Recovery所產生的VHD檔是Block Blob!) <h1>概念</h1> <ul> <li>一個Block最多4MB；一個page 512bytes。 </li><li>一個Block Blob最多存200GB，最多可以有50000個Blocks；一個Page Blob最多可以存1TB。 </li><li>因為用途不同，Page Blob能達到「存取」(頻繁的Read/Write)最佳化、而Block Blob是「上傳、儲存」最佳化。 </li><li>Block Blob的機制中，每個Block有一個Hash ID，所以不論Block的先後順序為何， Block都可以平行上傳至Azure，縮短上傳時間。</li></ul> <img alt="http://blog.octo.com/wp-content/uploads/2011/07/blob_storage_structure.png" src="http://blog.octo.com/wp-content/uploads/2011/07/blob_storage_structure.png" height="379" width="833"> 圖片來自<<a title="http://blog.octo.com/en/azure-blob-storage/" href="http://blog.octo.com/en/azure-blob-storage/">http://blog.octo.com/en/azure-blob-storage/</a><a title="http://thebigdatablog.weebly.com/blog/archives/10-2014" href="http://thebigdatablog.weebly.com/blog/archives/10-2014"></a>> 以上是Azure Blob Storage的架構： <ol> <li>第一層是Storage Account：驗證身分用(一個Storage Account會有一組Acccess Key) </li><li>第二層是Container(容器)：類似資料夾的概念 </li><li>第三層是Blob：檔案 </li><li>第四層是Pages / Blocks：這是最小單位，一個檔案可以以blocks/pages組成</li></ol> <h1>費用</h1> 以東亞地區來說，依照您使用的備援方案，有不同的計價方式：(依<a href="https://azure.microsoft.com/zh-tw/pricing/details/storage/">Azure官方定價</a>為主) <a href="http://azure.miniasp.com/image.axd?picture=image_164.png"></a><a href="http://azure.miniasp.com/image.axd?picture=image_165.png"><img title="image" style="border-left-width: 0px; border-right-width: 0px; border-bottom-width: 0px; display: inline; border-top-width: 0px" alt="image" src="http://azure.miniasp.com/image.axd?picture=image_thumb_65.png" border="0" height="321" width="646"></a> <a href="http://azure.miniasp.com/image.axd?picture=image_166.png"><img title="image" style="border-left-width: 0px; border-right-width: 0px; border-bottom-width: 0px; display: inline; border-top-width: 0px" alt="image" src="http://azure.miniasp.com/image.axd?picture=image_thumb_66.png" border="0" height="296" width="649"></a>   == 要試用 Azure的朋友，請點選 <a href="https://azure.microsoft.com/zh-tw/pricing/free-trial/">Azure Free Trial – 試用 30 天期</a> 進行試用申請。 == http://azure.miniasp.com/post/Azure-Blob-Storage ithelp-azure@miniasp.com http://azure.miniasp.com/post/Azure-Blob-Storage#comment http://azure.miniasp.com/post.aspx?id=7fb88af3-bd81-4dd8-98f4-0c36a5004189 Mon, 02 Nov 2015 09:19:00 +0000 Azure Storage mandy http://azure.miniasp.com/pingback.axd http://azure.miniasp.com/post.aspx?id=7fb88af3-bd81-4dd8-98f4-0c36a5004189 0 http://azure.miniasp.com/trackback.axd?id=7fb88af3-bd81-4dd8-98f4-0c36a5004189 http://azure.miniasp.com/post/Azure-Blob-Storage#comment http://azure.miniasp.com/syndication.axd?post=7fb88af3-bd81-4dd8-98f4-0c36a5004189