使用 AWS Storage Gateway File Gateway 进行混合存储和数据迁移

最新推荐文章于 2024-07-18 17:01:54 发布

zuxinya

最新推荐文章于 2024-07-18 17:01:54 发布

阅读量173

点赞数

文章标签： aws gateway 云计算

本文链接：https://blog.csdn.net/zuxinya/article/details/132664044

版权

在 Services（服务）右侧的搜索框中，搜索并选择 S3 以打开 S3 控制台。
选择 Create bucket（创建存储桶），然后配置以下设置：
- Bucket name（存储桶名称）：创建一个您可以轻松记住的名称。此名称必须是全局唯一的。
- Region（区域）：US East (Ohio) us-east-2（美国东部（俄亥俄）us-east-2）
- Bucket Versioning（存储桶版本控制）：Enable（启用）
  
  对于跨区域复制，您必须同时为源存储桶和目的地存储桶启用版本控制。

选择 Create bucket（创建存储桶）。
重复本任务中前面的步骤，以使用以下配置创建第二个存储桶：
- Bucket name（存储桶名称）：创建一个您可以轻松记住的名称。此名称必须是全局唯一的。
- Region（区域）：US West (Oregon) us-west-2（美国西部（俄勒冈）us-west-2）
- Versioning（版本控制）：Enable（启用）
- - 选择您在美国东部（俄亥俄）区域中创建的源存储桶的名称。
  - 选择 Management（管理）选项卡，然后在 Replication rules（复制规则）下面选择 Create replication rule（创建复制规则）。
  - 配置复制规则：
    - Replication rule name（复制规则名称）：crr-full-bucket
    - Status（状态）：Enabled（已启用）
    - Source bucket（源存储桶）：
      - 对于 Choose a rule scope（选择规则范围），选择 Apply to all objects in the bucket（应用于存储桶中的所有对象）
    - Destination（目的地）：
      - Choose a bucket in this account（在此账户中选择一个存储桶）
      - 选择 Browse S3（浏览 S3），然后选择您在美国西部（俄勒冈）区域中创建的存储桶。
      - 选择 Choose path（选择路径）
      - IAM role（IAM 角色）：S3-CRR-Role
返回并选择您在 US East (Ohio)（美国东部（俄亥俄））区域中创建的存储桶的链接。
选择 Upload（上传）以将文件从本地计算机上传到存储桶。

在本实验中，请使用不包含敏感信息的小型文件，例如空白文本文件。
选择 Add files（添加文件），找到并打开文件，然后选择 Upload（上传）。
等待文件上传，然后选择 Close（关闭）。返回您在 US West (Oregon)（美国西部（俄勒冈））区域中创建的存储桶。

您上传的文件现在也应已复制到此存储桶。
在 Services（服务）右侧的搜索框中，搜索并选择 Storage Gateway 以打开 Storage Gateway 控制台。
在控制台的右上角，验证当前区域是否为 N. Virginia（弗吉尼亚北部）。
选择 Create gateway（创建网关），然后开始配置 Step 1: Set up gateway（步骤 1：设置网关）设置：
- Gateway name（网关名称）：File Gateway
- Gateway time zone（网关时区）：选择 GMT -5:00 Eastern Time (US & Canada), Bogota, Lima（GMT -5:00 东部时间 (美国和加拿大)、波哥大、利马）。
- Gateway type（网关类型）：Amazon S3 File Gateway。
- Host platform（主机平台）：选择 Amazon EC2。选择 Customize your settings（自定义您的设置）。然后，选择 Launch instance（启动实例）按钮。
  
  随即会打开一个新的选项卡，其中显示 EC2 实例启动向导。此链接自动选择必须用于 File Gateway 设备的正确亚马逊云机器镜像 (AMI)。
在 Launch an instance（启动实例）界面中，开始配置网关，如下所示：
- Name（名称）：File Gateway Appliance
- AMI from catalog（来自目录的 AMI）：接受默认 aws-storage-gateway AMI。
- Instance type（实例类型）：选择 t2.xlarge 实例类型
  
  注意：t2.xlarge 是您在本实验环境中可以选择的唯一实例类型。如果您选择任何其他实例类型，则在您尝试启动实例时将出现错误消息。
  
  在本实验中，t2.xlarge 实例类型仅用作示例。有关部署 Storage Gateway 设备时的正确设备大小调整，请参阅 Storage Gateway 文档。
- 密钥对名称 - required（必需）：选择现有 vockey 密钥对。
配置网关的网络和安全组设置。
- 在 Network settings（网络设置）旁边，选择 Edit（编辑），然后配置：
  - VPC：On-Prem-VPC
  - Subnet（子网）：On-Prem-Subnet
  - Auto-assign public IP（自动分配公有 IP）：Enable（启用）
  - 在 Firewall (security groups)（防火墙（安全组））下面，选择 Select an existing security group（选择现有安全组）。
- 对于 Common security groups（常见安全组）：
  - 选择名称中包含 FileGatewayAccess 的安全组
    
    注意：此安全组配置为允许通过端口 80 (HTTP)、443 (HTTPS)、53 (DNS)、123 (NTP) 和 2049 (NFS) 的流量。这些端口支持激活 File Gateway 设备。它们还支持从 Linux 服务器连接到将在 File Gateway 上创建的 NFS 共享。
    
    有关 Storage Gateway 使用的端口的其他信息，请参阅 Storage Gateway 文档。
  - 此外，选择名称中包含 OnPremSshAccess 的安全组
    
    注意：此安全组配置为允许端口 22 上的 Secure Shell (SSH) 连接。
  - 验证两个安全组现在是否显示为选中状态（每个安全组的详细信息都将显示在控制台的框中）。
    
    提示：您可能需要选择 Show all selected（显示所有已选项）以查看这些安全组。
配置网关的存储设置。
- 在 Configure storage（配置存储）面板中，可以看到已有一个条目用于创建 80GiB 根卷。
- 选择 Add new volume（添加新卷）
- 将 EBS 卷的大小设置为 150GiB
完成网关创建操作。
- 在右侧的 Summary（摘要）面板中，将实例数保持为 1，然后选择 Launch instance（启动实例）
  
  这将显示一条成功消息。
- 选择 View all instances（查看所有实例）
  
  File Gateway Appliance 实例初始化需要几分钟时间。
监控部署状态并等待 Status Checks（状态检查）完成。

提示：可以选择刷新按钮以更快地了解实例状态。
选择 File Gateway 实例，然后在下面的 Details（详细信息）选项卡中找到并复制 Public IPv4 address（公有 IPv4 地址）。

在完成 File Gateway 部署时，您将使用此 IP 地址。
返回到浏览器中的 AWS Storage Gateway 标签页。它应该还位于 Set up gateway on Amazon EC2（在 Amazon EC2 上设置网关）界面上。
选中 I completed all the steps above and launched the EC2 instance（我完成了上述所有步骤并启动了 EC2 实例）旁边的复选框，然后选择 Next（下一步）。
配置 Step 2: Connect to AWS（步骤 2：连接到 AWS）设置：
- 在 Gateway connection options（网关连接选项）中：
  - 对于 IP address（IP 地址），粘贴从 File Gateway Appliance 实例复制的 IPv4 Public IP（IPv4 公有 IP）地址
- 对于 Service endpoint（服务终端节点），选择 Publicly accessible（可公开访问）。
- 选择 Next（下一步）
在 Step 3: Review and activate（步骤 3：检查并激活）设置界面中，选择 Activate gateway（激活网关）。
配置 Step 4: Configure gateway（步骤 4：配置网关）设置：
- CloudWatch log group（CloudWatch 日志组）：Deactivate logging（停用日志记录）
- CloudWatch alarms（CloudWatch 警报）：No Alarm（无警报）
  
  将显示 Successfully activated gateway File Gateway Appliance（已成功激活网关 File Gateway Appliance）消息。
  
  在 Configure cache storage（配置缓存存储）面板中，您将看到一条消息，指示本地磁盘正在加载。
- 等待本地磁盘状态显示它已完成处理（约 1 分钟）。
- 选择 Configure（配置）
开始创建文件共享。
- 等待 File Gateway 状态变为 Running（正在运行）。
- 从左侧面板中，选择 File shares（文件共享）。
- 选择 Create file share（创建文件共享）。
在 Create file share（创建文件共享）界面上，配置以下设置：
- Gateway（网关）：选择您刚创建的 File Gateway 的名称（应为 File Gateway Appliance）
- File share protocol（文件共享协议）：NFS
- Amazon S3 bucket name（Amazon S3 存储桶名称）：选择您在任务 1 中在美国东部（俄亥俄）us-east-2 区域中创建的源存储桶的名称。
- 选择 Customize configuration（自定义配置）。
- 对于 File share name（文件共享名称），请使用 share 并选择 Next（下一步）。
在 Amazon S3 storage settings（Amazon S3 存储设置）界面上，配置以下设置：
- Storage class for new objects（新对象的存储类）：S3 Standard
- Object metadata（对象元数据）：
  - Guess MIME type（猜测 MIME 类型）
  - Gateway files accessible to S3 bucket owner（S3 存储桶所有者可以访问的网关文件）
  - 启用 Requester Pays（申请方付款）
- Access your S3 bucket（访问 S3 存储桶）：Use an existing IAM role（使用现有 IAM 角色）
- IAM role（IAM 角色）：粘贴 FgwIamPolicyARN，可以按以下说明进行检索 -
  - 选择本说明上方的 Details（详细信息）下拉菜单
  - 选择 Show（显示）
  - 复制 FgwIamPolicyARN 值
- 选择 Next（下一步）
在 File access settings（文件访问设置）界面中，接受默认设置。

注意：您可能会收到一条警告消息，指出可以从任何位置访问文件共享。在本实验中，您可以安全地忽略此警告。在生产环境中，您应始终创建尽可能严格的策略，以防止与您的实例建立不必要或恶意的连接。
- 选择 Next（下一步）
滚动到 Review and create（检查并创建）界面底部，然后选择 Create（创建）。

监控部署状态，等待 Status（状态）变为 Available（可用），这需要不到一分钟的时间。

注意：您可以不定期地选择刷新按钮，以便在状态发生变化时更快地注意到。
选择相应链接以选择您刚创建的文件共享。
在界面底部，记下用于在 Linux 上挂载文件共享的命令。您在下一个任务中需要此命令。
在 Linux 实例上，要查看此服务器上存在的数据，请输入以下命令：
```
ls /media/data
```
您应该会看到 20 个 .png 格式的图片文件。
使用以下命令创建用于将数据与 S3 存储桶同步的目录：
```
sudo mkdir -p /mnt/nfs/s3
```
使用您在上一个任务结束时的 Storage Gateway 文件共享详细信息界面中找到的命令，在 Linux 实例上挂载文件共享。
```
sudo mount -t nfs -o nolock,hard <File-Gateway-appliance-private-IP-address>:/share /mnt/nfs/s3
```
请注意，此命令的开头为 sudo，结尾为 /mnt/nfs/s3。

例如：
```
sudo mount -t nfs -o nolock,hard 10.10.1.33:/share /mnt/nfs/s3
```

输入以下命令以验证是否正确挂载了共享：

df -h

命令输出应类似于以下示例：

[ec2-user@ip-10-10-1-210 ~]$ df -h

Filesystem                  Size  Used Avail Use% Mounted on

devtmpfs                    483M   64K  483M   1% /dev

tmpfs                       493M     0  493M   0% /dev/shm

/dev/xvda1                  7.8G  1.1G  6.6G  14% /

10.10.1.33:/share  8.0E     0  8.0E   0% /mnt/nfs/s3

您现已创建挂载点，可以使用以下命令将要迁移到 Amazon S3 的数据复制到共享中：
```
cp -v /media/data/*.png /mnt/nfs/s3
```
在 Services（服务）搜索框中，搜索并选择 S3 以打开 S3 控制台。
选择您在 US East (Ohio)（美国东部（俄亥俄））区域中创建的存储桶。
- 验证是否列出了 20 个映像文件。
  
  注意：您可能需要选择 S3 控制台中的刷新图标。
返回到 Buckets（存储桶）页面，然后选择您在 US West (Oregon)（美国西部（俄勒冈））区域中创建的存储桶。
- 验证是否已根据您之前创建的策略将映像文件复制到此存储桶。
  
  注意：S3 对象复制最多可能需要 15 分钟才能完成。继续刷新，直到看到复制的对象。

zuxinya

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
1
评论
使用 AWS Storage Gateway File Gateway 进行混合存储和数据迁移

在生产环境中，您应始终创建尽可能严格的策略，以防止与您的实例建立不必要或恶意的连接。使用您在上一个任务结束时的 Storage Gateway 文件共享详细信息界面中找到的命令，在 Linux 实例上挂载文件共享。如果您选择任何其他实例类型，则在您尝试启动实例时将出现错误消息。（Amazon S3 存储桶名称）：选择您在任务 1 中在美国东部（俄亥俄）us-east-2 区域中创建的源存储桶的名称。选择 Browse S3（浏览 S3），然后选择您在美国西部（俄勒冈）区域中创建的存储桶。
复制链接

扫一扫