主页 企业 使用光纤通道 VM-ID 跟踪未跟踪的数据

使用光纤通道 VM-ID 跟踪未跟踪的数据

by 哈罗德弗里茨

尽管虚拟化自 1960 世纪 2000 年代以来就已存在(谢谢 IBM),但虚拟机 (VM) 在 XNUMX 年代初才成为主流。 这个想法是通过在单个物理硬件平台上运行多个虚拟机来更好地利用可用的硬件资源。

尽管虚拟化自 1960 世纪 2000 年代以来就已存在(谢谢 IBM),但虚拟机 (VM) 在 XNUMX 年代初才成为主流。 这个想法是通过在单个物理硬件平台上运行多个虚拟机来更好地利用可用的硬件资源。

VMware 在 86 年代开始开发基于 x90 架构的虚拟化软件,并于 1999 年发布了其最初的虚拟化产品 VMware Workstation。 VM 技术广泛采用的突破始于 2001 年 VMware ESX Server 的推出。 其他厂商,如微软和思杰,也进入虚拟化市场以争夺市场份额。

虚拟化技术不断发展,带来了诸多创新,例如提高硬件利用率、增强灵活性、简化软件部署以及大幅节省成本。 虚拟机已成为各种领域的基石,从数据中心和企业 IT 系统到云计算平台,甚至个人家庭设置。 虚拟化平台上的大多数关键业务企业应用程序都通过光纤通道访问共享存储。

然而,每个供应商都有专有的管理工具集,并且大多数没有与其他平台集成。 因此,使用多种工具、接口和支持的存储设备来管理数百或数千个虚拟机是一场噩梦。 由于管理光纤通道 (FC) 结构和尝试解决虚拟机问题的复杂性增加,运营团队面临着管理挑战。

让管理更易于管理

2007 年,VMware 推出了 ESXi,以应对虚拟化市场不断变化的格局和需求。 ESXi 对原始 VMware ESX 服务器进行了改进,提高了效率、提高了安全性、简化了管理、集成并满足了市场需求。

VMware 一直参与虚拟机管理,使用各种标识符来唯一标识其生态系统中的虚拟机。 最初,VMware 使用唯一的 MAC 地址来识别虚拟机,然后转向使用 BIOS 通用唯一标识符 (UUID) 来存储配置数据并包含虚拟机标识符。 在 ESXi 4.x 中,VMware 引入了实例 UUID 的概念,用于在迁移操作期间跨 vCenter Server 跟踪虚拟机实例。

随着 VMware vSphere 5.x 的发布,VMware 采用了标准化方法来实施通用唯一的 VM-UUID(UUID-GUID 格式)。 这些 VM-UUID(也称为 VM-ID)用于唯一标识整个 vCenter Server 环境中的虚拟机。

使用分配给虚拟机的唯一标识符 (VM-ID) 中的信息,管理虚拟化生态系统和关联的存储区域网络 (SAN) 变得更容易操作。 利用 VM-ID 中的详细信息,管理员可以识别和处理各个 VM,并执行关键任务,例如配置存储、管理虚拟机生命周期和监控性能指标。 这些针对管理简单性的创新使 VMware 成为企业数据中心服务器虚拟化市场上占据多数份额的领导者。

光纤通道虚拟机 ID

尽管 VM-ID 唯一标识 vCenter 域中的 VM,但此 ID 通常不会共享或可供与 VM 交互的其他基础架构组件(例如存储和网络设备)使用。 FC 中的新功能允许在 SAN 结构中共享 VM-ID。 在最新版本的 VMware vSphere(包括版本 7.x 和 8.x)中,VM-ID 是一项功能齐全、强大的技术,在与现代光纤通道基础架构集成时可提供众多优势。

Bricade FC 机架 - VM-ID

通过利用 VM-ID,管理员可以对光纤通道结构内的存储流量实施细粒度控制和监控。 但还不止于此。 VM-ID 包含管理员可用来根据 VM-ID 微调访问控制策略的信息,确保虚拟机和存储设备之间安全高效的数据传输。 VM-ID 还提供一种跟踪和隔离与特定虚拟机相关的问题的方法,有助于故障排除和性能分析。

凭借 QLogic FC HBA 系列,Marvell 等 HBA 供应商可以利用 VM-ID 并使光纤通道网络与 Brocade 和 Cisco 的虚拟化管理平台和工具无缝集成。

VM-ID 对于集中 SAN 管理至关重要

Brocade 开发了SANnav 管理解决方案来简化和简化SAN 管理和监控,利用VM-ID 技术提供高级分析。 不过,VM-ID 可与其他 SAN 管理解决方案配合使用,例如 Cisco 的 Nexus 仪表板结构控制器 (NDFC)。

与 IT 管理员日常工作的几乎各个方面一样,海量的数据和复杂的存储基础设施使得 SAN 的管理变得更加紧张和具有挑战性。 SANavav 是存储管理员的宝贵工具,为 SAN 管理提供集中式平台。 利用 VM-ID 中提供的信息,管理员可以更高效、更自信地控制、配置 SAN 部署并排除故障。

作为全面的 SAN 管理软件解决方案,SANnav 提供了一系列功能来促进有效的存储基础设施管理。 SANnav 的主要优势之一是它能够提供整个 SAN 环境的整合视图。 管理员可以全面了解交换机、存储设备和主机的互连网络,从而更好地了解和控制 SAN 结构。

Marvell QLogic:让 HBA 更智能

智能主机总线适配器在 SAN 管理和 VM-ID 中发挥着关键作用。 Marvell 一直致力于设计和开发涵盖许多新数据中心服务的处理器和片上系统 (SoC) 技术。 他们提供广泛、创新的数据基础设施半导体解决方案组合,涵盖计算、网络、安全和存储。 Marvell 的光纤通道控制器和 HBA 包括对 VM-ID 的全面虚拟化支持,允许数千个虚拟机通过同一光纤通道芯片访问共享存储。

VM-ID FC卡

Marvell QLogic 光纤通道在 VMware 存储区域网络的性能和功能方面表现出色。 它使用 VM-ID 简化 VM 部署,并支持同时进行 FC 和 FC-NVMe 设置的多个端口,以实现最佳灵活性。

VM-ID 提供详细信息

了解将 VM-ID 与 SAN 管理解决方案集成如何使管理员能够更详细地了解整个 SAN 基础架构非常重要。 SANava 和 VM-ID 在存储网络的管理结构中服务于不同的目的,通过提供虚拟化环境中存储网络管理的全面方法来相互补充。

VM-ID 可区分和识别各个虚拟机,使虚拟化平台能够分配资源、管理虚拟机的生命周期、促进联网并与管理工具集成。 VM-ID 允许管理员跟踪和管理虚拟机、分配特定配置以及监控性能。

Marvell QLogic VM-ID 和 SANavv

毫无疑问,服务器虚拟化使大多数组织受益匪浅,但它也给基础设施团队和应用程序所有者带来了一些挑战。 最初,应用程序所有者对虚拟化平台能否满足其应用程序的需求持怀疑态度,并且持续抵制放弃独立服务器以支持虚拟化环境。

可以公平地说,应用程序开发人员没有影响服务器虚拟化。 然而,仍然有人抱怨需要更多地了解实际指标,主要是在 I/O 方面。 缺乏可见性是由于虚拟机管理程序(在 VMware vSphere ESXi 服务器的情况下)将物理磁盘抽象为放置在数据存储上的虚拟磁盘,而虚拟机管理程序上的所有虚拟机对数据存储的所有 I/O 如下:总计的。 因此,尽管可以看到服务器上 I/O 子系统的整体性能,但实际 VM 和应用程序的可见性粒度是未知的。

为了了解这些单独的 VM 流,FC 结构为每个 VM 提供了基于标准的虚拟机应用程序标识符标记 VM-ID。 将应用程序 ID 分配给虚拟机后,虚拟机以及管理程序上的 Marvell QLogic 32GFC 和 64GFC HBA 将使用虚拟机 ID 来标记该虚拟机的所有帧。

VM-ID 标识启动 I/O 的特定 VM 实例以及发往目标的任何后续 I/O。 仅当存储阵列支持 VM-ID 时,才能应用 VM-ID 标签。 每个VM-ID 中的信息意味着SANnav 可以将其与性能指标关联起来,从而使管理员能够监控各个VM、跟踪资源利用率并快速识别潜在的性能瓶颈。 VM-ID 提供的信息为管理员提供了识别和排除受影响的 VM 所需的详细信息,并采取措施快速解决问题。

SANnav 协同工作,利用 Marvell QLogic FC-HBA 嵌入到每个 FC 数据包中的 VM-ID 信息,高效地跟踪各个 VM 的性能。

企业中的 VMware ESXi

组织使用 VMware ESXi 来创建和管理虚拟机。 ESXi 是一种裸机虚拟机管理程序,使组织能够将多个虚拟机整合到单个服务器上,从而提供灵活性、资源优化和更轻松的 IT 基础架构管理。

在企业中部署 ESXi 有很多好处,但也有一些缺点。 由于能够在单个物理服务器上运行多个虚拟机,组织可以降低硬件成本并最大限度地提高服务器利用率。 这可以节省功耗、冷却和空间需求。 然而,这是导致虚拟机蔓延的最重要因素。

借助 ESXi,管理员可以根据需要向虚拟机分配计算资源,如 CPU、内存和存储。 这种灵活性确保了资源的高效利用,并避免了服务器资源的过度配置和利用不足。 ESXi 支持 vSphere High Availability (HA) 和 vSphere Fault Tolerance (FT) 等功能,从而提高服务器可用性和弹性。

ESXi 利用 VMware vCenter Server 作为集中管理界面来监控、调配和管理虚拟化环境。 如果没有 VM-ID,管理这样的虚拟化基础设施即使不是不可能,也将是一项挑战。

虚拟机蔓延

如果管理不当,ESXi 无疑会导致虚拟机蔓延。 VMware 通过为 IT 管理员提供工具和最佳实践来解决这些问题。 这些工具包括资源和容量规划、生命周期管理和基于策略的自动化。

VMware ESXi 和 vCenter 对于企业虚拟化部署至关重要,使组织能够满足服务器整合、资源优化、HA 和管理要求。 然而,VM-ID 对于识别和区分各个 VM 至关重要,使管理员能够有效地管理和优化其虚拟化基础设施。

当心 I/O 混合器效应

当存储输入/输出 (I/O) 模式变得随机且难以预测时,I/O 混合器效应会出现在虚拟化环境(包括 ESXi)中。 这可能是由于共享同一物理主机并访问存储资源的多个虚拟机 (VM) 同时运行所致。

在虚拟化环境中,单个主机上运行的多个虚拟机可能会在不同时间以不同的强度和频率向底层存储基础设施发送 I/O 请求。 当虚拟机管理程序收到这些 I/O 请求时,它们会在发送到存储系统之前进行聚合和序列化。 结果,VM 生成的 I/O 模式变得“混合”或混合。 这使得识别嘈杂的邻居和导致拥塞或队头阻塞的罪魁祸首变得困难且耗时,通常会导致错过 SLA。

可以通过多种技术来减轻这种现象的影响,例如:

  • 实施存储分层
  • 利用 QoS 机制
  • 输入/输出优化
  • FC HBA 中的 VM-ID 技术

VM-ID 起什么作用?

尽管VM-ID不会直接影响I/O混合器效果,但它显着减轻了影响。 可以通过实施以下操作来利用 VM-ID:

  • 将 VM-ID 与特定存储 QoS 策略关联
  • 将特定 VM-ID 映射到专用存储资源
  • 利用 VM-ID 进行负载平衡
  • 将 VM-ID 与监控工具结合使用

因此,即使 VM-ID 不会直接影响 I/O 混合器效果,提供对各个 VM 的可见性和控制,管理员也可以根据 VM-ID 定制存储配置并确定资源的优先级,从而提高性能、减少争用并提高性能。更好地全面管理 I/O 混合器效果。

Marvell 持续创新

Marvell 光纤通道 HBA 为光纤通道协议 (FCP) 和 NVMe over Fibre Channel 提供性能和功能(FC-NVMe)。 HBA 的设计为每个端口使用隔离路径,从而实现每个端口的线速性能和卓越的可靠性。 该适配器可提供数百万次 IOPS、微秒级延迟以及高达 64GFC 的全线速吞吐量。 马维尔 存储融合™ VM-ID 技术可简化部署和编排集成到光纤通道 SAN 中。

Marvell 2770 系列适配器框图,每个端口具有独立资源

Marvell 存储融合

Marvell StorFusion 技术包括与受支持的 Brocade 和 Cisco 交换机一起部署时启用的高级功能。 结合这些解决方案,SAN 管理员可以利用增强的功能来提高可用性、加速部署并提高网络性能。

从 QLE2690 HBA 开始 并通过 QLE2770 和 QLE2870 HBA 系列进一步增强, Marvell 适配器支持多种基于标准的虚拟化功能,可优化虚拟服务器部署、故障排除和应用程序性能。

Marvell VM-ID 技术可轻松与 Brocade 和 Cisco 交换机集成,使客户能够监控和管理其光纤通道存储网络中的 QoS; 例如,通过存储对虚拟机集群进行负载均衡,以确保存储资源的高效利用。

从 VMware ESXi 6.x 开始,支持使用相应虚拟机的 VM-ID 标记 I/O 请求和响应,从而提供了 VM 级别的完整可见性。

此外, Marvell StorFusion 通用 SAN 拥塞缓解 (USCM)技术基于行业标准结构性能影响通知 (FPIN),允许 SAN 中的 HBA 和交换机识别并缓解结构内潜在的拥塞问题。 S对 N_Port ID 虚拟化 (NPIV) 的支持使单个 FC 适配器端口能够提供多个虚拟端口,以提高网络可扩展性。 每个 NPIV 端口基于标准类特定控制 (CS_CTL) 的 QoS 技术允许对每个 VM 进行多级带宽控制和保证。 因此,可以为关键任务工作负载分配比时间敏感度较低的存储流量更高的优先级,以优化性能。

标记光纤通道虚拟机的 I/O 帧

在幕后,FC VM-ID 技术涉及 FC HBA 使用 VM 标签标记 I/O 帧,以及 FC 交换机读取这些标签并记录每个 VM 的统计信息。 这带来了几个好处,主要是提高了可见性、资源分配和故障排除。 使用 VM 标签标记 I/O 帧可增强单个 VM 生成的流量的可见性。 这样可以有效监控、分析和管理存储流量。 通过虚拟机标记,管理员可以清楚地了解资源分配、实施特定于单个虚拟机的 QoS 策略、简化故障排除并提高安全性和访问控制。

光纤通道VM-ID技术需要FC HBA、FC交换机和存储阵列中支持VM-ID。 大多数现代 FC HBA 和交换机都支持 VM-ID。 然而,VM-ID 仅在 NetApp 和 PureStorage 的存储阵列上受支持,这对该技术的广泛采用和部署构成了挑战。 Brocade 交换机的最新创新通过无标签 VM-ID 或 VM-ID+ 技术消除了 VM-ID 限制。

Marvell VM-ID 出席 2023 年闪存峰会

在一年一度的国际内存和存储展示会闪存峰会 (FMS) 上,我们参观了 Marvell 展位,了解他们的工作成果。 除了 SSD 控制器、NVMe 加速器和 CXL 芯片组的演示之外,还有现场光纤通道 VM-ID 演示。 VM-ID 演示受到了客户和合作伙伴的热烈欢迎。 用于光纤通道的 VM-ID 无疑正在腾飞。

无标签 VM-ID 或 VM-ID+

如上所述,VM-ID+ 消除了对存储阵列的依赖以支持 VM-ID 标记。 VM-ID+ 在连接存储阵列的 SAN 结构的端口上配置。 启用 VM-ID+ 后,从管理程序发送到存储阵列的帧的 VM-ID 标签会被连接到存储阵列的出口端口处的 Brocade Gen 7 交换机删除。 存储阵列发送到虚拟机管理程序的帧具有由结构添加的 VM-ID 标签。 结构交换机维护虚拟机遥测数据的映射和收集。

从命令行使用 VM-ID 跟踪 VM

Brocade FC 交换机命令显示当前虚拟机及其在结构内运行的统计信息:

A. 执行 “应用程序服务器-显示-全部” 参考输出如下所示; 该信息反映了使用 VM-ID 运行的总共 XNUMX 个 VM; 在本例中,每个 ESX 主机有三个虚拟机。 最后一行显示虚拟机的总数。

sw0-G720:FID128:> 应用程序服务器 – 显示全部

--------------------

显示 Fabric 的结果

--------------------

N_端口 ID:010300

实体 ID (ASCII):52 b3 0f fc 5a 05 47 a6-18 eb aa b4 b4 8f 9a 5f

实体ID(十六进制):0x35322062332030662066632035612030352034372061362d3138206562206161206234206234203866203961203566

应用程序 ID:0x00000010 (16)

实体名称:

主机标识符:

符号数据:

-------

N_端口 ID:010300

实体 ID (ASCII):52 2c c3 8f c8 3f f5 75-a5 6c db bd 89 3a 95 13

实体ID(十六进制):0x35322032632063332038662063382033662066352037352d6135203663206462206264203839203361203935203133

应用程序 ID:0x00000012 (18)

实体名称:

主机标识符:

符号数据:

-------

N_端口 ID:010300

实体 ID (ASCII):52 b1 ac 8d 2a aa 93 c4-5e 51 98 24 84 63 e0 c2

实体ID(十六进制):0x35322062312061632038642032612061612039332063342d3565203531203938203234203834203633206530206332

应用程序 ID:0x00000018 (24)

实体名称:

主机标识符:

符号数据:

-------

N_端口 ID:010800

实体 ID (ASCII):52 bb 51 48 8a 5c 98 33-7a 74 c6 d5 27 05 58 49

实体ID(十六进制):0x35322062622035312034382038612035632039382033332d3761203734206336206435203237203035203538203439

应用程序 ID:0x00000010 (16)

实体名称:

主机标识符:

符号数据:

-------

N_端口 ID:010800

实体 ID (ASCII):52 36 64 98 87 5d a5 c6-02 38 0a d7 85 42 3b 4b

实体ID(十六进制):0x35322033362036342039382038372035642061352063362d3032203338203061206437203835203432203362203462

应用程序 ID:0x00000012 (18)

实体名称:

主机标识符:

符号数据:

-------

N_端口 ID:010800

实体 ID (ASCII):52 de 5b 4f a9 9f 98 12-65 4f e7 ca c5 78 c2 3c

实体ID(十六进制):0x35322064652035622034662061392039662039382031322d3635203466206537206361206335203738206332203363

应用程序 ID:0x00000018 (24)

实体名称:

主机标识符:

符号数据:

-------

应用程序服务器显示六个条目.

B. Brocade Analytics Engine 报告 VM 统计信息

使用以下命令详细了解每个虚拟机的 I/O 指标

C. 检查并将 Brocade 交换机端口设置为无标签 VMID 的目标(适用于 NetApp 和 PureStorage 以外的存储阵列):

sw0-G720:FID128:admin> portcfgappheader -h

用法:

 portCfgAppHeader <[slot/]port> –启用/–禁用

D. 对先前配置的端口运行命令将显示以下内容:

portcfgappheader 26 –启用

端口 26 的配置相同

SANavv 的调查模式可以深入了解各个虚拟机的运行性能。 它收集并存储 SAN 性能统计数据和遥测数据,然后提供清晰直观的时间序列图来绘制关键流量指标。 它包括端口、链路和中继、扩展隧道和电路以及流的 MAPS 违规详细信息,以帮助用户了解和调查复杂的流量模式行为。 此外,它还可以更频繁地、近乎实时地(以 10 秒间隔)收集选定端口的指标。

登录后,SANnav 仪表板视图将显示正在管理的结构/交换机。

1. 导航至库存 —> 流 —> 选择用户定义的过滤器:

将显示“All-VMs-flows”和详细流程,如下图所示:

2. 点击图标 (......) 右上角显示下拉菜单,然后单击“批量选择”。


3. 在所有虚拟机上方的横幅区域中,单击复选框以选择所有虚拟机。

4. 选择虚拟机后,单击 点击右上角的“操作”按钮,然后选择“调查”。

在调查模式窗口中:

5. 单击每个复选框 VM 并单击左侧面板中的“读取数据速率”选项。

6. 接下来,单击“过去 30 分钟”旁边的向下箭头。

7. 将出现另一个“选择日期范围”窗口。 单击左侧预定义选项“过去 1 周”,然后单击“应用”。

8. 然后单击“间隔:5 分钟”旁边的向下箭头并选择“6 小时”选项。

9. 将显示结构中存在的六个虚拟机和相关流量的详细信息视图。 移动光标并将鼠标悬停在特定的图形时间索引上将显示每个索引的读取数据速率性能。

10. 然后单击“间隔:5 分钟”旁边的向下箭头并选择“6 小时”选项。

11. 将显示结构中存在的六个虚拟机和相关流量的详细信息视图。 移动光标并将鼠标悬停在特定的图形时间索引上将显示每个索引的读取数据速率性能。

12. 单击右上角的“实时”选项,每十秒显示和刷新一次详细信息。

VM-ID 启用的各个 VM 的性能和 IO 配置文件(并显示在上述 SANnav 屏幕中)使 SAN 和存储管理员能够了解每个 VM 的流量模式。

Marvell QLogic VM-ID 技术和 Brocade SANavv 是现代数据管理领域的创新领导者。 借助VMware ESXi、VM-ID 的无缝虚拟机部署和编排功能以及SANnav 的全面存储管理工具,企业可以自信、轻松地应对虚拟化环境的复杂性。

这些解决方案使组织能够充分利用其数据基础设施的潜力,确保最佳的性能、效率和适应性。 随着技术的发展,Marvell QLogic VM-ID 和 SANavv 在简化数据管理和增强卓越运营的过程中仍然是坚定的合作伙伴。

Marvell FC 适配器

博科SANnav

本报告由 Marvell 赞助。 本报告中表达的所有观点和意见均基于我们对所考虑产品的公正看法。

参与 StorageReview 

订阅电子邮件 | YouTube | 播客 iTunes/Spotify | Instagram | Twitter | TikTok | RSS订阅