오늘 Open Compute Project Summit에서 Facebook은 유연한 NVMe JBOF(단지 플래시)인 Lightning을 발표했습니다. Facebook은 번개를 플래시 빌딩 블록 또는 플래시 슬레드로 소개합니다. Lightning을 통해 데이터 센터는 컴퓨팅 대 스토리지 비율을 조정하면서 여러 애플리케이션에 걸쳐 플래시 용량을 더 잘 확장할 수 있습니다. Facebook은 이 새로운 JBOF를 Open Compute Project에 기여하고 있습니다.
Facebook은 한동안 플래시를 사용하는 데 큰 역할을 해왔습니다. 캐시, 데이터베이스 응용 프로그램 및 부팅 드라이브에 사용합니다. 플래시는 그들이 원하는 성능을 제공하지만 효율적으로 확장되지 않는 것과 같은 몇 가지 단점이 있습니다. 플래시 밀도는 약 XNUMX년 반마다 두 배가 되므로 효율적인 확장 문제가 발생합니다. Facebook은 주어진 애플리케이션에 사용 가능한 총 플래시 양을 최대화하면서 하드웨어 구성 요소의 수를 최소화하는 방법을 찾고 있습니다. Facebook은 하드웨어 및 소프트웨어 구성 요소를 분리하여 운영 효율성을 개선할 수 있는 가능한 솔루션으로 보았습니다. JBOF, Lightning을 입력하십시오.
Lightning은 종단 간(CPU에서 SSD로) PCIe 3세대 연결을 제공합니다. 더 빠른 출시 시간을 제공하고 공통된 모양을 유지하며 PCIe 스위치 솔루션의 모듈성을 활성화하고 SSD 폼 팩터의 유연성을 활성화하기 위해 Facebook은 기존 Open Vault(Knox) SAS JBOD 인프라를 활용하고 있습니다. Facebook은 새로운 JBOF(위 그림)와 새로운 보드를 구현하기 위해 특정 토폴로지를 사용해야 했습니다.
- PCIe 리타이머 카드. 이 x16 PCIe gen 3 카드는 JBOF의 헤드 노드로 사용되는 Leopard 서버에 설치됩니다. 최소 8644m의 외부 mini-SAS HD(SFF-2) 케이블을 통해 PCIe 신호를 재전송하는 단순하고 비용이 적게 드는 저전력 설계입니다.
- PCIe 확장 보드(PEB). PCIe 스위치, Lightning BMC 및 모든 스위치 지원 회로가 이 보드에 있습니다. SSD 트레이당 하나의 PEB가 설치되며 Knox에서 사용되는 SEB(SAS 확장 보드)를 대체합니다. 이를 통해 두 트레이에 공통 스위치 보드를 사용할 수 있으며 나머지 인프라를 수정하지 않고도 새로운 버전이나 다른 버전(예: 차세대 스위치 포함)을 쉽게 설계할 수 있습니다. 각 PEB는 헤드 노드의 리타이머에 대한 업링크로 최대 32x PCIe 레인과 SSD에 대한 60x PCIe 레인을 제공합니다. PEB가 실패하면 시스템의 다른 트레이에 영향을 주지 않고 핫 스왑할 수 있습니다.
- PCIe 드라이브 플레인 보드(PDPB). PDPB에는 15x SFF-8639(U.2) SSD 커넥터와 지원 회로가 포함되어 있습니다. 각 SSD 커넥터 또는 슬롯은 PCIe의 4x 레인, PCIe 클록, PCIe 재설정 및 PCIe 스위치 또는 PEB의 스위치에서 추가 사이드 밴드 신호에 연결됩니다. 각 SSD 슬롯은 또한 2x x2 포트로 분기될 수 있으므로 추가 PCIe 스위칭 레이어 없이 트레이당 SSD 수를 15x에서 30x(시스템당 30x에서 시스템당 60x로)로 두 배로 늘릴 수 있습니다.
장점은 다음과 같습니다 :
- Lightning은 2.5", M.2 및 3.5" SSD를 비롯한 다양한 SSD 폼 팩터를 지원할 수 있습니다.
- Lightning은 SAS JBOD만큼 간단하고 투명한 현장 교체를 위해 SSD의 깜짝 핫 애드 및 깜짝 핫 제거를 지원합니다.
- Lightning은 OpenBMC를 실행하는 ASPEED AST2400 BMC 칩을 사용합니다.
- Lightning은 여러 스위치 구성을 지원하므로 HW를 변경하지 않고도 다양한 SSD 구성(예: 15x x4 SSD 대 30x x2 SSD) 또는 다른 헤드 노드에서 SSD로의 매핑을 지원할 수 있습니다.
- Lightning은 최대 XNUMX개의 헤드 노드를 지원할 수 있습니다. 트레이당 여러 헤드 노드를 지원함으로써 필요에 따라 스위치 구성을 변경하여 컴퓨팅 대 스토리지 비율을 조정할 수 있습니다.
모든 NVMe가 멋진 아이디어처럼 들리지만 모든 곳의 데이터 센터에 구현되기 전에 해결해야 할 몇 가지 문제가 있습니다. NMVe는 SAS 드라이브와 동일한 방식으로 핫플러그 또는 핫애드할 수 없습니다. 현재 PCIe 핫 플러그는 복잡합니다. PCIe에는 SAS와 같은 인밴드 인클로저 및 섀시 관리 체계가 없으므로 관리가 까다롭습니다. 레이아웃 및 새 보드의 일부는 신호 무결성 유지를 처리합니다. 외부 PCIe 케이블을 사용하는 대신 Facebook은 미니 SAS HD 케이블(SFF-8644)을 선택했습니다. 케이블은 대역 외 관리 연결을 위해 PCIe 측대역 신호와 USB 연결을 완벽하게 보완합니다. 그리고 Facebook은 NVMe의 전력 소비를 처리하고 있으며 2.5” NVMe SSD는 최대 25W를 사용할 수 있습니다. Lightning은 전력을 슬롯당 14W로 제한하고 있습니다.
Lightning은 플래시를 위한 유연하고 확장 가능한 솔루션으로 설계되었습니다. 대상 IOPS/TB에 적합한 전력 수준을 사용하면서 여러 SSD 폼 팩터와 여러 헤드 노드를 지원합니다. 이 솔루션을 OCP에 추가하면 NVMe 생태계가 강화되고 NVMe SSD 채택이 가속화될 것입니다.
아마존