StorageReview.com

Обзор накопителя HP StoreEasy 5000 (StoreEasy 5530)

Предприятие  ◇  Корпоративное хранилище

Компания HP в последнее время переживает трансформацию в отношении брендинга своих продуктов для хранения данных . Решения 3PAR, LeftHand, NAS и JBOD стали более четко обозначены, с определенными шагами, помогающими покупателям понять, какие решения соответствуют их потребностям. Семейство StoreEasy ориентировано на малый и средний бизнес, предлагая решения для хранения данных, начиная от файловых серверов начального уровня 1U и заканчивая более сложными массивами, которые могут включать элементы корпоративных решений 3PAR и виртуальные хранилища. StoreEasy 5000 занимает верхнюю позицию в семействе StoreEasy. Конфигурация StoreEasy 5530, которую мы сейчас рассматриваем, может работать как самостоятельное основное хранилище NAS для небольшой организации или филиала/удаленного офиса, или же 5530 может стать началом гораздо более крупной среды хранения данных. В любом случае, StoreEasy работает под управлением Windows Storage Server 2012 и разработан для простой установки в среды на базе Windows. Сам сервер хранения данных предлагает двухблочные серверы в конфигурации активный/активный, что обеспечивает не только высокую доступность (HA), но и балансировку нагрузки, а также возможность обновления без прерывания работы системы.

С архитектурной точки зрения серия хранилищ StoreEasy 5000 интересна по нескольким причинам, прежде всего из-за функций обеспечения высокой доступности. Наиболее очевидным компонентом решения HA являются два вычислительных модуля. Оба модуля активны и подключаются к пулу хранения через интерфейс SAS. Пул хранения содержит либо 16 отсеков для 3.5-дюймовых дисков, либо 36 отсеков для 2.5-дюймовых дисков с возможностью «горячей» замены и может быть сконфигурирован для соответствующего RAID-массива. Каждый модуль имеет два 2.5-дюймовых диска, расположенных зеркально для операционной системы, а корпус также предлагает резервные блоки питания и вентиляторы для завершения решения HA в шасси 3U.

Хотя блейд-серверы могут использоваться в режиме актив/актив, принцип работы StoreEasy 5530 несколько отличается от стандартного определения активного/активного режима. Каждый узел может взаимодействовать с пулом хранилищ, но оба узла не взаимодействуют с одним и тем же пулом одновременно. Возможно, проще представить настройку контроллера как активный/пассивный, пассивный/активный, где оба узла могут работать с разными томами и готовы переключаться друг на друга в случае отказа. HP также предлагает довольно большую гибкость при настройке узлов; все зависит от потребностей организации в отношении того, как будут настроены контроллеры.

HP поддерживает масштабирование до пяти полок JBOD в кластере 5530. Это означает, что с опцией дисков LFF поддерживается общая необработанная емкость в 192 ТБ. StoreEasy 5530 использует ряд функций работы с данными, входящих в состав Windows 2012, для оптимального использования этой емкости. Помимо поддержки новейшего стандарта SMB 3.0, Server 2012 также обеспечивает расширенную поддержку ISCSI LUN, а также встроенные возможности дедупликации для дальнейшего увеличения емкости системы.

HP предлагает StoreEasy 5530 в нескольких конфигурациях, различающихся по объему и производительности. Версии SFF имеют объем от 10.8 ТБ до 36.4 ТБ в одном корпусе с жесткими дисками 10K. Варианты LFF предлагаются в объемах 10 ТБ, 20 ТБ и 30 ТБ с жесткими дисками со скоростью вращения 7,200 об/мин. В нашем обзоре использовалась модель 5530 с 16 жесткими дисками LFF 10K SAS.

Технические характеристики системы хранения данных HP StoreEasy 5000

  • Параметры конфигурации системного жесткого диска
    • 16 LFF SAS
    • 36 SFF SAS
  • Встроенное хранилище данных для блейд-серверов: 2x450 ГБ SFF SAS на каждый контроллер.
  • Поддерживает пять дополнительных полок расширения для максимальной емкости 192 ТБ.
  • Процессор: Intel Xeon E5620 (2.40 ГГц)
  • Память
    • Стандартный объем памяти 24 ГБ (3 x 8 ГБ) на каждый контроллер хранения 5530.
    • Максимальный объем памяти 96 ГБ (12 x 8 ГБ) на один контроллер хранения 5530.
  • Графика: Встроенная Matrox G200, 32 МБ видеопамяти.
  • Интерфейс сетевого контроллера: 1GbE, 10GbE
  • Количество поддерживаемых пользователей: 100–25000
  • функции управления
    • Высокая доступность
    • Единый (файловый и блочный)
    • Тесная интеграция с Windows
    • Дедупликация данных
    • Кэш филиала
    • Инфраструктура классификации файлов
    • Снимки
  • Доступность функций
    • Активный/Активный двухузловой кластер NAS
    • Накопители с возможностью горячей замены
    • RAID-защита для дисков
    • Резервные источники питания
    • Резервные вентиляторы
  • Совместимые операционные системы: Microsoft Windows, Linux, UNIX, VMware, клиентские ОС.
  • Температура на входе в систему: 10o-35oC (50o-95oF)
  • Altitude
    • Рабочая глубина – 3050 м (10 000 футов)
    • Нерабочая зона – 144 м (30 000 футов)
  • Акустический шум от двух серверных модулей
    • Idle
      • LWAd: 7.3 Б
      • LpAm: 55 дБА
    • Операционный
      • LWAd: 7.4 Б
      • LpAm: 56 дБА
  • Размеры (ВxШxГ): 5.19 x 17.64 x 34.01 дюйма (13.18 x 44.80 x 86.38 см)
  • Вес: минимум 96.9 фунтов (43.96 кг) без экипировки – максимум 126.4 фунта (57.36 кг)

Обзор видео

Дизайн и сборка

HP StoreEasy 5530 — это впечатляюще компактная платформа форм-фактора 3U, учитывая размещенное внутри оборудование. Шасси 5530 представляет собой частично JBOD-платформу, частично блейд-серверное шасси с добавлением сетевых компонентов. Это отличает его от других решений, которые объединяют несколько серверов и JBOD-шасси и требуют больше места в стойке для установки. Компромисс заключается в том, что шасси немного длиннее, чем другие решения для хранения данных, и его можно разместить в большинстве стоек, вместо более высокой конструкции, занимающей на 1-2U больше места.

Компания HP также применила уникальный подход, разместив 16 дисков формата LFF или 36 дисков формата SFF в выдвижном ящике с фронтальным доступом, обеспечивающем возможность горячей замены всех накопителей без необходимости заглядывать в заднюю часть серверной стойки. Это делает StoreEasy 5530 очень простым в настройке на удаленном объекте: достаточно установить одно устройство, содержащее все необходимые компоненты в одном корпусе. За вычислительные мощности StoreEasy 5530 отвечают два сервера HP ProLiant BL460c G7, каждый из которых оснащен двумя процессорами E5620 и 24 ГБ оперативной памяти.

Каждый блейд-сервер включает в себя собственное зеркалированное хранилище на жестких дисках объемом 10 000 МБ, которое в случае StoreEasy 5530 содержит Windows Server 2012 и поддерживает все свои внутренние сетевые ресурсы. Оба блейд-сервера поддерживают «горячую» замену для упрощения обслуживания, а благодаря реализации файлового сервера высокой доступности (HA) это позволяет производить замену на месте без отключения каких-либо ресурсов. С точки зрения управления, пользователи получают доступ к каждому узлу локально через разветвительный кабель, обеспечивающий доступ к VGA и USB, или через интеграцию HP iLO. В ходе нашего обзора доступ к iLO был основным интерфейсом для управления, вплоть до удаленного обновления программного обеспечения на блейд-сервер через ISO-образ, размещенный в сети. iLO также поддерживает множество расширенных функций, таких как регулирование производительности в зависимости от требований центра обработки данных и даже детальный мониторинг энергопотребления в реальном времени с тем же уровнем доступа, что и на серверной платформе ProLiant.

После завершения первоначальной настройки все взаимодействие с пользователем происходит через удаленный рабочий стол. Как платформа на базе Windows, StoreEasy 5530 использует Windows Server 2012 для большей части своей повседневной работы, что может быть преимуществом, если вы в основном используете Windows. StoreEasy 5530 настраивается так же, как и любой другой сервер Windows в вашем домене, и не требует дополнительного обучения для освоения нового интерфейса и программного обеспечения. Для компаний, использующих Linux и добавляющих хранилище Windows в свою среду, освоение может быть непростым, но вполне по силам небольшому ИТ-отделу в малом или среднем предприятии.

Все подключения осуществляются через заднюю панель шасси, включая резервные источники питания и широкие сетевые возможности. Каждый блейд-сервер оснащен собственным уникальным сетевым оборудованием с индивидуальным управлением, а также интерфейсами 1GbE и 10GbE для обоих блейд-серверов. Наша конфигурация включает 3 порта управления (как для контроллеров, так и для шасси), 8 портов 1GbE (4 на каждый контроллер) и 4 порта 10GbE (2 на каждый контроллер). Все эти элементы установлены на заменяемых в полевых условиях платах, которые можно заменить с помощью простых инструментов или просто пальцами в случае аппаратной неисправности.

Настройка и конфигурация хранилища

Наш HP StoreEasy был оснащен 16 жесткими дисками LFF 10K SAS, которые мы сконфигурировали в два пула RAID5. Такая конфигурация хранилища обеспечивает сбалансированную производительность с использованием всех доступных жестких дисков, хотя в полноценной производственной среде вы, скорее всего, столкнетесь с RAID5+резервными дисками или RAID6.

Используя все возможности HP StoreEasy 5530, мы настроили в нашей лаборатории как высокодоступные SMB-ресурсы, так и iSCSI LUN. В качестве операционной системы для 5530 мы использовали Failover Cluster Manager для мониторинга состояния и настройки высокодоступных файловых ресурсов.

Используя два предварительно созданных пула хранения RAID5 объемом 3.8 ТБ каждый, мы сформировали на StoreEasy 5530 общие ресурсы iSCSI и SMB. Ниже показаны два LUN iSCSI, представленные на этом этапе тестирования. Как видно, мы равномерно распределили их между обоими вычислительными узлами для максимальной производительности за счет балансировки ресурсов.

Для подготовки к работе с высокодоступными SMB и iSCSI-ресурсами мы создали два кластерных файловых сервера, которые равномерно распределяли между собой сети управления, 1GbE и 10GbE. Эти общие соединения позволяют кластерному файловому серверу бесперебойно переключаться на резервный сервер в случае обрыва сетевого соединения или отключения целого узла. Для обеспечения доступа к кластерному файловому серверу в домене также использовались серверы Active Directory и DNS нашей лаборатории.

Тестирование фона и сравнительных данных

Когда речь идёт о тестировании корпоративного оборудования, среда так же важна, как и используемые для её оценки процессы тестирования. В StorageReview мы предлагаем то же оборудование и инфраструктуру, что и во многих центрах обработки данных, для которых в конечном итоге предназначены тестируемые нами устройства. Это включает в себя корпоративные серверы и соответствующее инфраструктурное оборудование, такое как сетевое оборудование, место в стойках, системы стабилизации/мониторинга питания, а также сопоставимое оборудование того же класса для надлежащей оценки производительности устройства. Ни один из наших обзоров не оплачивается и не контролируется производителем тестируемого оборудования.

Тестовая лаборатория StorageReview Enterprise

Наша текущая инфраструктура для тестирования SAN и NAS-систем под управлением Windows Server 2012 с интерфейсом 10/40 Гбит/с Ethernet состоит из тестовой платформы Lenovo ThinkServer RD630, оснащенной адаптерами Mellanox ConnectX-3 PCIe, подключенными через 36-портовый коммутатор Mellanox 10/40 Гбит/с. Эта среда позволяет использовать в качестве узкого места по вводу-выводу устройство хранения данных, а не само сетевое оборудование.

Тестовая платформа StorageReview 10GbE для Windows Server 2008 Enterprise:

2 x Lenovo ThinkServer RD630

  • 2 процессора Intel Xeon E5-2620 (6 ядер, 2.0 ГГц, 15 МБ памяти, 95 Вт)
  • Windows Server 2008 R2 SP1 64-бит
  • Набор микросхем Intel C600
  • Память – 16 ГБ (2 x 8 ГБ) 1333 МГц DDR3 Registered RDIMM

Коммутатор Ethernet Mellanox SX1036 10/40 Гбит/с и оборудование

  • 36 портов 40GbE (до 64 портов 10GbE)
  • Разветвительные кабели QSFP 40GbE на 4x10GbE
  • Адаптер Mellanox ConnectX-3 EN PCIe 3.0 Twin 10G Ethernet

Анализ синтетической рабочей нагрузки предприятия

Для тестирования массивов хранения данных мы предварительно нагружаем систему высокой нагрузкой в ​​16 потоков с очередью из 16 запросов на поток, а затем проводим тестирование через заданные интервалы в различных профилях глубины потоков/очередей, чтобы показать производительность при низкой и высокой нагрузке. Для тестов со 100% активностью чтения предварительная нагрузка выполняется с той же рабочей нагрузкой, но с переключением на 100% запись.

Тестовая конфигурация HP StoreEasy 5000:

  • 16 жестких дисков SAS LFF 15K по 600 ГБ (8 жестких дисков на узел в пулах RAID5)
  • Настройка iSCSI: четыре LUN ​​по 25 ГБ (по два на узел).
  • Настройка SMB: четыре общих ресурса по 30 ГБ (два тестовых файла по 25 ГБ на каждый узел).

Для полной загрузки HP StoreEasy 5530 мы использовали тестовую конфигурацию, состоящую из двух серверов Lenovo ThinkServer RD630, каждый из которых использовал два порта 10GbE. К каждому серверу были подключены две общие папки или тестовые файлы объемом 25 ГБ, по одной на каждый узел. Такая конфигурация позволила нам равномерно распределить нагрузку между обоими пулами хранения, а также между обоими серверными модулями, чтобы продемонстрировать максимальную производительность.

Первичные тесты стационарного состояния:

  • Пропускная способность (суммарные операции ввода-вывода при чтении и записи)
  • Средняя задержка (среднее значение задержки чтения и записи)
  • Максимальная задержка (пиковая задержка чтения или записи)
  • Стандартное отклонение задержки (усредненное стандартное отклонение чтения и записи)

В настоящее время анализ синтетической рабочей нагрузки для предприятий включает в себя стандартные последовательные и случайные профили, которые пытаются отразить реальную активность. Они были выбраны для того, чтобы иметь некоторое сходство с нашими предыдущими тестами, а также для создания общей основы для сравнения с широко опубликованными значениями, такими как максимальная скорость чтения и записи 4K, а также 8K 70/30, обычно используемая для корпоративных дисков. Мы также включили две устаревшие смешанные рабочие нагрузки, включая традиционный файловый сервер и веб-сервер, предлагающие широкий диапазон размеров передаваемых данных.

  • 4k (Случайный)
    • 100% чтение или 100% запись
  • 8k (последовательный)
    • 100% чтение или 100% запись
  • 8k 70/30 (Случайный)
    • 70% чтение, 30% письмо
  • 128k (последовательный)
    • 100% чтение или 100% запись
  • Файловый сервер (случайный)
    • 80% чтение, 20% письмо
    • 10% 512b, 5% 1к, 5% 2к, 60% 4к, 2% 8к, 4% 16к, 4% 32к, 10% 64к
  • Веб-сервер (случайный)
    • Прочитано на 100%
    • 22% 512b, 15% 1k, 8% 2k, 23% 4k, 15% 8k, 2% 16k, 6% 32k, 7% 64k, 1% 128k, 1% 512k

В первом из наших корпоративных тестов мы измерили производительность на большом объеме случайных данных размером 4K со 100% активностью записи и 100% активностью чтения, чтобы получить основные результаты. HP StoreEasy 5530 SMB показал 11 832 IOPS при чтении и 2,723 IOPS при записи, что значительно больше, чем показатели iSCSI, которые составили 8,561 IOPS при чтении и 2,766 IOPS при записи.

В нашем основном сегменте измерения средней задержки с нагрузкой 16T/16Q мы измерили среднюю задержку чтения 43.26 мс и задержку записи 187.92 мс на основе данных HP StoreEasy 5530 SMB Average. Это меньше средней задержки чтения, но немного больше средней задержки записи, чем в iSCSI Average.

При чтении данных HP StoreEasy 5530 SMB в среднем показал максимальное время отклика 1219.3 мс и максимальную задержку при записи 2343.3 мс. При чтении задержка по протоколу SMB была выше, чем по iSCSI, а при записи разница была меньше.

Анализируя стабильность задержки при передаче данных в разрешении 4K в разделе стандартного отклонения, мы обнаружили, что HP StoreEasy 5530 SMB демонстрирует меньшую стабильность задержки, чем общие ресурсы iSCSI.

Наш тест 8k — это тест последовательного ввода-вывода для небольших блоков, который показывает максимальную скорость последовательного ввода-вывода для StoreEasy 5530 в режимах SMB и iSCSI. В режиме SMB Aggregate было достигнуто больше операций ввода-вывода в секунду (IOPS), чем в режиме iSCSI Aggregate: 45 494 IOPS для чтения и 8 375 IOPS для записи, в то время как производительность iSCSI достигла пика в 40 406 IOPS для чтения и 8 091 IOPS для записи.

Наш тест на 128 КБ — это тест последовательной передачи больших блоков, который показывает пиковую пропускную способность последовательной передачи для массива. Рассматривая производительность на 128 КБ как при 100% записи, так и при 100% чтении, HP StoreEasy 5530 SMB Aggregate показал лучшие результаты по скорости чтения — 2.18 ГБ/с, хотя iSCSI Aggregate превзошел SMB по скорости записи — 566 МБ/с.

По сравнению с фиксированной максимальной нагрузкой в ​​16 потоков и 16 очередей, которую мы использовали в тесте записи 4K на 100%, наши профили смешанной нагрузки масштабируют производительность в широком диапазоне комбинаций потоков и очередей. В этих тестах мы варьируем интенсивность нагрузки от 2 потоков и 2 очередей до 16 потоков и 16 очередей. В расширенном тесте 8K 70/30 HP StoreEasy 5530 SMB Aggregate показал значительно больше операций ввода-вывода в секунду (IOPS). Также следует отметить, что показатели HP StoreEasy 5530 чрезвычайно стабильны, демонстрируя практически идентичные значения на разных узлах, что выглядит как 4 графика вместо 6.

При оценке среднего времени отклика 8k 70/30, HP StoreEasy 5530 SMB Average показал меньшую среднюю задержку, хотя его пиковое значение около 90 мс было аналогично среднему значению iSCSI около 100 мс.

В ходе наших основных тестов при различных уровнях глубины потоков и очередей HP StoreEasy 5530 SMB показал более высокую максимальную задержку — около 1,725 мс — по сравнению с максимальной задержкой iSCSI, которая составляла около 1,100 мс.

На большей части спектра потоков/очередей стандартное отклонение HP StoreEasy 5530 SMB достигало значений выше, чем у iSCSI, хотя разница увеличивалась с увеличением эффективной глубины очереди.

Следующая использованная нами рабочая нагрузка — это профиль файлового сервера, который подвергает диски переменной нагрузке. Мы увеличили количество потоков и очередей с 2T/2Q до 16T/16Q. В этом профиле HP StoreEasy Aggregate SMB показал результаты примерно на 1,000 IOPS выше, чем Aggregate iSCSI, достигнув 6,500 IOPS.

При любой глубине очереди среднее значение задержки для HP StoreEasy 5530 SMB было ниже среднего значения для iSCSI, оставаясь ниже 80 мс при глубине очереди терминала, что в целом обеспечило лучшую производительность по средней задержке.

При сравнении пиковых значений времени отклика в нашем профиле файлового сервера, HP StoreEasy 5530 SMB Average показал более высокие пиковые значения максимальной задержки на большей части глубины очереди.

Анализируя стандартное отклонение задержки, можно отметить, что HP StoreEasy 5530 SMB Average снова показал большее стандартное отклонение задержки, причем оно увеличивалось по мере роста эффективной глубины очереди.

Наш заключительный тест — это тест веб-сервера, который включает 100% операций чтения. HP StoreEasy 5530 SMB Aggregate показал лучший результат, почти 11 000 операций ввода-вывода в секунду, а iSCSI Aggregate — чуть менее 8 000.

В нашем следующем тесте средней задержки в профиле веб-сервера HP StoreEasy 5530 SMB Average показал более низкую среднюю задержку во всем диапазоне нагрузок.

В течение всего периода масштабирования рабочих нагрузок в нашем профиле веб-сервера HP StoreEasy 5530 SMB показал примерно на 1,150 мс большую максимальную задержку в пиковый момент, чем iSCSI.

При сравнении стабильности задержки в нашем профиле веб-сервера только для чтения, HP StoreEasy 5530 SMB Average показал более высокое стандартное отклонение при загрузке сервера выше эффективной глубины очереди в 16 элементов.

Заключение

HP StoreEasy 5530 предлагает компаниям малого и среднего бизнеса простое в развертывании решение для хранения данных, обладающее большим количеством функций высокой доступности, чем традиционные NAS-системы на одном шасси. Для компаний, работающих под управлением Windows, 5530 практически готов к использованию, предоставляя администраторам весь привычный контроль над политиками и пользователями в вопросах безопасности данных. Интеграция с Windows Server 2012 также обеспечивает простые в использовании функции управления, а также дополнительные возможности, такие как дедупликация данных. Рассматривая рынок StoreEasy 5530, HP демонстрирует большую гибкость. Сама по себе модель 5530 хорошо подходит для филиалов/удаленных офисов, которым необходимо простое в развертывании решение, но при этом требуются функции высокой доступности. Для других предприятий, чьи потребности в данных расширяются, StoreEasy 5530 является отличной отправной точкой, которую можно дополнить дополнительными полками для хранения.

Главная особенность StoreEasy — двухблочная архитектура, основанная на серверной технологии HP ProLiant. Оба блейд-сервера постоянно включены и могут балансировать нагрузку, назначая разные тома из общего пула хранения. В случае сомнений относительно того, какой узел более доступен, интерфейс Windows предоставляет администраторам возможность вручную выбрать узел или выбрать узел с наибольшей доступностью. Узлы, конечно же, также переключаются друг на друга при сбое. Как показано в нашем видеообзоре системы, процесс переключения происходит без ручного вмешательства и завершается за несколько секунд. Помимо блейд-серверов, все компоненты на задней панели шасси легко заменяются: от резервных блоков вентиляторов до межсоединительных плат и блоков питания.

Система StoreEasy 5530 может быть сконфигурирована с дисками LFF или SFF, что позволяет пользователю выбрать оптимальный вариант по объему или производительности. В нашей тестовой модели использовались 16 жестких дисков LFF 10K SAS, которые продемонстрировали высокую производительность в конфигурации с двумя пулами RAID5, равномерно распределенными по 8 дисков в каждом. Что касается скорости последовательной передачи данных, мы измерили суммарную скорость чтения больших блоков размером 128 КБ и скорость записи 566 МБ/с по протоколу SMB. При переключении на iSCSI мы измерили скорость чтения 1.85 ГБ/с и скорость записи 800 МБ/с. Скорость чтения малых блоков размером 8 КБ составила 40 000–45 000 IOPS и скорость записи 8 000–8 300 IOPS, при этом протокол SMB показал лучшие результаты по скорости. В наших тестах случайной передачи данных StoreEasy 5530 показал себя довольно хорошо, продемонстрировав очень сбалансированную производительность на обоих тестируемых серверах, а также предсказуемую производительность по пропускной способности, средней задержке и пиковому времени отклика. Неудивительно, что SMB показал преимущество в производительности почти во всех тестах.

Плюсы

  • Простота в обслуживании, модульная конструкция
  • Функционал высокой доступности с активной/активной балансировкой нагрузки.
  • Высокоплотный форм-фактор, сочетающий надежное хранение данных и вычислительные мощности в форм-факторе 3U.
  • Привычное управление с использованием Windows Server 2012

Минусы

  •  Отсутствует поддержка многоуровневого хранения данных и кэширования.

Резюме

HP StoreEasy 5530 — это сетевое хранилище данных форм-фактора 3U с двумя блейд-серверами, обеспечивающее конфигурацию актив-актив для высокой доступности, балансировки нагрузки и бесперебойного обновления. Оно отлично подходит для малых и средних предприятий, использующих операционную систему Windows. 5530 легко настраивается и управляется, а также масштабируется для удовлетворения растущих потребностей в объеме данных.

Страница продукта HP StoreEasy 5000

Обсудить этот отзыв

Взаимодействуйте со StorageReview

Рассылка | YouTube | Подкаст | iTunes / Spotify | Instagram | Twitter | TikTok | RSS-лента

Кевин ОБрайен

В лаборатории StorageReview я занимаюсь оценкой продуктов и сотрудничаю с лидерами отрасли для разработки новых тестовых сред. Дома я воспитываю семью.

Предыдущая запись:

Следующая запись: