Непонятная проблема с коммутаторами, не работают VLAN.

[Призрак]

Здравствуйте! Может быть, вопрос странноватый, но я совсем измучился, в полной растерянности, не могу понять, почему не хотят работать VLAN на коммутаторах. Приведу настройки одного коммутатора, так как второй настраивается аналогично, только с другим VLAN. Модель коммутатора DGS-1510-28X.

К 15 порту подключен гипервизор esxi, с установленной на нём FreeNAS. Порты 25-28 ведут к соседним гипервизорам esxi. С них я пытаюсь подключить FreeNAS, бесполезно, он вообще не виден. Все карты проверил, все настройки, дома без коммутатора всё подключается, на виртуальном стенде, тут ни в какую. Может предоставить дополнительную информацию? Или пустить кого нибудь удалённо, чтобы он посмотрел? Я уже на грани нервного срыва.

[Уваров А.С.]

Порт 15 у вас Access, т.е. нетегированный, тег навешивается при входе пакета в коммутатор и идет дальше, при выходе с 25-27 он не снимается и должен быть обработан на уровне клиента (или следующего коммутатора). При этом все устройства по цепочке должны поддерживать 802.1Q, иначе все закончится на устройстве без поддержки.

Мое мнение - вы в очередной раз городите какой-то огород. Кто мешает выделить виртуалкам отдельную сетевую и воткнуть ее в нетегированный порт, а управлять гипервизорами через вторую карту, в другом VLАN, то тоже на Access-порте. Лично я бы не стал с вашим уровнем знаний (без обид, просто констатация факта) кидать транк на ESXi.

[ival]

С точки зрения логики все настроено верно.

Пакет с FreeNAS заходит в порт 15, тегируется 127 vlan'ом и улетает в танковый порт и тегированым летит на vSwitch.

Покажите настройки vSwitch из esxi подключенным к 25-27 портам.

[Уваров А.С.]

Пакет с FreeNAS заходит в порт 15, тегируется 127 vlan'ом и улетает в танковый порт и тегированым летит на vSwitch.

Покажите настройки vSwitch из esxi подключенным к 25-27 портам.

Так вот там похоже и проблема. И, судя по предварительным вопросам, проблема именно в понимании всей этой кухни применительно к виртуальным коммутаторам.

[Призрак]

Ну, начнём с того, что я ни на кого не обижаюсь. Я теперь решил так – если я что-то действительно не знаю, я обижаться не должен, а должен просто понять, что и как делать. Тянуться к знаниям, а не просто выносить людям мозги. Тем более, ещё я хочу научиться, более детально описывать проблему, чтобы было легче разобраться.

Дело в том, что все эти художества делал не я, а нанятый администратор. Его наняли вместе с оборудованием, которое предполагалось делать, а именно заменить два гипервизора. Я, конечно, был против этого, но мне было сказано, что «для надёжности, чтобы они потом отвечали». Только они почему – то отвечать не торопятся. Денег содрать и удрать, вот цель современных контор. А дальнейшее их вообще не волнует.

Я имею отношение только к VLAN127, а также портам 4, 15 и 16 (на других свитчах аналогично, только там VLAN уже 129). Мне было дано задание, поставить на сервер Supermicro гипервизор, на него FreeNAS, потом прокинуть iSCSI от этой FreeNAS до остальных гипервизоров, находящихся как раз на портах 25-27 (там, где снимки экрана видно описание этих портов, как они расположены и какие сетевые карты используются). С FreeNAS я умею справляться вполне, кстати, я к самому гипервизору, на котором находится FreeNAS, уже подключил iSCSI с него, он там подключается, всё видит. Также он видит ds3512. Вот как раз проблема то в том, я считаю, что порты 15 и 16 имеют скорость до 1000 мегабит, а порты 25-27 до 10000 мегабит. Что-то явно там не стыкуется.

Вот раскладка по сетевым картам. Сервер, собственно, имеет семь портов. Один из них используется под IPMI, следовательно, не используется в сети. Соответственно, 1 и 2 порт, встроенные сетевые карты, используются под vmnic0 и vmnic1. Остальные входят в состав карты Intel Ethernet Server Adapter I350, соответственно, vmnic2, vmnic3, vmnic4, vmnic5. Их предполагается использовать под iSCSI, для проброса на другие гипервизоры через порты 25-27 с FreeNAS.

Вот раскладка по портам. Соответственно, как вы уже успели заметить, сетевая карта vmnic0 подключена к 4 порту на коммутаторе. Соответственно, сетевая карта vmnic1 подключена к 4 порту на втором коммутаторе. Но я, чтобы не запутаться, буду говорить только про первый коммутатор, на втором VLAN немного отличаются, но в целом то же самое. Сетевые карты vmnic2, 3, 4, 5 предполагается отдать под порталы FreeNAS, они подключены, соответственно к портам 15 и 16 (2-15, 3-16, 4-15, 5-16).

Вот раскладка, текущая по VLAN. Я загнал 4 порты в trunk, потому – что мне сказали «делай, как сделано, по аналогии». Я понимаю уже, что trunk позволяет пропускать несколько VLAN, а access всего один. Кроме того, я добавил туда ещё VLAN на подключение DS3512, а также vSAN (127, 130-131). Сделал я это по очень простой причине – у этого сервера нет SFP на 10000, соответственно, по-иному я сделать не мог. А вот по VLAN для iSCSI я ещё не придумал, как лучше. Или, может быть, мне посоветуют. Я предполагал сделать так:

vmnic2, VLAN140, tagged 25-27, untagged 15
vmnic3, VLAN141, tagged 25-27, untagged 16
vmnic4, VLAN142, tagged 25-27, untagged 15
vmnic5, VLAN143, tagged 25-27, untagged 16

У меня есть сильное подозрение, что где – то идёт нестыковка, между 1000 и 10000, но я пока не могу понять, где. Вот я сделал снимки экрана, по запросу, по настройкам vSwitch на гипервизоре, который предполагается подключить. Вернее, на одном из гипервизоров. Я всё делаю в точности так же, для подключения добавляю vmkernel, бесполезно. Не хочет подключаться, ни в какую. Хотя к ds3512 подключается, расклад на снимках коммутатора показан, что и где. Ещё есть подозрение на новом гипервизоре, на котором FreeNAS, который я настраиваю. MTU тут имеет значение?

Ещё я бы хотел спросить совета - как всё это переделать, чтобы было грамотно? Я, наверное, пойду опять учиться. Другого не остаётся. Как поставить гипервизор, настроить его минимально я знаю, а вот как распределить сетевые ресурсы это для меня уже очень и очень сложно.

[ival]

Первый скриншот.

В vSwitch1 у Вас создана сеть VLAN0127-FreeNas-P2-Stor_U1, но в ней нет vmKernel порта. Что это значит - это означает, что у esxi нет порта смотрящего в эту сеть. Вам нужно создать vmk,, привязать его к vSwitch1, задать vlan 127 и назначить IP из сети 127 vlan.

[Призрак]

Я всё сделал, всё проверил. Не получается, никак. Даже дополнительные VLAN создал, никак, абсолютно. На локальной машине, то есть на четвёртом гипервизоре, где установлен FreeNAS всё подключается. Даю по нему расклад, во вложении. А с других гипервизоров никак.

Вот там где part2 vmkernel я такие же создал, на втором гипервизоре. Только адреса там вместо 14 заканчиваются на 12. К соответствующей карте всё прокинул, на втором гипервизоре, всё равно ни в какую не подключается. Будь оно всё проклято, я всё больше люблю Hyper-V и ненавижу смертельной ненавистью vmware. Я же всё внимательно посмотрел, черкнул для себя, всё равно какого фига ему надо, я вообще не понимаю. Диагностику никак не сделать, где эффективные инструменты? Полная растерянность только, ничего больше не остаётся.

Я уж думаю в сторону FreeNAS, может там драйвера не приделаны. Или FreeNAS не умеет с вланами работать. На сам гипервизор уже поставил.

[ival]

Скриншоты vSwitch1 и vmк с esxi2.

[Призрак]

Вот, предоставляю сведения. У меня сильное подозрение, что FreeNAS не может корректно работать через интерфейс сетевой, виртуальный, с vlan.

[ival]

параметры vmk9 покажите

И сразу таблицу mac адресов со свича, интересуют порты 15,16,25,26,27

[Призрак]

Вот. А имеет значение, что адаптеры виртуальные VMXNET3? Я и с e1000 пробовал, бесполезно. Вот, ещё и mac таблица.

[ival]

Вы мне мак таблицу интерфейсов коммутатора прислали, а мне нужна таблица маков за портами

Подключайтесь SSH esxi2:

ping -I vmk9 192.168.140.14

[Уваров А.С.]

Я уж думаю в сторону FreeNAS, может там драйвера не приделаны. Или FreeNAS не умеет с вланами работать. На сам гипервизор уже поставил.

Стоп, я что-то совсем ничего не понимаю. Кто такой VM-STOR-01? FreeNAS? Так он по "условиям задачи" в Access порт (15) включен или я что-то пропустил? Если так, то почему вы работаете с ним как с транком и навешиваете теги на виртуальные сети?

[ival]

Стоп, я что-то совсем ничего не понимаю. Кто такой VM-STOR-01? FreeNAS? Так он по "условиям задачи" в Access порт (15) включен или я что-то пропустил? Если так, то почему вы работаете с ним как с транком и навешиваете теги на виртуальные сети?

Я даже не обратил внимания((( Это фиаско(((

Там 15, 16 и еще 2 дырки не известно где

[ival]

Я понял это ппц.

Порты разнесены по 2 коммутаторам (15,16) На каждом свой vlan.
Для чего??

[Уваров А.С.]

Я понял это ппц.

Поэтому я еще в самом начале писал, что лучше бы попробовать все это собрать для начала на access-портах, физических портов хватает.

А так вышел полный хаос, что-то куда-то ходит, обвешано тегами с ног до головы, но вот что именно, куда именно и зачем - покрыто мраком.

[Призрак]

Я же говорил, что это не мои художества. Я ничего за ним переделывать не буду.

ping -I vmk9 192.168.140.14

Не идёт, потеряно 3 пакета и всё.

VM-STOR-01 это хранилка FreeNAS, я описал всё выше, что, где и как используется. В эти порты подключены используемые адаптеры vmnet2, vmnet3, vmnet4, vmnet5, используются они только для iSCSI. То что описано то так и подключено. Мне сказали делать как сделана дска, я так и делаю, точь в точь. Только почему - то паршивки не хотят подключаться, подключение только локальное, на том хосте, где установлена FreeNAS.

Я понял это ппц.

Порты разнесены по 2 коммутаторам (15,16) На каждом свой vlan.
Для чего??

Для iSCSI. Смотрите настройки DS3512.

Я хочу понимать, как нормально провести диагностику. Я хочу понимать, какие инструменты можно использовать. Судя по всему vmware заботит только выколачивание денег, а не создание эффективных инструментов. Откуда я знаю, что происходит, когда я не могу даже посмотреть, где теряются пакеты и почему? Я сделал всё правильно, я уверен, на 100%. Но почему - то подключение не идёт. А почему оно не идёт мне неведомо.

У меня ещё два хранилища работают, для резервных копий. Я подключил их без проблем, безо всяких паршивых vlan. Они работают нормально. Только вот говорят, что неправильно это, нужно vlan. Ну vlan так vlan, но объясните мне пожалуйста, почему напрямую всё подключается, причём нормально подключается? Это за пределами моего понимания. Это всё равно, что заправил автомобиль, починил его, искра есть, топливо поступает, а машина не заводится! Как так?

[Призрак]

Вот команда трассировки, с хранилища, выдаёт host is down. Что она мне говорит эта команда? То что хост лежит. А почему он лежит, когда он активен? Слов нет просто. Просто надпись. Что я с ней буду делать, жрать что-ли? Хорошая диагностика.

[Уваров А.С.]

То что описано то так и подключено. Мне сказали делать как сделана дска, я так и делаю, точь в точь. Только почему - то паршивки не хотят подключаться

И правильно делают, что не хотят. Надо не только делать, но и понимать что вы делаете.

Судя по всему vmware заботит только выколачивание денег, а не создание эффективных инструментов. Откуда я знаю, что происходит, когда я не могу даже посмотреть, где теряются пакеты и почему? Я сделал всё правильно, я уверен, на 100%.

А я на 100% уверен в обратном и уже написал вам выше. Вы воткнули гипервизор с FreeNAS в access-порт, который на выходе снимает теги с пакетов. А vSwitch настроили на работу с транком, т.е. с тегированным трафиком. А тегов то нет! Вот и не работает.

И да, в вашем случае имеет место не "не могу посмотреть", а "не знаю что и где смотреть".

Только вот говорят, что неправильно это, нужно vlan. Ну vlan так vlan, но объясните мне пожалуйста, почему напрямую всё подключается, причём нормально подключается? Это за пределами моего понимания.

Сначала разберитесь что такое VLAN, что такое access-порт и что такое транк и чем они принципиально отличаются друг от друга. В какой момент тег добавляется, а в какой снимается. Потом возьмите лист бумаги, цветные карандаши и нарисуйте схему того, что вы хотите получить. Пока я вижу полную кашу и хаос.

Это всё равно, что заправил автомобиль, починил его, искра есть, топливо поступает, а машина не заводится! Как так?

Только вот вы зачем-то вместо бензина залили дизель, а так да, все "нормально", только вот не едет "почему-то"...

[Призрак]

А я на 100% уверен в обратном и уже написал вам выше. Вы воткнули гипервизор с FreeNAS в access-порт, который на выходе снимает теги с пакетов. А vSwitch настроили на работу с транком, т.е. с тегированным трафиком. А тегов то нет! Вот и не работает.

И да, в вашем случае имеет место не "не могу посмотреть", а "не знаю что и где смотреть".

Обоснуйте ка тогда, почему ds3512 работает? Чудеса прямо! При этом, заметьте, она настроена точно так же, как и FreeNAS! Опять получится, как в той теме, про relay? Жду обоснований, по настройке vSwitch. Да будет вам известно, уважаемый, что vSwitch, который работает на гипервизоре esxi4 как раз таки работает с несколькими access портами, при чём здесь вообще транк? Транк у меня в соседнем свитче, который к этому никакого отношения не имеет, вообще! Вы можете почитать ту информацию, которую я предоставил? Я кидал снимки экрана.

По vSwitch1, 10000, который расположен на esxi2 возражения не принимаются, вообще никакие. Потому - что к нему подключена ds3512, с аналогичными настройками и она работает, работает!

[Призрак]

Извините, конечно, у меня нервный срыв, опять. Из-за того, что опять непонятно. Поверьте мне, я далеко не дурак, в этих делах. Я когда делаю, всё проверяю, что хочу сделать. Вот, говорю предварительно.

Обратите внимание, что на коммутаторах по два VLAN для DS3512. Это 130, 131 и на втором коммутаторе 132, 133. DS3512 имеет, соответственно, четыре патчкорда, которые подключены 21 и 22, к обоим свитчам. Хорошо, я вот с двух коммутаторов присылаю снимки, чтобы вы могли видеть, что и как.

Вот у меня тоже созданы, два vlan на одном и два на другом. Соответственно, используются порты 15 и 16, как вы заметили. Там тоже есть отдельная карта, модель я писал, с четырьмя выходами. Это vmnic2, vmnic3, vmnic4, vmnic5. На них сидят порталы, во FreeNAS. Используются только для порталов и только для нужд FreeNAS! Как и на хранилке, DS3512. Надеюсь, что я немного прояснил ситуацию. Снимки экрана по esxi2 я посылал ранее, там видно, как подключена эта DS3512. Моя хранилка подключена точно так же, как и DS3512, но связи с ней нет. А почему, я не знаю. Локально, на гипервизоре, на том же самом, где установлена виртуальная машина с FreeNAS, связь есть, там всё биндится. Но удалённый хост не видит FreeNAS. Может быть дело в vSwitch на esxi4? Нужна схема, я сделаю. Но сделаю только с условием, что я буду рисовать только то, что я сам хочу реализовать. Что реализовал этот пень дубовый, как он там напутал, я делать не буду, это надо спирта полстакана, как минимум, чтобы разобраться.

И ещё, почему - то одинаковый MAC адрес, на каждой карте, которая привязана к VM-STOR-01! Уж не тут ли собака зарыта? Хотя в самих настройках MAC разные.

[Призрак]

Кстати, я делал всё это на виртуальном стенде vmware workstation, дома, всё завелось нормально. Ни для кого не секрет, что у d-link весьма плохая продукция, что очень печально.

[Уваров А.С.]

Обоснуйте ка тогда, почему ds3512 работает? Чудеса прямо!

Действительно чудеса! Вы воткнули хранилище в access-порт и оно работает.

При этом, заметьте, она настроена точно так же, как и FreeNAS!

Нет, не также. Между FreeNAS и D-Link у вас стоит еще один коммутатор -  vSwitch, то, что он виртуальный и вы его не видите не отменяет его существования. На виртуальном коммутаторе вы настроили VLAN, т.е. те виртуальные порты что к виртуальным машинам у вас access, но наружу торчит trunk,  который вы втыкаете в access физического коммутатора, а потом удивляетесь что не работает. В таком случае переводите порты 15 и 16 в trunk, чтобы на vSwitch шел тегированный трафик.

[ival]

Действительно чудеса! Вы воткнули хранилище в access-порт и оно работает.

Нет, не также. Между FreeNAS и D-Link у вас стоит еще один коммутатор -  vSwitch, то, что он виртуальный и вы его не видите не отменяет его существования. На виртуальном коммутаторе вы настроили VLAN, т.е. те виртуальные порты что к виртуальным машинам у вас access, но наружу торчит trunk,  который вы втыкаете в access физического коммутатора, а потом удивляетесь что не работает. В таком случае переводите порты 15 и 16 в trunk, чтобы на vSwitch шел тегированный трафик.

не надо лучше транковать их)) давайте не будем спешить)) там может беда получиться при таких раскладах. Ну или транковать но откидывать 3 порта от коммутатора.

Призрак, я правильнопонимаю что вы посмотрели на перекрёстную коммутацию ESXi2 и полок на свичах и решили ESXi4 также сделать?

[Призрак]

Нет, не также. Между FreeNAS и D-Link у вас стоит еще один коммутатор -  vSwitch, то, что он виртуальный и вы его не видите не отменяет его существования. На виртуальном коммутаторе вы настроили VLAN, т.е. те виртуальные порты что к виртуальным машинам у вас access, но наружу торчит trunk,  который вы втыкаете в access физического коммутатора, а потом удивляетесь что не работает. В таком случае переводите порты 15 и 16 в trunk, чтобы на vSwitch шел тегированный трафик.

Конечно, я так и настроил. Я пытался так сделать, как вы написали, там появляется этот накопитель, таргеты тоже появляются, но в датасторах его не видно, там он не появляется. Да и гипервизор себя как то странно ведёт, притормаживает при поиске. В свитче я аккуратно, в каждой порт группе, которая цепляется к машине, отключил те сетевые карты, которые не задействованы на этом порту. Так что получается более чем странно.

не надо лучше транковать их)) давайте не будем спешить)) там может беда получиться при таких раскладах. Ну или транковать но откидывать 3 порта от коммутатора.

Призрак, я правильнопонимаю что вы посмотрели на перекрёстную коммутацию ESXi2 и полок на свичах и решили ESXi4 также сделать?

Вы совершенно правильно понимаете. Посмотрите, как DS3512 сделана, там абсолютно такой же расклад, но в Access работает. Я уж подумал вот что сделать - разделить эти четыре сетевые карты по четырём свитчам, бухтуть туда по кернел порту и по порт группе, предназначенной для виртуальной машине и так и настроить, фиг с ним. Я подозреваю, что FreeNAS совершенно опупела, от подобных экспериментов, да и разработчики esxi тоже ничего не предполагали, такой неожиданности. Или вообще, оставить только две сетевые карты, соответственно, два коммутатора виртуальных, по одной карте, а далее придумать что-то уже с остальными входами. Скорость ведь не упадёт от этого?

[Призрак]

Вот я уже задумываюсь, не отдать ли на хранилище весь сервер? Правда, жаба то заест - там 64 гигабайта памяти, дисков там 8 терабайт, собранных в RAID6, хотя, с другой стороны большую часть мы отдаём под нужды машин, которые там предполагается ставить, нафига это? Лучше весь объём, но вот что делать с памятью, поставить её, что-ли, в серверы куда нибудь. Ну, проблема всё же актуальной остаётся.

[ival]

Я конечно не совсем понимаю как вы видите себе подключение. Но у ESXi есть особенность. Она может быть подключена всеми портами в разные физические свичи и эти порты могут быть прибиты к одному vSwitch только когда она находятся в одном широковещательном домене. Т.е. вы делаете NIC Teamig прибиваете к одному vSwitch, распихиваете по разным свичам и порты физических свичей находятся в одном vlan. Если вы хотите использовать транк, то один порт у вас в один физический коммутатор и он активен, а второй порт у вас в другой физический коммутатор и он находится в режиме Failover. Если вы хотите иметь два одновременно работающих транковых порта и хотите чтобы они были активны то они должны быть подключены к одному физическому свичу и на портах физического свича должно быть настроено агрегированием канала с использованием LACP. Как бы я сделал на вашем месте. Я бы объединил 2 порта в тиминг, метод балансировки обязательно Route based on the originating virtual switch port ID. Прибил их к одному vSwitch, без использования vlan. На стороне физических коммутаторов оба порта в режиме access которые смотрят в стороны esxi 4. На стороне esxi2 vmk с использованием такого же vlan

[Уваров А.С.]

Как бы я сделал на вашем месте. Я бы объединил 2 порта в тиминг, метод балансировки обязательно Route based on the originating virtual switch port ID. Прибил их к одному vSwitch, без использования vlan. На стороне физических коммутаторов оба порта в режиме access которые смотрят в стороны esxi 4. На стороне esxi2 vmk с использованием такого же vlan

Я уже давно пытаюсь ему это объяснить, что на esxi4 ему VLAN не нужны, тем более что физически это все воткнуто в access порт. При этом упорно игнорируется наличие vSwitch между FreeNAS и физическим коммутатором. Автор продолжает утверждать, что FreeNAS подключен "точно также" как полка, в access порт, видимо предполагая, что подключив виртуалку к vSwitch он подключает ее к физическому сетевому разъему гипервизора.

По факту он соединяет vSwitch, который настроен на работу с тегированным трафиком и access порт физического коммутатора, но не видит в этом "ничего такого" и продолжает удивляться и творить какую-то дичь.

[Призрак]

Спасибо вам, уважаемые коллеги, проблема решена. Она решилась тем, что я vlan на виртуальных коммутаторах поставил в 0, которые расположены на esxi4. Порты я оставил в access. Всё сразу же подключилось, появился датастор там, где и должен был появиться, обращение к нему есть.

Я уже давно пытаюсь ему это объяснить, что на esxi4 ему VLAN не нужны, тем более что физически это все воткнуто в access порт. При этом упорно игнорируется наличие vSwitch между FreeNAS и физическим коммутатором. Автор продолжает утверждать, что FreeNAS подключен "точно также" как полка, в access порт, видимо предполагая, что подключив виртуалку к vSwitch он подключает ее к физическому сетевому разъему гипервизора.

Уважаемый, вы сами прочитайте всю тему, от начала до конца, вы увидите, что вы только сейчас указали, что vlan не нужны, на виртуальных коммутаторах. А вам не приходит в голову, что я решаю подобную задачу первый раз в жизни, испытывая определённые трудности? Может быть, работодатель мне денег дал на обучение, нет? Видимо, не приходит. Я рад, что мне указывают на недостатки в моих знаниях, но с вашей стороны, извините, это выглядит так грубо, вы тычете меня носом, словно нагадившего котёнка, да так раздражённо.

Ещё говорите, что я делаю дичь. Да, может быть в ваших глазах и так, но вы же профессионал, вы привыкли всё делать идеально, с вашей стороны, может быть, выглядит как дичь, а с моей вполне логично. И я несколько раз повторял, что изначально это не я настраивал коммутаторы, вы, видимо, это тоже пропустили. Я бы их тоже так не стал настраивать, поверьте. А то, получается, опозорился другой, а виноват я, на меня свалить легче.

Лежат два брата на полянке, видят одно дерево. Один брат говорит "смотри, это дерево кривое". Другой в ответ "нет, оно прямое, просто ты смотришь не с той стороны".

Расклад весь я выкинул в снимках экрана, если нужно будет подробнее, то могу полные снимки настроек выложить.

Как всегда, с большим уважением, Призрак.

[Уваров А.С.]

Уважаемый, вы сами прочитайте всю тему, от начала до конца, вы увидите, что вы только сейчас указали, что vlan не нужны, на виртуальных коммутаторах. А вам не приходит в голову, что я решаю подобную задачу первый раз в жизни, испытывая определённые трудности? Может быть, работодатель мне денег дал на обучение, нет? Видимо, не приходит. Я рад, что мне указывают на недостатки в моих знаниях, но с вашей стороны, извините, это выглядит так грубо, вы тычете меня носом, словно нагадившего котёнка, да так раздражённо.

О том что вы пихаете trunk в access я сказал в сообщении №12 и как мог пояснял вам на пальцах, что именно не так вы делаете. Вы же до последнего сопротивлялись и заявляли что у вас все 100% правильно.

 

Ещё говорите, что я делаю дичь. Да, может быть в ваших глазах и так, но вы же профессионал, вы привыкли всё делать идеально, с вашей стороны, может быть, выглядит как дичь, а с моей вполне логично.

Дичь не в том, что вы делаете что-то не правильно, все мы люди и можем ошибаться. Дичь в том, что вы игнорируете то, что вам говорят и упорно продолжаете делать неправильно. Вам половину этой темы писали, что у вас неверно настроен vSwitch и надо либо убрать с него VLAN, либо кинуть на него транк. А еще раньше советовали просто использовать там только access-порты. Попробовать - минутное дело, но сколько еще времени и сообщений ушло пока вы все таки решили последовать нашим рекомендациям?

[Призрак]

Я писал, что когда я перевожу порты в транк, то начинаются глюки. Гипервизор esxi2 начинает подвисать, на нем начинается долгий поиск. Даже Ival меня предостерёг, спасибо ему. А вот когда я убрал vlan, на виртуальных коммутаторах, вернув access порты, то всё заработало. Ещё раз спасибо.

Где то я уже писал, про свои недостатки. Это можно было тоже понять. В силу некоторых проблем мне сложно сосредоточиться, дело тут вовсе не в тупости, я уже рад тому, что хоть что-то могу сделать.

[Призрак]

В общем, по ряду причин я решил отказаться, от использования гипервизора. Хранилище я поставлю напрямую, на флешку сервера. Я знаю, что мне нужно перевести 4 порты на коммутаторах, в режим access и указать там только 1 VLAN, в самом FreeNAS не нужно будет указывать VLAN, это я уже понял.

Но я заметил одну интересную вещь. Такую, как Link Aggregation, на самой FreeNAS. Нужно ли настроить это на FreeNAS или вообще мне не нужно этого настраивать, так как коммутатор изначально неверно настроен? Я бы так скорость повыше мог сделать, я смотрел ролики, там до 2000 можно поднять. Я бы кинул два интерфейса в failover, которые для управления хранилищем, остальные распределил бы в lasp. Но боюсь опять что нибудь испортить. Что скажете? Там ведь 15-15 16-16 или 15-16 и 15-16, это по портам? Не кидайтесь тапками, я могу настроить всё без этого и забыть. Но хотелось бы, чтобы все сетевые карты были заняты.

[Призрак]

Я конечно не совсем понимаю как вы видите себе подключение. Но у ESXi есть особенность. Она может быть подключена всеми портами в разные физические свичи и эти порты могут быть прибиты к одному vSwitch только когда она находятся в одном широковещательном домене. Т.е. вы делаете NIC Teamig прибиваете к одному vSwitch, распихиваете по разным свичам и порты физических свичей находятся в одном vlan. Если вы хотите использовать транк, то один порт у вас в один физический коммутатор и он активен, а второй порт у вас в другой физический коммутатор и он находится в режиме Failover. Если вы хотите иметь два одновременно работающих транковых порта и хотите чтобы они были активны то они должны быть подключены к одному физическому свичу и на портах физического свича должно быть настроено агрегированием канала с использованием LACP. Как бы я сделал на вашем месте. Я бы объединил 2 порта в тиминг, метод балансировки обязательно Route based on the originating virtual switch port ID. Прибил их к одному vSwitch, без использования vlan. На стороне физических коммутаторов оба порта в режиме access которые смотрят в стороны esxi 4. На стороне esxi2 vmk с использованием такого же vlan

Вот это, пожалуй, верное направление. И хотелось бы узнать побольше, только уже применительно к FreeNAS, которая установлена напрямую, без гипервизора. В этом случае использовать всё - таки коммутатор? Где там всё это настраивается?

Я знаю, что когда я поставлю FreeNAS, то я два интерфейса, которые отвечают за управление, должен буду перевести в access (это два 4 порта, на коммутаторах), так как я не буду использовать больше мульти vlan. Так же мне хотелось узнать, каким образом вот эти порты, 15 и 16, на каждом коммутаторе объединить так, чтобы они давали двойную скорость.

Я знаю, что 4 порты на FreeNAS можно объединить по режиму failover, больше там ничего не нужно, чтобы использовать один ip адрес и быть на связи, в случае если полетит один из коммутаторов. А остальное?

А вот это руководство подойдёт? Сделать если только для 15 и 16 портов. Там vlan надо будет по прежнему указать? А на FreeNAS соответственно надо будет сделать?

https://eu.dlink.com/uk/en/support/faq/switches/layer-2-gigabit/dgs-series/uk_dgs_1510_28_configure_link_aggregation_lacp

[Уваров А.С.]

LACP нужно настраивать с обоих сторон, насчет FreeNAS не скажу, там под капотом FreeBSD, которую я живьем в руках держал очень и очень давно.

Что касается VLAN, то если вы настроили порты как access то трафик из них выходит нетегированный и нигде далее указывать VLAN не нужно.

Единственное что вызывает вопросы, это использование LACP для хранилища, в этом случае производительнее будет MPIO.

И "ведущие собаководы" тоже рекомендуют:

• https://www.starwindsoftware.com/blog/lacp-vs-mpio-on-windows-platform-which-one-is-better-in-terms-of-redundancy-and-speed-in-this-case-2
• https://www.dell.com/support/article/ru-ru/sln155906/рекомендуется-ли-настроить-агрегирование-каналов-на-основе-сети-с-помощью-vmware-iscsi?lang=ru

[Призрак]

Спасибо Вам большое за ответ.

Теперь я установил FreeNAS на флешку, диски все видны, готовлюсь создать массив. Но вот как раз остаются ещё вопросы.

Настройки FreeNAS по сети (естественно, говорю только про iscsi) такие

Code Select Expand

192.168.140.101
192.168.141.101
192.168.142.101
192.168.143.101
Расклад теперь по портам такой, это если смотреть только по iscsi:

Code Select Expand

VLAN 140 access, первый коммутатор, порт 15, идёт на trunk порты 25 (esxi1), 26 (esxi2), 27 (esxi3).
VLAN 141 access, первый коммутатор, порт 16, идёт на trunk порты 25 (esxi1), 26 (esxi2), 27 (esxi3).
VLAN 142 access, второй коммутатор, порт 15, идёт на trunk порты 25 (esxi1), 26 (esxi2), 27 (esxi3).
VLAN 143 access, второй коммутатор, порт 16, идёт на trunk порты 25 (esxi1), 26 (esxi2), 27 (esxi3).
При этом расклад такой, по vmk:

Code Select Expand

vlan140

esxi1 192.168.140.11
esxi2 192.168.140.12
esxi3 192.168.140.13

vlan141

esxi1 192.168.141.11
esxi2 192.168.141.12
esxi3 192.168.141.13

vlan142

esxi1 192.168.142.11
esxi2 192.168.142.12
esxi3 192.168.142.13

vlan143

esxi1 192.168.143.11
esxi2 192.168.143.12
esxi3 192.168.143.13
Всё отзывается отлично, всё доступно, да, я знаю, напорол, наворотил, что поделаешь. Но я хочу, чтобы максимально эффективно работали все адаптеры. Скажу цель, для чего я сию дичь собрал - для того, чтобы эффективно работало максимум адаптеров. Этот сервер больше ни под что не будет использоваться, только под хранилище пока, поэтому я считаю несусветной глупостью оставлять свободные адаптеры. Про LASP я понял, что лучше для виртуализации использовать MPIO. Я про неё прочитал предварительно, можно ли мой расклад использовать под неё? Ведь я прочитал, что MPIO требует, как минимум, четырёх адаптеров с одной и четырёх с другой, как минимум. А у меня же, получается, два порта только на один сетевой адаптер каждого гипервизора.

И ещё бы хотел спросить - для iSCSI мне четыре цели нужно создавать, или все адреса запихать в один? По количеству экстентов? И как в этом случае ассоциировать цели? Тяп ляп я сделать могу, но вот как эффективно это всё провернуть, сказать сложно. Я могу создать отдельно каждый адрес целью (всего четыре), потом их ассоциировать. Но мне важна производительность.