Возможно, самая высокогорная беспроводная сеть в мире. История апгрейда.

С сентября 2016 по январь 2017, я был задействован в проекте модернизации беспроводной сети на руднике Кумтор в качестве инженера. Я упомянул о причастности к данному проекту у себя в intro, и благодаря интересу @heavis пилю данный пост.

Вводная, честно спизжено с Wiki.

Кумтор (кирг. Кумтөр) — крупнейшее высокогорное золоторудное месторождение Центральной Азии, расположенное в Иссык-Кульской области Киргизии на расстоянии 350 км от Бишкека, на 60 км южнее озера Иссык-Куль, в 60 км от границы с Китаем. Расположенный в горной системе Тянь-Шань, на высоте более 4000 метров над уровнем моря, Кумтор является вторым в мире высокогорным золоторудным предприятием, уступая по высоте расположения лишь золоторудному месторождению Янакоча в Перу.

Метка Google Maps. Там есть фоточки и видосы, явно посвежее тех что будут у меня.

Почему в заголовке поста присутствует слово "возможно"? Потому что борт карьера Кумтор находится на высоте 4000 метров, а Янакоча 4100, но я ставил самую высокую базу на 4450, и не знаю есть ли вообще подобное оборудование на месторождении Янакоча и как у них там все сделано.

Дорога

Подъем на рудник происходит от побережья озера Иссык-Куль, поднимаемся на вахтовках-камазах. За 4часа дороги перепад высоты более 3 км. В первый подъем было жутковато.

По пути

Рудник

Немного о том, как происходит добыча открытым способом. Находят место где есть золотосодержащая руда. Делаются технологические отверстия в руде с помощью буров. В отверстия закладывается взрывчатка, все это эпично взрывается. На место взрыва подтягиваются экскаваторы, самосвалы, бульдозеры, грейдеры. Руда грузится и вывозится на фабрику для извлечения золота. Повторить данный цикл до тех пор, пока эффективность добычи не опустится до уровня не окупаемости, а в земле не останется огромная дыра - карьер.

Сверление породы.

Карьер на Кумторе более 1 км глубиной.

Горы, окружающие карьер 5500+ м.

Диспетчеризация и управление добычей

Исторически, диспетчеризация процесса производилась аналоговым способом. Диспетчерская располагалась на склоне горы, выше борта карьера, для лучшего обзора. Там сидели диспетчеры и с помощью биноклей, раций и мата управляли процессом. Экскаваторы получали указание куда ехать раскапывать, самосвалы куда и какому экскаватору ехать загружаться и куда ехать выгружать руду. Точность процесса и параметры добычи можно было измерить только на выходе, по количеству добытого золота.

Но сейчас, у нас есть наше великое #ебаное.ойти и все поменялось кардинально. Диспетчеров на горе нет, и на руднике нет, вообще. Они сидят в базовом лагере в нескольких километрах от рудника в теплой и уютной диспетчерской перед большими мониторами и контролируют процесс. У водителей экскаваторов, самосвалов, бульдозеров и вообще любой техники задействованной в добыче есть сенсорная консоль, через которую водитель получает информацию где копать\грузить\выгружать\итд. Все самосвалы оснащены электронными весами, и администрация рудника в курсе объема добычи руды и благодаря этому можно ставить KPI по добыче.

Все это управляется системой MODULAR, а вся техника - клиенты одной большой беспроводной сети, покрывающей десятки гектаров.

Звучит конечно классно, но рельеф рудника достаточно сильно динамичен. Он изменяется во всех плоскостях. Размер и глубина рудника растет, высота и размер отвалов с переработанной рудой тоже. Чтобы получать точные данные и считать красивые KPI, техника должна находиться в зоне покрытия сети на всем пути, в момент загрузки, перевозки и выгрузки. Чтобы можно было получать аналитику для оптимизации процессов и прочее. Например, если самосвал успешно загрузился, повез руду на отвал, пропал из зоны покрытия, там где-то разгрузился и опять заехал в зону, то весь процесс ломается, ибо мы не знаем сколько времени он там ездил, где конкретно выгрузился, и в какую очередь его теперь ставить и куда ему теперь ехать.

Сеть

Первую версию сети запустили еще до 2005 года на одном из первых беспроводных стандартов 802.11b. И многие годы этого хватало, системе не нужны большие скорости. Хватало до тех пор, пока рудник не начал расти вширь.

Вот это вот промышленная точка доступа Cisco. Ей можно убивать людей, использовать ее как бронежилет, стоять на ней, и еще много чего, она переживет вас и ваших детей.

Вся сеть была построена вот на таких вот точках, но, к сожалению, или к счастью, они стали сильно легаси, их сняли с поддержки еще в 2008 году, и докупить их было нельзя, а с более новыми точками они не дружили в принципе и не умели с ними в роуминг. Поэтому пришлось переделывать вообще всю сеть.

Самый большой "кайф" было искать все эти точки. Внезапно, не было полной сетевой документации и когда я отключил все точки, подключенные по проводу, то в эфир продолжало что-то гадить. Катались на пикапе по руднику со включенным сканером диапазона и искали. Выяснилось, что 4 экскаватора были репитерами. рукалицо

До нас в проект влезла австралийская компания, но они дико облажались, не смогли переключить сеть со старого оборудования на новое, положили сеть на три дня, включили все старое оборудование обратно и уехали.

И тут момент моей профессиональной гордости. Я в одиночку переключил всю сеть, отключив все легаси оборудование и этого никто не заметил. Я три дня мониторил, а потом отчитался об успешной имплементации.

По итогу, ~80% проекта сделано моими руками и мозгами. KPI системы электронной системы диспетчеризации поднялся с ~90% до ~99.5% - самый высокий показатель за всю историю рудника, до меня, во всяком случае.

По факту, на руднике 2 беспроводных сети. Большая часть базовых станций подключены через медь или оптику. Но около 30% базовых станций и MAP соединяются через 5GHZ мосты (круглые антенны на фото). А раздача идет через секторные или омни антенны на 2.4 GHZ.

Оборудование - Ubiquiti точки доступа, мосты и антенны. Клиенты все были на Mikrotik. Коммутация вся на промышленных Planet.

Тестирование беспроводного моста перед установкой, очень скоро элементы разъедутся на километры друг от друга.

Базухи выглядят вот так. Как отдельно стоящий сельский туалет, к которому на треногах (вечная мерзлота) протянут кабель. Либо используем служебные строения.

В процессе сбора.

Совсем удаленные базовые станции - просто шест с подпорками. Вот тут я не иллюзорно рисковал быть сожранным. Там водятся волки, и были нападения на людей, и одному находится за пределами рудника нельзя.

Напарник побоялся остаться со мной стоя на земле, сидел в машине, зато вид хороший.

MAP

Рельеф рудника настолько динамичен, что за сутки могут насыпать отвал, который закроет видимость с базовой станцией и сигнал будет пропадать на каком-либо участке. Плюс сюда добавляем зоны новой разработки, где базуху еще не успели построить. И это тоже надо как-то закрывать.

И тут на сцену выходит MAP(Mobile Access Point) - боль дырка моей задница, как сказал бы Борат. Все потому, что их надо часто перетаскивать с места на место, а на это уходит много времени. Так же, взрывные работы проводятся минимум раз в сутки, и это тоже влияет на перемещение, надо увозить и потом опять привозить.

По сути, МАР это кустарное решение, состоящие из автомобильного прицепа, солнечных батарей, контроллера заряда и гелевых аккумуляторов. Заряда спокойно хватало на темное время суток, даже зимой, даже в -40.

По итогу, меня дико заебало таскать MAPы с места на место, и я переделал их в "базовые" станции затащив на склоны гор вокруг карьера.

Моя довольная рожа, после того как я затащил MAP на 4450м и там же его и оставил.

Техника

Образцы техники, на фото если нет рядом людей, сложно понять реальные размеры. Экскаватор с ~три этажа высотой, например.

Кладбище старой техники.

Основные средства перемещения.

Условия работы.

Рудник не останавливается, вообще. Нет выходных, нет праздников, вообще. Смены по 12 часов с 6 утра до 6 вечера. Мы, как подрядчики работали с 7 до 7. Это реально чертов день сурка. Изначально должны были быть смены по 2 недели, но потом мой сменщик заболел, и самое долгое я провел там 1,5 месяца. Думал кукуха уедет, без выходных, 1,5 месяца, по 12 часов в день.

Я встретил там новый год, с полуночи до часу ночи была остановка работ один час, отпраздновать и покушать празднично, и то, еду прямо на стоянки техники подвезли, на этом все.

Базовый лагерь. В длину более километра.

Закаты были просто шикарные.

Основное рабочее место.

А вы писали в таск трекере что у вас отвалилась связь на участке, потому что у вас ЛИСА КАБЕЛЬ СОЖРАЛА?! Я вот писал, да. Их тут реально много. Их запрещено кормить, но это мало кого останавливает.

Жил в очень хороших условиях, просто, очень тепло и вкусно. Столовая, по принципу шведского стола, работала с 4 до 8 утра и так же вечером, поесть можно было 2 раза в сутки. Поскольку, работа и условия реально тяжелые, надо было прямо ЖРАТ!

Это было холодно, иногда очень холодно, до -40 и ветер. Каску несколько раз срывало ветром и уносило. Перчатки только в 2 слоя. Можно было зайти в подсобку и выходить из нее пиная дверь - замело снегом.

А еще, это было очень сухо. Сухой ветер и воздух. Трескались губы, трескались руки, их постоянно приходилось мазать кремом и медицинским вазелином, его выдавали. По утрам из носа текла кровь, ибо слизистая в носу за ночь высыхала и трескалась.

Итог

Несмотря на то, что это было почти 5 лет назад, это всегда будет одним из ярчайших моментов в карьере и одним из самых интересных проектов. Именно тогда я понял, что прямо МОГУ, прямо по-взрослому, сделать проект Enterprise уровня, во многом практически в соло и не облажаться.

Поскольку, я был не просто субподрядчиком, а суб-субподрядчиком, то долетело до меня прямо смешное количество денег, менее 10% от сметы проекта, что подтолкнуло меня к открытию своего небольшого бизнеса в инфраструктуре, чем я и занимался последние 5 лет, до того, как в моей стране не произошла очередная революция и рынок умер.

Я все еще живу в Кыргызстане, но очень хочу релокейт и активно ищу работу в EU и западнее. Буду рад любой возможности и помощи в этом. LinkedIn