В рубрику "All-over-IP" | К списку рубрик | К списку авторов | К списку публикаций
В результате проведенного опроса с очевидным отрывом лидировал показатель безопасности, однако очевидным явился тот факт, что скорость передачи данных демонстрирует наибольший рост от года к году.
Повышение безопасности и скорости передаваемой информации соответствует всем трендам, которые наблюдаются в области передачи данных.
1. Распространение Big Data:
2. Рост и вариативность IP-сетей:
3. Глобализация и аутсорсинг:
4. Развитие облачных технологий:
Вышеуказанные тренды сопряжены с определенными сложностями, с которыми можно столкнуться при передаче данных.
Корнем всех проблем при передаче данных является использование традиционных подходов, от которого "страдают" практически все индустрии. Большой объем данных и их размер создают проблемы во многих отраслях промышленности:
Даже обычные пользователи ежедневно сталкиваются с данными трудностями, когда, например, хотят скачать файл с удаленного файлового обменника или FTP.
Давайте разберемся, в чем проблема традиционных технологий. На рис. 1 представлена взаимозависимость скорости передачи протоколов, использующих на транспортном уровне протокол TCP, и таких параметров, как время приема-передачи (Round-Trip Time) и процент потери пакетов. Очевидно, что чем дальше друг друга расположены источник и приемник данных, тем медленнее будет передаваться информация. К сожалению, мы не можем одним проводом обернуть Землю, поэтому необходимы пограничные маршрутизаторы и другие промежуточные точки, напрямую влияющие на производительность передачи данных.
Дело в том, что протокол TCP был спроектирован в 1973 г.: перед учеными поставили задачу разработать протокол, который сможет перенести ядерный удар. Требовалось создать протокол, который смог бы безопасно передавать данные. Поэтому при создании TCP основные усилия были направлены на создание механизма именно надежной, а не скоростной передачи. В те годы не было ни мобильных, ни спутниковых сетей, а единственный трансатлантический канал из США в Европу имел скорость 64 Кбит/с, что показывает состояние технологии на тот период. TCP был разработан так, что скорость передачи обратно пропорциональна расстоянию между конечными точками. Кроме того, в случае потери пакетов TCP считает, что канал перегружен, и самостоятельно уменьшает скорость передачи. Производительность TCP снижается с ростом расстояния передачи и из-за низкого качества сети. Чем больше расстояние, тем больше задержка, и тем ниже скорость передачи. Задержку обычно измеряют величиной Round-Trip Time (RTT). Это время, которое потребуется на отправку пакета и получение подтверждения от получателя.
Задержка возникает из-за законов физики, ограничивающих скорость света или электромагнитного сигнала. Например, задержка при передаче по спутниковым сетям может достигать 800 мс. Более того, при передаче на большие расстояния по глобальной сети Интернет (WAN) пакет должен пройти через большое количество маршрутизаторов, прежде чем его получит адресат. Маршрутизатору требуется время на обработку пакета, а если он настроен неправильно или перегружен, может произойти потеря пакета. Чем выше количество потерянных пакетов, тем более затратной по времени становится передача. TCP, безусловно, имеет хорошую производительность в локальных сетях (LAN) относительно доступной пропускной способности сети, но при этом чем больше RTT и потеря пакетов, тем ниже будет производительность передачи.
Производительность протокола TCP также не растет с увеличением канала. Другими словами, если у вас медленная передача на канале в 10 Мбит/c, нет никаких гарантий, что при увеличении канала до 1 Гбит/c скорость вырастет. Конечно, если необходимо передать файл на соседнюю улицу, рост производительности будет заметен, но если стоит задача передать данные на большие расстояния, то увеличение канала до 1 Гбит/c мало чем поможет.
Разумеется, TCP многократно пытались улучшать. Одну из последних реализаций подобного протокола представила корпорация Google, которая переделала механизм работы с окном (изменение размеров окна каждый раз, когда передаются пакеты), но получила повышение производительности лишь на 30% по сравнению с обычными традиционными протоколами, основанными на TCP.
Самой известной альтернативой TCP стали протоколы на базе UDP. Чистый UDP сам по себе – замечательный протокол передачи, однако не до конца эффективный, а самое главное – не предоставляющий гарантии доставки передаваемой информации. Все мы сталкивались с периодическими скачками изображения и артефактами при просмотре трансляции по Интернету – это происходит при потере некоторого количества пакетов при потоковой передаче.
Другими альтернативными подходами к оптимизации передачи данных являются технологии компрессии (Data Compression) и кеширования (Data Caching). Но их нельзя назвать действительно ускоряющими передачу, они ее только оптимизируют. Кеширование можно применять далеко не всегда – когда имеется большое количество одновременных потоков и при этом передаются разные данные, кеширование становится абсолютно бесполезным. Что касается компрессии, то известно, что сейчас очень много информации передается уже в сжатом виде, и никакого явного преимущества мы не получим.
Современные технологии способны повысить скорость передачи, в частности модифицированные UDP-протоколы с дополнительным уровнем надежности на прикладном уровне. Самыми популярными среди них являются Aspera FASP, File Catalyst и Signiant.
Идея этих протоколов заключается в том, чтобы свести к нулю два фактора, которые сильнее всего влияют на деградацию производительности при передаче данных, а именно Round-Trip Time и Packet Loss. Это было достигнуто за счет совершенно нового подхода к тому, как передаются данные, а именно – использования механизма подтверждения. Он заключается в том, что если какой-то пакет теряется при передаче, не нужно ждать подтверждение о том, получен он или потерян, можно приступать сразу к передаче следующего пакета, а потерянный пересылается в процессе, как только появляется некое окно. За счет этого мы можем высчитать теоретическую максимальную скорость, с которой передаются пакеты.
Важнейшими параметрами таких протоколов являются:
Для таких протоколов характерны высокий уровень безопасности, двухфакторная авторизация при возможности передачи, шифрование, автоматическое восстановление передачи при сбое (при тотальном обрыве на сети), а также масштабирование, управление и мониторинг. То есть чем выше ширина канала, тем быстрее нужно передавать данные, отслеживать и мониторить каждый отдельный поток передачи и выдавать по нему детальный итог. Все это достигается благодаря программному обеспечению – наработкам по ускорению, которые ведутся на прикладном уровне. Замечательные команды разработчиков рассчитывают эти алгоритмы и методы ускорения данных или обхода стандартных ограничений, которые накладывают протоколы.
Очень важным фактором для использования таких протоколов является полная независимость от расстояния передачи и размера, количества, формата и типа файлов (шифрованные, компрессионные и др.). Это дает возможность использовать модифицированные UDP-протоколы в совершенно любой топологии (лучевая, кольцевая, точка-точка и т.д.). Фактически надо указать только на источник, откуда нужно забирать данные (файловая система или поток). Если передавать миллион файлов по 1 Мбайт или один файл весом в 1 Тбайт, скорость может меняться, но она будет относительно сравнимой за счет алгоритмов оптимизации передаваемых блоков данных, которые работают на прикладном уровне, а синхронизировать эти процессы можно с помощью приоритизации.
Полностью соответствует трендам и тот факт, что эти технологии можно использовать в локальном дата-центре, в облаке и в гибридном режиме, так как все больше и больше компаний задумываются о том, чтобы часть рабочих нагрузок переносить в облако.
Решение заключается в установке специализированного ПО или скачивании определенного набора библиотек, при работе в клиентском режиме. Для этого достаточно просто зайти на портал, на котором находится средство по ускорению данных. Оно проверяет, стоят ли на компьютере определенные библиотеки, необходимые для инициации и начала трансфера. Если он их не находит, то автоматически предлагает поставить плагин на браузер. Плагин устанавливается, браузер перезапускается и все – можно использовать новые протоколы. Многие организации в России уже успешно применяют данное решение.
Результаты меняются от случая к случаю и зависят от условий передачи: можно достичь ускорения в 2, 10, 30 и даже в тысячи раз. Например, при тестировании видеопотока из Москвы во Владивосток ускорение составило порядка 30–40 раз.
Задержка передачи остается прежней – если Roundtrip Time был 200 мс, он таким и останется, но данные будут передаваться быстрее. Это происходит за счет программной обработки на прикладном уровне и оптимизации самой схемы передачи данных.
К распространенным сценариям применения протоколов по ускорению передачи данных относятся практически все, с которыми можно столкнуться при ежедневной работе с файлами.
Приведем примеры компаний, которые уже успешно используют протоколы по ускорению.
Результаты: сокращение времени передачи в 42 раза, сокращение затрат на сетевую ИТ-инфраструктуру, значительное увеличение операционной эффективности.
Результаты: сокращение времени ряда процессов с 2–3 недель до 2–3 часов.
Результаты: ускорение процесса работы и выведения продукта на рынок. l Leica Biosystems внедряет высокоскоростной протокол в собственное решение по передаче снимков пациентов. Это позволило решить задачу быстрой передачи оцифрованных снимков пациентов (которые могут легко превышать гигабайт памяти) как клиентам, так и медицинским специалистам для улучшения постановки диагнозов. Результаты: быстрая загрузка существенно сокращает время обработки и постановки диагноза, что позволяет значительно улучшить диагностику и уход за пациентами.
Как понять, нужно ли в каком-либо из рабочих процессов использовать высокоскоростные протоколы передачи данных? В этом помогут ответы на шесть вопросов:
Все эти задачи можно решить с помощью современных средств программного обеспечения по ускорению и передаче передаваемых данных и файлов.
Опубликовано: Журнал "Системы безопасности" #1, 2018
Посещений: 9220
Автор
| |||
В рубрику "All-over-IP" | К списку рубрик | К списку авторов | К списку публикаций
