Сегодня роскомнадзор начал кошмарить твиттер. У меня точно шейпятся abs.twimg.com и pbs.twimg.com. На первом лежат твиттерские js-бандлы, на втором - медиа.
Анонс от РКН по теме: Роскомнадзор - Роскомнадзор принял меры по защите российских граждан от влияния противоправного контента
10.03.2021 примерно с 10:00 Роскомнадзор начал замедлять работу Twitter, в частности доменов abs.twimg.com, pbs.twimg.com, video.twimg.com, t.co, которые используются для загрузки картинок, видео и служебных скриптов сервиса.
Ограничение скорости был реализовано некорректно: поиск домена проводился по подстроке, что приводило к замедлению любых доменов, в которых содержится t.co (microsoft.com, reddit.com). Ошибка была исправлена примерно в 11:30 11.03.2021 по московскому времени.
Наиболее подробно и точно о ситуации написал РБК: Эксперты поспорили о проблемах с доступом к RT из-за мер по Twitter :: Технологии и медиа :: РБК
А также, спустя месяц, Медуза: Роскомнадзор успешно замедляет твиттер. Американские исследователи объяснили, как у него это получилось Они даже нашли небольшую лазейку для пользователей — жаль, что она им вряд ли поможет — Meduza
Обойти ограничение скорости возможно без использования VPN и прокси, программами GoodbyeDPI и zapret.
For English-speaking users, net4people has a good summary of the events.
Throttling of Twitter in Russia Report by Censored Planet
Очень интересно как именно они это осуществляют, пинги у меня до pbs.twimg.com в норме, и какое-то время не смотря на медленную загрузку картинок через браузер, curl качал картинки моментально. Сейчас же и с curl всё плохо.
▲ ~ curl -Lo /dev/null -skw "\ntime_connect: %{time_connect}s\ntime_namelookup: %{time_namelookup}s\ntime_pretransfer: %{time_pretransfer}\ntime_starttransfer: %{time_starttransfer}s\ntime_redirect: %{time_redirect}s\ntime_total: %{time_total}s\n\n" https://abs.twimg.com/responsive-web/client-web/main.ba59e0f5.js
time_connect: 0.109328s
time_namelookup: 0.014423s
time_pretransfer: 0.316707
time_starttransfer: 0.413606s
time_redirect: 0.000000s
time_total: 82.467500s
Смогу протестировать доступность и скорость через час.
Подтверждаю: скорость замедлена примерно до 128 кбит/с. Провайдер OBIT, Санкт-Петербург. Трафик идёт транзитом через retn.
Видео с video.twimg.com грузятся примерно с burst 512 kbps, speed 64 kbps.
Game Service, Красноярск, магистральный - TTK, так же около 128 кбит/с. Надо бы посмотреть, не порезали ли еще чего акамаевского между делом.
Ростелеком, Екатеринбург. 12.8 KB/s (kilobytes per second).
Как пояснил РБК источник в одном из крупных интернет-провайдеров, Роскомнадзор может самостоятельно ограничить скорость доступа к Twitter через оборудование, установленное на сетях операторов в рамках так называемого закона «о суверенном Рунете».
Провайдер «ЭР-Телеком Холдинг» сообщил, что ограничение скорости работы Twitter в России технически реализуемо. В компании подтвердили, что это может быть осуществлено независимо от операторов связи. «К сожалению, это влияет на качество предоставляемых пользователям услуг. В случае с Twitter могут незагружаться изображения или видеоконтент», — пояснили в «ЭР-Телеком Холдинг».
Может, какие-нибудь хитрости, что “шейпим все, если обращался на abs, шейпим 50%, если нет”?
Ну и с учетом того, что это РКН, можно ожидать, что 50% - это “есть два стула, мы пошейпили один”.
Алсо, МГТС, Москва, твиттер работает как работал и через приложение на мобилках, и через сайт на десктопе.
Ртк, Смоленск, магистральный — 128 кбит/с.
Итак, ограничение скорости осуществляется по именам доменов, через DPI. Причем не только доменов twitter непосредственно, но и CNAME-имен Akamai.
В частности, замедление видеоконтента наблюдается на video.twimg.com, eip-ntt.video.twimg.com.akahost.net, video.twimg.com.eip.akadns.net, но не на более технических доменах, таких как cs531.wpc.edgecastcdn.net.
При обращении к IP-адресу напрямую, без SNI, скорость высокая.
Пассивный обход DPI помогает обходить замедление (использую nfqws).
Также шейпят релизы Github (домен github-releases.githubusercontent.com). По домену. Это не техническая ошибка.
https://habr.com/ru/news/t/546280/#comment_22785976
Подтверждаю: низкая скорость вызвана этим новым ограничением Роскомнадзора. Это не ошибка, это намеренное ограничение конкретно домена github (github-releases.githubusercontent.com).
Как удостовериться:1.Добавьте в hosts
185.199.108.154 govno.com 185.199.108.154 github-releases.githubusercontent.com(это один из оригинальных IP-адресов github-releases.githubusercontent.com)
- Через curl выплоните:
curl -o /dev/null -v -L https://github.com/docker/compose/releases/download/1.28.5/docker-compose-Linux-x86_64— низкая скоростьВ консоли увидите перенаправление на домен github-releases.githubusercontent.com по длинной ссылке. У меня она следующая:
https://github-releases.githubusercontent.com/15045751/63484f00-781d-11eb-826a-890a00f7d1e5?X-Amz-Algorithm=AWS4-HMAC-SHA256&X-Amz-Credential=AKIAIWNJYAX4CSVEH53A%2F20210310%2Fus-east-1%2Fs3%2Faws4_request&X-Amz-Date=20210310T091425Z&X-Amz-Expires=300&X-Amz-Signature=18d355b70d3eb3ce2daf66bd357dd5074afa215dd48686f17142ff30cf4efbd0&X-Amz-SignedHeaders=host&actor_id=0&key_id=0&repo_id=15045751&response-content-disposition=attachment%3B%20filename%3Ddocker-compose-Linux-x86_64&response-content-type=application%2Foctet-streamПопробуйте её скачать — качается медленно.
Теперь замените в ссылке github-releases.githubusercontent.com на govno.com — качается быстро.curl -o /dev/null -H “Host: github-releases.githubusercontent.com” -k -vL ‘https://govno.com/15045751/63484f00-781d-11eb-826a-890a00f7d1e5?X-Amz-Algorithm=AWS4-HMAC-SHA256&X-Amz-Credential=AKIAIWNJYAX4CSVEH53A%2F20210310%2Fus-east-1%2Fs3%2Faws4_request&X-Amz-Date=20210310T091425Z&X-Amz-Expires=300&X-Amz-Signature=18d355b70d3eb3ce2daf66bd357dd5074afa215dd48686f17142ff30cf4efbd0&X-Amz-SignedHeaders=host&actor_id=0&key_id=0&repo_id=15045751&response-content-disposition=attachment%3B%20filename%3Ddocker-compose-Linux-x86_64&response-content-type=application%2Foctet-stream’
Ограничение по конкретному домену. Это не ошибка.
Похоже, отключили шейпер вообще. И гитхаб быстро грузит, и видео с твиттера на полной скорости грузится.
Пока еще ограничение было, успел засечь такую картинку.
тестировал на
https://video.twimg.com/ext_tw_video/1241417690197131264/pu/vid/12000/15000/640x360/X4VMbImfbf7u-drH.ts
https://github.com/docker/compose/releases/download/1.28.5/docker-compose-Linux-x86_64
sknt - суверенного DPI нет - все быстро
RT - туда еще не успели поставить суверенный - все быстро
tiera - суверенный DPI - твиттер быстро, гитхаб от 2 до 10 кб/с
nfqws проверить не успел. вскоре шейпер выключили
У меня abs.twimg.com все еще режут:
time_connect: 0.230977s
time_namelookup: 0.130364s
time_pretransfer: 0.441102
time_starttransfer: 0.543505s
time_redirect: 0.000000s
time_total: 80.341080s
pbs - аналогично
▲ ~ curl -Lo /dev/null -skw "\ntime_connect: %{time_connect}s\ntime_namelookup: %{time_namelookup}s\ntime_pretransfer: %{time_pretransfer}\ntime_starttransfer: %{time_starttransfer}s\ntime_redirect: %{time_redirect}s\ntime_total: %{time_total}s\n\n" https://pbs.twimg.com/media/EwHAmncXIAMgPJy\?format\=jpg\&name\=small
time_connect: 0.097993s
time_namelookup: 0.024220s
time_pretransfer: 0.253719
time_starttransfer: 0.329501s
time_redirect: 0.000000s
time_total: 3.947705s
Еще снова режутся релизы гитхаба, 117 кбит/с
pbs
time_connect: 0.042448s
time_namelookup: 0.022455s
time_pretransfer: 0.101030
time_starttransfer: 0.122412s
time_redirect: 0.000000s
time_total: 7.648320s
видео качаются на скорости 8kb/s
Ага, включили заново. Github опять замедляется.
Записываю наглядное видео.
У меня помимо github-releases.githubusercontent.com судя по всему режется ВЕСЬ *.githubusercontent.com, включая картинки, аватарки и файлы из гистов.
▲ ~ curl -Lo /dev/null -skw "\ntime_connect: %{time_connect}s\ntime_namelookup: %{time_namelookup}s\ntime_pretransfer: %{time_pretransfer}\ntime_starttransfer: %{time_starttransfer}s\ntime_redirect: %{time_redirect}s\ntime_total: %{time_total}s\n\n" https://gist.githubusercontent.com/brettlangdon/85942af486eb79118467/raw/2a7409cd3c26a90b2e82bdc40dc7db18b92b3517/01151_inthedeep_2560x1600.jpg
time_connect: 0.109184s
time_namelookup: 0.017873s
time_pretransfer: 0.295267
time_starttransfer: 0.492951s
time_redirect: 0.000000s
time_total: 58.627166s
time_connect: 0.082141s
time_namelookup: 0.041076s
time_pretransfer: 0.175151
time_starttransfer: 0.448990s
time_redirect: 0.000000s
time_total: 63.107377sДействительно.
nfqws с --dpi-desync=fake помогает от суверенной блокировки сайтов, но не помогает от шейпинга
зато
nfqws с --dpi-desync=fake,split2 помогает и от того, и от другого
провайдер tiera
Подтверждаю: на моём провайдере zapret и GoodbyeDPI не могут обойти блокировки сайтов, но обходят ограничение скорости.
С определенной долей уверенности это говоорит о наличии разного оборудования DPI на пути пакетов.
На заметку: TTL быстрых и замедленных пакетов одинаков.
Ещё потенциально может быть интересно проверить, что будет если послать тот же SNI на свой сервер (т.е. на сервер не в подсетях Twitter, а других). На сервере можно поднять NAT в сторону твиттера или socat’ом проксю. Если трафик будет троттлиться - можно будет увидеть, что происходит в pcap на другой стороне соединения и, возможно, что-то из этого понять. А если не будет - то Твиттер получает тривиальную конструкцию для убегания всем миром 
Валдик совершенно прав. Блокировка идет по SNI
Прописал в hosts github-releases.githubusercontent.com на IP своего VPS
Создал там файл на 100 mb. Дернул по https через curl -k (игнорировать сертификат)
Медленно. С разбиением запроса через nfqws - быстро
Прикольный артефакт. Запишешь pcap с обоих сторон “хорошей” и “плохой” сессии? Ну не 100 MiB, наверное, поменьше… Хватит ли мегабайта-двух для наблюдения эффекта?
Красноярск, Orion Telecom через магистальщика ertelecom аналогично режет gist.githubusercontent.com
Я провёл больше тестов. Сообщаю вам первым. Сравнение доменов происходит по подстроке, и блокируется строка “t.co” (короткий домен твиттера)
Любой домен, содержащий в каком-либо месте в названии домена строку t.co, замедляется.
У Github домен, на котором видно замедление — http://githubusercontent.com
githubusercontent.com
жесть
Проверил: замедляются rt.com, reddit.com, microsoft.com.
Иконки у предлагаемых приложений в Microsoft Store выглядят примерно вот так, через несколько секунд они подгружаются
Сам Store тоже работает медленнно
упд: шейпер работает, хром сообщает что образ винды скачается через 5 дней
Сделал наглядное сравнение. Ситуация дерьмовая 
ОС windows 10, последняя версия chrome, провайдер мегафон северозапад, LTE.
С замедлением
Без замедления
googleusercontent.com…
wget https://lh3.googleusercontent.com/86arOE_jc_FYR6_mPbeXrzWB4LwvgCRWPGXbbftgG4_zAjY05ajbmq3xiG0Xc_uYCoTccikGvLdo5WIlofH5pmySn1VRejqngh2pwDLquiLJYayCOJKUrZKFnOwmSxKzQqqOM1y5o42TPk6LYR1vbPjrEPx3dQIUEwS4IPRjzt3JdPZT32TkqCECm-PoQtsBAPnyN6g46PbiyD9fblgzuBcT2xuO1AaZgOkR53bom8ATCBkDgcYT_mnsxWuxLGp6cNFUR4lWBFKyYkYJWJY--KmIVCWDDoJ3SxwjimGjwRG-X2Qu3AP4wa6tRazHuBo3a8IOofm6f5arSRdpVy4AaXoacTPz8TSkcofA0YaIttHpek1Gi5v1yMSbi5mHV6Mfv4lyczXPp8c5iNR7IFPvgMz1BiCETTxNwSvDjb2JCN94_256Fzejrs-Dk-kMYeCCYQh2Zd_lt9xiEQDgZ5gufdpxxM9xDiP447vrOqKbBMcAS_6hu43EwRi97ILAhBpS3QLP-4WhKf4GHauWqML_EcBvhszB-6T1iGeCWvpAT9jZVDVgekalBvLZiZNoy5Ow9QlnHA=w1827-h711-no
=> 15 КБ/с
@ValdikSS я уже написал на хабре, напишу и здесь. Проверял на домру и теле2. На первом все ок, но на теле2 режет, причем обходится сменой SNI.
Из интересного: обычные блокировки не обходятся добавлением точки, а обрезка скорости обходится. Плюс, я тут прочитал, что блочатся все сайты с “t.co”. Учитывая все это, мне кажется, что централизовано поставили DPI где-то на границе, ведь обычно провайдерам даются определенные списки доменов, а тут такое ощущение, что тупо grep’ом сделано.
У крупных провайдеров уже стоят ТСПУ (на базе EcoDPI) от РКН.
То, что goodbyedpi/zapret/добавление точки обходит ограничение, но не блокировки, с определенной долей уверенности говорит о наличии разного оборудования DPI на пути пакетов. Т.е. один может быть провайдерский (блокирующий), а другой — Роскомнадзоровский («суверенный», rdp ru), где-то дальше на магистрали. Такое встречается, это не нетипичная ситуация, но всё равно.
История про .*t.co.* вместо ^t.co$ напомнила мне про spec/techniques at master · ooni/spec · GitHub
Возможно, если в техниках поковыряться – можно ещё какие-то интересные гипотезы для проверки найти.
И все же я бы предложил провести тест, чтобы понять, где именно стоят DPI, реализующие новые блокировки. Для этого надо взять какой-нибудь сайт без “t.co”. Потом отправить ему пакет с определенным низким ttl. В sni этого пакета указать “t.co”. Далее необходимо начать нормальный обмен данными с этим сайтом на том же сокете, измеряя при этом скорость. Алгоритм повторять увеличивая значение ttl до тех пор, пока не станет резаться скорость. В этом случае пакет дойдет до фильтра и вся сессия пометиться, что ее надо блокировать.
Можно нагрепать ещё кучу домендов на:
- Forward DNS (FDNS) | Rapid7 Open Data
- http://s3-us-west-1.amazonaws.com/umbrella-static/top-1m.csv.zip
- Cisco Umbrella 1 Million - Cisco Umbrella
- https://majestic.com/reports/majestic-million
Возможно, там найдётся что-то пожирнее rt.com.
Сайты с t.co, отсортированы по популярности.
Из наиболее популярных в РФ:
pinterest.com
microsoft.com
blogspot.com
reddit.com
snapchat.com
googleusercontent.com (специальный домен для раздачи различных файлов от Google, вкл. медиа)
deviantart.com
beget.com (российский хостер Бегет)
appspot.com (домены сервиса Google App Engine)
Также vc.ru сообщает, что под ограничение скорости попадает домен steam *.steamcontent.com.
9,pinterest.com,84
10,microsoft.com,82
18,enable-javascript.com,79
48,blogspot.com,75
60,bluehost.com,72
71,mydomaincontact.com,70
72,reddit.com,70
78,namebright.com,70
79,dreamhost.com,70
84,t.co,69
112,akismet.com,
140,trustpilot.com,
159,dynadot.com,
193,constantcontact.com,
245,hubspot.com,
247,cointernet.com.co,
254,getpocket.com,
256,washingtonpost.com,
286,opencart.com,
301,sciencedirect.com,
314,shinystat.com,
318,huffingtonpost.com,
351,snapchat.com,
352,proofpoint.com,
354,googleusercontent.com,
389,pinterest.co.uk,
434,cnet.com,
463,format.com,
472,cookiebot.com,
486,onetrust.com,
495,independent.co.uk,
504,ewebdevelopment.com,
526,matterport.com,
532,deviantart.com,
537,indiamart.com,
538,blogspot.co.uk,
542,quantcast.com,
578,ft.com,
579,angieslist.com,
584,blogspot.com.es,
585,mapquest.com,
591,xinhuanet.com,
610,sharepoint.com,
615,swsoft.com,
670,walmart.com,
693,marriott.com,
695,cdnbest.com,
716,justhost.com,
727,beget.com,
767,aparat.com,
781,about.com,
785,appspot.com,
786,carecredit.com,
788,zdnet.com,
831,cookieconsent.com,
843,vistaprint.com,
854,redhat.com,
887,economist.com,
911,photobucket.com,
942,venturebeat.com,
987,childnet.com,
996,providesupport.com,
1061,domainmarket.com,
1063,lbpicmt.com,
1064,pardot.com,
1088,target.com,
1089,netcraft.com,
1127,yoast.com,
1128,hotmart.com,
1144,shieldbreakfast.com,
1159,wolt.com,
1163,nypost.com,
1167,allaboutdnt.com,
1172,projectrockit.com.au,
1174,geotrust.com,
1233,huffpost.com,
1238,engadget.com,
1251,theknot.com,
1294,cvent.com,
1318,pinterest.com.au,
1319,zibbet.com,
1323,themezhut.com,
1324,b-eat.co.uk,
1325,just-eat.com,
1353,att.com,
1384,talabat.com,
1408,facebookblueprint.com,
1417,mimecast.com,
1508,toreta-takeout.com,
1544,tencent.com,
1594,techtarget.com,
1613,adjust.com,
1660,intuit.com,
1696,producthunt.com,
1723,thelancet.com,
1731,semalt.com,
1736,dropboxusercontent.com,
1740,githubusercontent.com,
1747,provenexpert.com,
1776,pixieset.com,
Источник: Top 1 Million Domains - DomainRank
Вот айфоноводы удивятся
Steam
cache-domains/steam.txt at master · uklans/cache-domains (github.com)
*.steamcontent.com
clientconfig.akamai.steamtransparent.com
Это делается средствами nfqws
nfqws --qnum=200 --debug --dpi-desync=fake --dpi-desync-ttl=5 --dpi-desync-fake-tls=/tmp/x/microsoft.sni.bin
провайдер tiera
Обращаюсь к незаблокированному сайту без t.co. Скачиваю файл 50 мб. Скорость норм.
Запускаю nfqws. Скорость медленная.
Уменьшаю TTL до 4. Скорость нормальная.
На 5 хопе находится суверенный DPI. Мой обычный обход блокировок работает с ttl=5.
Значит замедление выполняется на том же девайсе или девайсе с тем же хопом
TLS client hello 517 байт от microsoft.com дампануто через wireshark и записано в файл
Если сделать наоборот. То есть взять сайт с t.co, подсунуть tls client hello без t.co (вариант fake по умолчанию), то скорость все равно медленная.
Следовательно логично предположить, что DPI мониторит всю сессию или по крайней мере не только первый запрос на предмет TLS ClientHello, и если видит совпадение по правилу, то включает TCB (TCP Control Block) в замедление
Сплита TLS ClientHello достаточно, чтобы триггер замедления не сработал
dropboxusercontent.com
Из комментариев на TJ: TJ
Ростелеком с игровым тарифом 800 Мбит/c: после запуска h2load на http://microsoft.com у половины города начинает лагать интернет
сразу после этого все начинает работать как обычно (быстро), наверное ТСПУ уходи в байпас
https://twitter.com/dimon49468174/status/1369665878762156033
Всё таки сэкономили черти 
DigiCert CRL & OCSP
На двух каналах в Санкт-Петербурге ТСПУ настроен так, как будто стоит сразу за клиентом, на первом хопе. Т.е. я запускаю GoodbyeDPI с ttl=2, и шейпер обходится.
Я уже здесь где-то писал об этом.
Грепнул список траффистых доменов и сабов, ситуация рука-лицо
На всякий случай документирую: у меня всё ещё (20:21 10.03.2021 МСК) ничего не исправлено, загрузка rt.com происходит со скоростью 128 кбит/с.
Рекомендованная схема установки ТСПУ на сети операторов связи - в разрыв аплинковых интерфейсов BNG/BRAS
В копилку yt3.ggpht.com, у ютуба там картинки. По 19 секунд грузятся.
Протестировал картинку с твиттера на всех российских серверах ping-admin — замедления не вижу.
Тем временем, на моём домашнем подключении оно сохраняется (для всех доменов, содержащих t co). У меня загрузка картинки занимает 20 секунд.
Пытаюсь разобраться в теме, а как вы подключаетесь напрямую по IP по HTTPS?
Миссклик был)
Почти все сегодняшние тесты делал через curl. Он имеет опцию --resolve, которая присваивает IP-адрес любому домену, позволяя таким образом использовать домен в TLS SNI.
Также можно просто передавать верный заголовок Host, а в адресе указывать IP.
Выше в видео есть примеры, посмотрите.
извеняюсь, но я правильно понял что по стандарту TLS SNI клиент явно передает домен при начале TLS соединения и именно момент TLS соединения замедляет РКН?
Правильно.
Замедляется вся TCP-сессия (все дальнейшие пакеты в пределах сессии).
Вот тут конкретно не могу понять, что происходит, как идёт подключение без SNI, вообще без шифрования?
И блокировка сторонних доменов может быть вызвана неправильно настроенным DPI?
Оно идёт со SNI, на самом деле (я немного соврал). В SNI в этом случае передаётся не домен, а IP-адрес: 192.229.220.133.
- Устанавливается TLS-подключение, в ClientHello SNI передаётся 192.229.220.133.
- Сервер отвечает каким-то сертификатом, неважно каким. curl игнорирует его проверку (опция
-k) - Внутри TLS-сессии, в HTTP-запросе передается правильный домен (
Host: video.twimg.com).
Итого — DPI видит только IP-адрес в SNI, а сервер на этом IP-адресе видит корректный домен в HTTP-запросе.
Мегафон 4G — замедление любых доменов t co есть прямо сейчас, как минимум, в Московской области.
Ростелеком Самарская обл. — замедления нет.
Ростелеком Пермский край перестал замедлять все сайты по маске *t.co*, остался только твиттер.
В Питере тоже наблюдаю дурь с *t.co* на мобильном Мегафоне.
Пару-тройку раз сравнил скорости скачивания одного и того же файла с одного и того же сервера по двум разным DNS-именам:
- https://foot.code.wafl.darkk.net.ru/10M - скачивается где-то пять минут
- https://wafl.darkk.net.ru/10M - скачивается единицы секунд
Справедливости ради отмечу, что в текущую секунду проблема не повсеместная, я потыкал свои старые пробники на домашних подключениямх у десятка разных провайдеров в тройке регионов – нигде не заметил замедления, кроме как на пробнике у @ValdikSS
Нашел вот такой сервис, по его версии по маске t.co попало под фильтр почти 3млн доменов.
https://index.woorank.com/en/reviews?url=t.co
Хорошая находка, но интересуют конечно же RU-владельцы (https://index.woorank.com/en/reviews?countries=RU&url=t.co)
Вдохновился идеей Здольникова и сделал чуть более методологически корректный тест в браузере: https://speed.gulag.link/
Исходники и собранный с помощью дорогого коллеги бинарь живут на GitHub - darkk/ru-twi-ndt7: Rapid test for *t.co* throttling Используются домены speed.gulag.link и t.co.speed.gulag.link. Сервер крутится на минимальном Startdust-инстансе в Scaleway, т.е. больше 100 мегабит он не выдаст никогда, но для детекта разницы между одним мегабитом и десятью – сойдёт.
Так, для полноты картины опишу свою модель понимания.
Соединение происходит по следующей схеме:
- Я пишу в строку браузера URL
- Моя система знает IP DNS и передает на него запрос ip сервера под нужным мне доменом, dns возвращает мне нужный ip
- Я зная ip сервера отравляю TCP пакет, в котором данные о типе шифрования
3.1 Если на ip один домен, то он сразу дает мне сертификат
3.2 Если на ip много доменов то я в TCP включаю SNI, чтобы сервер вернул нужный сертификат. - Я сверяю домен и сертификат.
- Обмениваемся ключами с сервером
- Отправляю шифрованный http запрос
Если я правильно понял схему, то вопрос, зачем в SNI передавать IP? Мы же игнорируем проверку сертификата, следовательно, можно любую тарабарщину передавать и соединяться, при этом DPI РКН не увидит домена в SNI, а в http тем более, так как он зашифрован в TLS
Не совсем. SNI передается современными браузерами всегда, и уже на его основе сервер выдает нам сертификат. Курлом в SNI передается IP чисто потому что курл всегда передает хост в SNI, айпи нужен чтобы в SNI не попал оригинальный домен и сессия не зашейпилась. В дальнейшем уже в HTTP-хедерах передается хост, чтобы конечный веб-сервер верно определил на какой vhost ему пришел запрос, SNI для этого не используется.
Подсказали простое решение для iOS, которое обходит шейпер: Cloudflare-овский 1.1.1.1 + WARP
tiera SPB
9:55 11.03.2021
все по старому. замедление на github user content, на microsoft, reddit
на твиттер по прежнему быстро. страницы и видео без проблем
Немного личных наблюдений:
-
http с
t.coв хосте не шейпится, только SSL шейпится! -
tco(без точки) не шейпится - Судя по всему, ВСЕ урлы выбираются регуляркой, просто на остальных это не так заметно (вряд ли у кого-то в домене случайно затесается
pbs.twimg.com). Проверял на поддомене видаpbs.twimg.com.my.own.domain. Надо посмотреть, к каким еще достаточно коротким доменам у РКН есть претензии
ValdikSS, вы уже знаменитость
Я предполагаю их правило примерно как слева, понятное дело сложнее, и включены еще другие домены, но выглядит как тривиальная ошибка регулярки и игнорирование предварительных правил тестирования.
Ради интереса, проверял ли кто-нибудь домены *t.co* через QUIC, т.е. UDP?
Кажется, шейпится и простой HTTP, без SSL:
curl -Lo /dev/null -v http://a.t.co.kanamori.loweffort.media/100MB.bin -k -H "Host: a.t.co.kanamori.loweffort.media"
15 КБ/с
точка в regexp это любой символ. пустой символ к точке не относится, поэтому tco не подпадает под t.co. подпадает toco, например. проверил на grep -E
У меня на доменах вроде “taco” не шейпит:
curl -Lo /dev/null -v https://taco.kanamori.loweffort.media/100MB.bin -k
2-3 МБ/с
При этом,
curl -Lo /dev/null -v https://t.co.kanamori.loweffort.media/100MB.bin -k
15 КБ/с
Nope
Да, я тоже шейпинга на taco не наблюдал. Собственно, оттуда и имя файла https://speed.gulag.link/taco.js и потому в заголовке *t.co* в стиле unix glob, а не regexp
Они могут видеть только домен. После / - не могут
Да, я понимаю. Я про натужную попытку пошутить в имени файла, не более
У меня перестало шейпить адреса, содержащие заблокированные домены.
В тесте от @darkk всё ок, на моих собственных поддоменах - аналогично
$ curl -Lo /dev/null -v https://pbs.twimg.com.kanamori.loweffort.media/100MB.bin -k
$ curl -Lo /dev/null -v https://t.co.kanamori.loweffort.media/100MB.bin -k
Оба выдают полную скорость
Да. В околопровайдерском чате пишут, что около 11 утра по Москве перестала тормозилка тормозить ковровыми бомбардировками по *t.co* и осталась только на твиттере. Можно по логам ndt7 попробовать понять, во сколько именно.
UPD: по логам speed.gulag.link: где-то между 11:20 и 11:30 по Москве процесс сошёлся: тормозить стали не ≈10…20% запросов а ≈0.5%
На моём провайдере тоже.
в ТТК скорость норм стала, твиттер тоже грузится шустрее, чем вчера, видео в лент хорошо подгружаются, только если по картинкам нажать увеличить, они долго грузятся.
Подтверждаю. У меня до 10:30 на теле2 фильтрация работала точно. Сейчас проверил, все ок, режется только твиттер. Но факт того, что они исправляли такой косяк, уложивший много популярных сайтов, целые сутки, это просто пипец конечно.
@darkk Наверное, нужно как-то более явно на странице указать, что страничка не покажет, замедлен ли сам твиттер, только другие домены с t.co в адресе. А то вот:
Полностью согласен. Там сейчас вот так:
К сожалению, у меня вчера в ночи не хватило сил сделать “аккуратно” и “красиво” и на скриншоты уже растащили то, что растащили. Да, я сделал шаг вперёд относительно прибора Здольникова, т.к. с некоторых моих точек доступа прибор Владислава давал совершенно бессмысленные показания. Но по факту – не очень далеко ушёл-то 
Да, тут их кот наплакал к сожалению…
Найти бы где-то более полную текстовую базу доменов…
Вечером после работы попробую сделать штуку, которая замеряет именно скорость твиттера
Так 15 гигабайт пожатого json’а от Rapid7 точно не хватает для поиска доменов? Ссылка же выше: Замедление Twitter в России - #38 by darkk
Собрал на коленке страничку, которая проверяет замедлен ли непосредственно твиттер: Is my Twitter slow or what?
Ссылка на гитхаб там же
Предлагаю добавить тот же файл хотя бы с другого сервера по https. Ну чтоб отсечь клиентов из подвала. И хорошо бы ещё IP клиента (хотя бы с точностью до первых трёх октетов), чтоб по скриншотам было понятно, что за провайдер.
И в идеале это замариновать в лог на сервер, чтоб было ясно, куда и насколько замедлялся выехала.
С айпи проблема в том, что у странички нет бекенда. Файл с другого источника сейчас добавлю. По поводу лога - надо подумать где эти логи хранить (у странички все еще нет бекенда)
@libneko, посмотри как я беру IP с RIPEstat в первых строчках https://speed.gulag.link/taco.js
Лог – можно лить просто в однопиксельную страничку с данными в query string. Это, конечно, можно вайпнуть, но это всё ещё лучше, чем совсем терять данные. Пусть даже в https://darkk.net.ru/garbage/is-my-twitter-slow-or-what/?ip=1.1.1.1&test=xxx&control=yyy&and=so&on=and&so=forth
Ростелеком. GoodbyeDPI с опцией --wrong-chksum ускоряет твитор…
Добавил две контрольные картинки (одна просто с другого сервера, вторая с того же другого сервера, но в домене есть t.co, на всякий случай). С логгированием сейчас что-нибудь придумаю
Добавил логгирование, кому нужны данные - пишите в телеграм (логин такой же как и ник на форуме) кто вы и зачем они вам.
Ars Technica confirms the approximate time of unthrottling via an anonymous source at a Russian ISP:
According to our source, the mistaken block string was finally corrected with proper match limiting at around 4 am Eastern time today—Twitter’s
t.cois still affected as intended, but Microsoft, Russia Today, and other “collateral damage” sites can once again be browsed at full speed.
04:00 EST = 09:00 UTC = 12:00 MSK.
They also give some information about the hardware:
Our source tells us that Roskomnadzor distributes to all Russian ISPs a hardware package that must be connected just behind that ISP’s BGP core router. At their small ISP, Roskomnadzor’s package includes an EcoFilter 4080 deep package inspection system, a pair of Russian-made 10Gbps aggregation switches, and two Huawei servers. According to our source, this hardware is “massive overkill” for its necessary function and their experienced traffic level—possibly because “at some point in time, government planned to capture all the traffic there is.”
Currently, the Roskomnadzor package does basic filtration for the list of banned resources—and, as of this week, has begun on-the-fly modifications of DNS requests as well. The DNS mangling also caused problems when first enabled—according to our source, YouTube DNS requests were broken for most of a day. Roskomnadzor eventually plans to require all Russian ISPs to replace the real root DNS servers with its own, but that project has met with resistance and difficulties.
I hadn’t heard about this “on-the-fly modification of DNS queries” before.
Судя по логам, по ipv6 тоже шейпят
I didn’t perform any DNS tests recently, but nobody told me ISPs have done anything new last days. DNS hijacking is enabled on some ISPs, but not that many.
https://lynx.pink/is-my-twitter-slow-or-what/
≈ 89.16 kbps, 34 секунд(-а)
Скорее всего, твиттер у вас: замедлен
Контроль 1 (эта же картинка с другого сервера): 4854.37 kbps, 1 секунд(-а)
Контроль 2 (эта же картинка с другого сервера, в адресе которого есть t.co): 3942.18 kbps, 1 секунд(-а)
Ростелеком, Мос.обл.
Есть проблема - если браузер по таймауту бросил грузить картинку то результаты не отображаются вовсе, и возможно не фиксируются в логе.
на ТТК данная опция тоже помогает, без нее замедляемые загружаются на столько долго что таймаутятся браузером
iamoverit@DESKTOP:~$ curl https://abs.twimg.com/sticky/illustrations/lohp_1302x955.png?nocache=0.6617158852009757 --output out.file
% Total % Received % Xferd Average Speed Time Time Time Current
Dload Upload Total Spent Left Speed
8 373k 8 32768 0 0 448 0 0:14:14 0:01:13 0:13:01 0
curl: (56) OpenSSL SSL_read: SSL_ERROR_SYSCALL, errno 104
оператор ТТК, я правильно понимаю что скорость порезана до 0?
А у кого-нибудь есть хотя бы неполных список замедляемых хостов? Чтобы добавить их к domains-export.txt с антизапрета.
Нет проблем через IPv6.
Ростелеком-Москва.
Yota, судя по всему, положила на всё это и ничего не шейпит. Как минимум на 3 устройствах проверено из разных регионов. Но при этом есть сообщения и об обратном, что… интересно
Yota LTE Москва, только что:
≈ 110.64 kbps, 27 секунд(-а)
Скорее всего, твиттер у вас: замедлен
Сделал первое сообщение темы вики-постом, дополняйте, если есть чем.
Я правильно понимаю, что замедление можно обойти используя браузер с поддержкой eSNI (Firefox) для доменов у которых включена поддержка eSNI?
- eSNI теперь ECH
- Мне не известен ни один домен твиттера, у которого оно настроено
–wrong-chksum уже не ускоряет, видимо поправили…
Софтина от Сколково для провайдеров не умеет в регулярки, видимо и у ркн тоже самое было
Тут подумалось (по поводу nfqws/gdpi), а будут ли попадать замедленные сайты в чёрный список и если будут (пока в блеклисте GDPI их особо не видно), то разумно ли их дополнительно прогонять по тем же алгоритмам, что и сайты, блокируемые DPI ? Ведь по факту для подобных случаев нужно будет использовать иные приёмы и их взаимодействия с блокировочными приёмами теоретически может вызвать конфликт или неадекватную реакцию сервера например. Может стоит использовать отдельный список ? Типа slow-list ? Плюс неясно, на основе чего он будет строиться, если будет происходить так, как при замедления твиттера (я про *t.co*).т.к. в таком случае любой блеклист теряет смысл.
wrong checksum не пропускается роутерами с большинством прошивок. openwrt пропускает
Замедленные сайты не попадут ни в какой лист, потому что замедление выполняется не провайдерами, а через ТСПУ. Будет все непрозрачно. Списки придется руками делать.
Пока для slow нужен всего лишь split. Он обычно не конфликтует с другими стратегиями обхода, в nfqws возможно сочетание с fake через комбо
Я пока что вношу в юзер лист, и оно автоматически добавляется в ipset
Если вдруг будет конфликт, значит надо запускать отдельную стратегию и копию nfqws или tpws.
С моими скриптами это делается через custom
У меня фейковые пакеты не помогают обойти замедление, а фрагментация ClientHello уменьшением Window Size работает.
Тогда странно про “большинство”. У меня ддврт тоже пропускает
Имелось в виду, что linux по умолчанию не пропускает
Чтобы пропускал надо сделать так : sysctl -w net.netfilter.nf_conntrack_checksum=0
Во многих заводских это не сделано
в городе Владивосток, не на мегафоне (3|2 секунды), ни на билайне (2|1) не замедленно. Вау! На проводном и подавно меньше секунды, 3 382.19 kbps. А вот пинг естественно зверские 127 мс
Заметил, что иногда включают замедление для отдельных поддоменов, так, например, загрузка с адреса
https://abs.twimg.com/sticky/illustrations/lohp_1302x955.png?nocache=… (используется в Is my Twitter slow or what?) работает быстро.
При этом загрузка с pbs.twimg.com в том же браузере тормозит. Например, вот такая ссылка вчера тормозила
https://pbs.twimg.com/media/EwiDDG5XAAsvqyT?format=jpg&name=medium
сегодня все с ней нормально.
Сегодня в 17:40 наблюдал на МТС в Питере отсутствие замедления по abs.twimg.com. В 19:00 всё ещё не было. Переподключил устройство – замедление вернулось. Видимо, на мобильных “брасах” тоже не на 100% замедлялка замедляет %)
Это плохо. Особенно в случае GDPI. Там без блеклиста ломается/лагает много сайтов, а чтобы самому составить доп.блеклист по инфраструктуре твиттера надо быть докой в этом деле. А я увы не таков. А если замедлят что-то ещё помимо таиттера, так вообще можно сушить вёсла.
вроде добавка опции
--dpi-desync=split2 к текущему набору
--dpi-desync=fake,split --dpi-desync-ttl=4 --hostspell=hoStпроблем на заблокированных сайтах не вызвала, но нужен блеклист >_< дабы не было проблем на НЕ блокированных.
Он где-нибудь выложен публично ? Просто тогда докину его в свой скрипт обновления блеклиста.
Это не нужно и не будет иметь эффекта. fake, split достаточно
Против замедления скорости отдельных ресурсов работает сплит запроса на 2 части любым способом : nfqws/dvtws --dpi-desync=split2 или tpws --split-pos
При использовании fake для обхода блокировок fake заменяем на fake,split2
split, disorder, disorder2 тоже работает, но это overkill само по себе. если в вашей стратегии они уже есть, то ограничения скорости тоже снимутся
twitter.com
t.co
abs.twimg.com
pbs.twimg.com
api.twitter.com
Берем fox или chromium, жмем F12, загружаем ресурс, смотрим к каким доменам идет обращение
У меня сегодня весь день твиттер работает без замедлений на проводном канале.
Тут @libneko справедливо отметил, что тормозит не только twitter.com, но весь *twitter.com. Я по такому поводу сделал ещё один тест с kakbytwitter.com. Результаты в замедленном твиттере: x.com
Сделал из логов выборку по IP адресам из RU:
- в 24% из 8 000 экспериментов на
speed.gulag.linkошибочно тротлили*t.co*(по времени отсечка < 11:30 11 марта) - в 30% из 72 000 экспериментов на
lynx.pinkтротлилиabs.twimg.com
В 1 600 экспериментах на kakbytwitter.com цифры того же порядка (без поправки на RU) – ошибочно замедлялось где-то около 25% подключений.
Интересный момент с торможением Twitter, тормозится в браузере Maxthon 6 с VPN-расширением и без расширения, если не ранние беты с настройками нутра на английском. Нутро на английском и VPN-расширение не нужно, никакого торможения. На Maxthon 5 и 4 тоже ничего не тормозит без VPN - прокси.
https://www.youtube.com/watch?v=BoFTJEtbu-o
Дамп трафика даст гораздо больше, чем видеозапись.
Вот уже несколько дней наблюдаю забавное: троттлится у меня 50/50, в половине случаев замедление есть, в половине нет. Проверяю курлом, провайдер Дом.ру, Красноярск
7 суток ареста дали четвёрке, которая вышла протестовать против замедления твиттера с факелами и старыми флагами “Роскомнадзора” времён “первой телеграмной войны”:
Исправили.
Да, последнее “замедленное” измерение на kakbytwitter.com датировано 2 апреля, 7:32 утра по Москве, оно было с Московской Yota (94.25.175.0/24).
Отправил Вам дампы на почту iam@valdikss.org.ru
Детальный отчет по замедлению твиттера:
Непонятно, есть ли сейчас на Ростелекоме на Windows 10 рабочий способ обхода с GoodbyeDPI или другими прогами? wrong-chksum уже не работает
Режим -1 по умолчанию обходит замедление.
Случайно заметил сегодня, что троттлится img.itch.zone (превьюшки игр с itch.io)
Если тот же прокси включить в браузере, то картинки грузятся моментально, конечно же.
Edit: на следующий день всё нормализовалось.
Датасет измерений со странички доступен вот тут: github.com/4ndv/russia-twitter-throttle
http://rkn.gov.ru/news/rsoc/news73632.htm
По итогам проверки, с учётом предпринятых администрацией соцсети усилий, принято решение не блокировать сервис Twitter, снять ограничения доступа в фиксированных сетях (соответственно, связанных с ними сетях Wi-Fi), сохранив замедление трафика Twitter на мобильных устройствах.
Время публикации: 17.05.2021 17:00
По итогам проверки, с учётом предпринятых администрацией соцсети усилий, принято решение не блокировать сервис Twitter, снять ограничения доступа в фиксированных сетях (соответственно, связанных с ними сетях Wi-Fi), сохранив замедление трафика Twitter на мобильных устройствах.
Based on the results of this inspection and taking into account the efforts made by the administration of the social network, it was decided not to block the Twitter service and to remove access restrictions on fixed networks and associated Wi-Fi networks while maintaining the slowdown of Twitter traffic on mobile devices.
I don’t fully understand this. Does it indicate a slight relaxing of restrictions, removing throttling on fixed and wi-fi networks, but continuing to throttle mobile networks; or is it mostly a continuation of the current situation, because not all fixed and wi-fi networks were throttled anyway? The news article Russia Says Won’t Block Twitter, Will Keep Throttling Speeds calls it a “partial rollback,” so I guess it is the former case. The fixed/mobile split just seems like a weird policy to enforce, seems more like a cover for technical/logistical limitations on RKN’s side.
Has the Censored Planet project continued to do measurements since 2021-05-17? Is a cessation of throttling on fixed lines visible in the data?
I don’t fully get it as well, but from what it says, it means that all Twitter restrictions are now lifted on wired networks, but are still applied to mobile.
Why? No idea.
А мне блокировка в мобильных сетей показалась вполне очевидной. Сделав послабления для фиксированных и wi-fi сетей власти как-бы показали, что раз твиттер идёт им на встречу, то они тоже идут на встречу твиттеру, слегка откручивая гайки. А дабы тот был более расторопен и сговорчив относительно их требований, они оставляют под замедлением мобильный интернет, через который в сторону соцсети идёт куда бОльший траффик, нежели с десктопов. Как жирный - жирный намёк на то, что с ними ещё “не закончили” и к ним ещё есть притензии.
Только вчера (03.06.21) попробовал поставить последний официальный релиз Maxthon 6 V6.1.2.1000 (Build 0508) и также идёт замедление, попробовал поставить оригинальный Chrome и идёт такое же торможение. Пошёл шляться в mx://flags/ , нашёл - Hardware-accelerated video decode, отключил, торможение прошло. То же попробовал в Chrome и опять тормоза прошли. Интернет по проводам.
В антизапрет не будет добавляться? Не понятно, как избавиться от замедления, если этот самый антизапрет активирован на мобильнике
Не будет. На каком операторе присутствует замедление?
Мтс, хмао, нижневартовск
Мобильный мегафон северо-запад, сейчас захожу на твиттер, и он грузится быстро! Неделю назад точно был замедлен.
сейчас опять замедлен
Какие перспективы замедления интернета в России в целом, ограничения скорости к сайтам вне ру-сегмента? Это ведь возможно? (
С этим ничего не сделаешь, обойти нельзя будет?
Зависит от аггресивности мер, но не думаю, что большинству российского бизнеса это будет легко прожевать. Многие так или иначе пользуются зарубежными облаками и сервисами, в одну минуту их не заменить
Подскажите, уже есть сколько нибудь высокоуровневое решение для обхода замедления твиттера на линуксе? Чтобы поставил пакет, активировал сервис и тормоза ушли?
Вы используете мобильный интернет, или где-то на проводном всё ещё замедляется?
Можете попробовать zapret, но для неподготовленного пользователя у него высокий порог входа.
Домашний интернет таттелком(Казань). nfqws поставил из аура, запустил со split2, а потом понял что на него как то надо перенаправлять пакеты, а как это делать с моим нетворк манагером не представляю. Плюс надо же иметь список доменов которые потенциально замедляются?
Теле2 на мобильнике кстати тоже замедляет
@hxss В FoxyProxy можно вписать быстрые прокси для серверов твиттера.
Для void linux норм решение.
iptables -t mangle -I POSTROUTING -o <внешний_интерфейс> -p tcp -m multiport --dports 80,443 -m connbytes --connbytes-dir=original --connbytes-mode=packets --connbytes 1:4 -m mark ! --mark 0x40000000/0x40000000 -j NFQUEUE --queue-num 200 --queue-bypass
echo twitter.com > blacklist-twitter.txt
echo twimg.com >> blacklist-twitter.txt
./nfqws --qnum=200 --dpi-desync=fake,disorder2 --hostlist=blacklist-twitter.txt
это работает, спасибо. Теперь бы разобраться что значат все эти флаги и обернуть в сервис.
А список доменов которым рашка режет скорость где то публикуется/кем то ведется?
нашел фильтр -d в котором можно через запятую перечислить хосты для правила, но iptables их разрешает перед добавлением правила, а не сравнивает с целью пакета, так что для twimg и других потенциальных хостов не подойдет. Может есть другой способ ограничить это правило на подготовленный список?
И где этот список хостов с порезанной скоростью можно спарсить?
Такого списка нет в публичном доступе.
Обратитесь к вашему провайдеру или в Роскомнадзор с вопросом, по какой причине они замедляют твиттер, если вы уверены, что это замедление. В данный момент я ни на одном провайдере с ТСПУ не наблюдаю подобного.
это определенно замедление(и на домашнем таттелекоме и на мобильном теле2), у меня с трудом загружается текст, а вместо картинок просто серые прямоугольники, про видео молчу. Когда запускаю split2, сайт оживает.
Завтра прозвоню им конечно, сейчас нашел, что в мае должны были снять ограничение.
Там все есть для этого
echo twitter.com >/opt/zapret/ipset/zapret-hosts-user.txt
echo twimg.com >>/opt/zapret/ipset/zapret-hosts-user.txt
/opt/zapret/install_easy.sh
Выбрать режим nfqws.
NFQWS_OPT_DESYNC=“–dpi-desync=split2”
Режим фильтрации hostlist
Отказаться от скачивания листа
Так не будет работать. Не задан ttl, не задан fooling. fake будет доходить до сервера
Когда твиттер замедлялся, у меня работало fake,split2 для обхода и блокировок, и замедления. Но нужно еще указать ограничитель ttl или fooling
А вы наверно из МСК? Позвонил своему провайдеру, говорят это не они, пишите в роспотребнадзор. Поспрашивал еще - в Казани минимум 5 провайдеров режут скорость.
я использую просто split2
@bolvan @ValdikSS настроил себе сервис, твиттер наконец работает, спасибо за помощь и саму утилиту)
Скажите, есть какие то решения для обхода дпи на андройде без рута?
Есть, но они ограничены.
Что касается дурения DPI, можно сделать примерно столько же, сколько умеет tpws
split2 там есть
можно использовать сам tpws, но только в режиме socks.
если нужны удобства и простота - см в сторону DPITunnel
задурить rdp.ru получится только для http (не-https) и не для всех сайтов. --methodeol.
лучше сразу делать VPN
Попробуйте https://getintra.org/ и https://play.google.com/store/apps/details?id=com.celzero.bravedns
Несмотря на то, что это программы для смены DNS, фрагментирование (сплиттинг) запросов — их недокументированная фича/баг.
@ValdikSS чет ни 1 прога не сработала(
@bolvan без рута же не установить iptables правила. Как прогонять трафик через tpws?
–socks. Еще можно поискать оборачиватели socks в VPN
Ни одна прога не сработает, т.к. без рута возможно реализовать только фрагментирование и изменение sni (причем последнее только на старых андроидах). Эти методы работают далеко не всегда. Выход один - ставить рут, ну или vpn/socks/прочие туннели.
Тоже под замедлением?
Блокировка/замедление 26.02.2022 переезжает сюда: Блокировка/замедление Twitter (26.02.2022)