Подскажите куда копать. Желатильно и инсту тоже.

Это возможно только если вы будете отслеживать запросы внутри TLS-сессий на сервере.
В какой-то мере это возможно средствами блокировщиков по DNS вроде PiHole, но не в случае youtube.

Если ещё короче: в случае с YT о блокировке рекламы средствами DNS лучше забыть. Блокируйте рекламу не на промежуточных узлах, а на конечных клиентах (расширения-блокировщики рекламы в браузерах, сторонние клиенты YouTube, умеющие отключать рекламу, и так далее). То есть, непосредственно в программах, с помощью которых смотрите YT.

От рекламы на ютубе мне помогли встроенные ublock filters, они по умолчанию включены в ublock.