Подскажите как должен выглядеть конфиг на клиенте, если мне надо пустить только определённые сайты через прокси?

Такой будет работать?
[bypass_all] [proxy_list] ||medium.com ||usa.news.com

И как будет выглядеть проксировать всё кроме определённого? Такой сработает?
[proxy_all] [bypass_list] https://ipinfo.io/

Можно использовать для браузера расширение SwitchyOmega, для других приложений Proxifier, либо менеджер тунелей GOST.

Методом тыка разобрался сам, т. к. у китайцев не до конца на гитхабе документировано.

[proxy_all]

[bypass_list]

ntc.party

Непонятно почему не принимает/понимает https/http в начале url. И работает ли регулярка, допустим имея две версии сайта http и https как настроить чтобы прокся только для одной из них использовалась?

Смотря какой клиент. На .Net - в pac файле можно задать, хотя я не люблю их. На Rust в браузерном расширении. В Firefox FoxyProxy, например.