Удобно просто ввести в виндовс ссылку прокси, а можно ли сделать то же самое, только на всю сеть?

OPENVPN на каждое устройство выглядит немного скудным решением, если есть какая-то альтернатива на андроид устройства, да и вообще домашние устройства в целом подключенные к роутеру, было бы круто

Если маршрутизатор поддерживает OpenVPN, то можно настроить VPN-подключение на маршрутизаторе. Если же не поддерживает, то нельзя.

С данным роутером, без вариантов. Есть куча решений на базе OpenWrt, но для начала нужно будет приобрести совместимый с выше указанной прошивкой роутер, например Xiaomi MiRouter 4C/A

Эту прошивку можно установить практически на любой роутер. Я на свое старое дешевое ведро поставить смог. Не обязательно покупать новый роутер. Хотя естественно чем мощнее у роутера железо тем более продуктивно его можно будет использовать…