Указываем ссылку:
https://drive.google.com/uc?export=download&id=<Идентификатор файла>

файл будет загружаться без посещения Гугл Диска