Então, nunca usei o Google Drive para isso (armazenamento de fotos) — sendo verdadeiro, nunca usei o Drive para nada, mas pelos meus conhecimentos, todas as suas fotos que estiverem no Google Drive irão aparecer no Google Fotos. Agora se eu entendi bem o seu caso, você tem suas fotos amazenadas no Google Drive, certo? E você quer desocupar todo o espaço que essas fotos ocupam no Drive? Para isso ocorrer, tente ir na opção de “Backup” do próprio Google Fotos, entrar em “Tamanho do Upload” e marcar a opção “Alta Qualidade”. (Lembrando que para isso você deve acessar o site do Google Fotos em browser ou pelo Android/IOS).

Pelos meus conhecimento ao selecionar está opção as fotos não irão mais ocupar o espaço no Drive.

Se não der, me avise, pois neste caso tento procurar outra solução!