¿Es correcto «Is this yours book?»
No, no es correcto.
Parece que te confundes con this y your/yours.
Esto puede funcionar como «determinante». También puede funcionar como «pronombre demostrativo».
Este libro es mío. — Esto es un determinante. Un determinante se usa con un sustantivo.
Este es un libro. — Esto es un «pronombre demostrativo». Es un pronombre. Funciona como un sustantivo.
Tu es un «determinante posesivo».
Tu es un «pronombre posesivo».
Ese libro es tu libro. — Tu es un determinante posesivo. Se usa con un sustantivo.
Ese libro es tuyo. — Tuyo es un pronombre posesivo. Funciona como un sustantivo.
En la última frase («That book is yours»), yours = tu libro.
Si el inglés es todavía nuevo para ti, te recomendaría convertir primero una pregunta («interrogative sentence») en una frase simple, no interrogativa («declarative sentence»). Es más fácil entender las oraciones declarativas. Empecemos con «¿Es este libro tuyo?», que ya sabes que es aceptable:
¿Es este libro tuyo?
(~ Este libro es tuyo.) — Este es un determinante. Yours es un pronombre posesivo.
Probemos otras variantes:
Is this book your book?
(~ This book is your book.) — This is a determiner. Tu es un determinante posesivo.¿Es este tu libro?
(~ Este es tu libro.) — Este es un pronombre demostrativo. Your es un determinante posesivo.Is this yours?
(~ This is yours.) — Este es un pronombre demostrativo. Yours es un pronombre posesivo.
¿Por qué no puedes usar «Is this yours book?»
Porque yours ya es un pronombre (posesivo). Funciona como un sustantivo. Si usas yours para significar «tu libro», tu frase podría entenderse así:
¿Es este tu libro? <–¡No uses esto!
(~ Este es tu libro)
(~ Este es tu libro libro) –¡»Este es tu libro libro» no tiene ningún sentido!
Y por eso «Is this yours book?» no es correcto.
Bonus: Tabla de pronombres personales básicos del inglés en Wikipedia podría ser útil. Abarca todos los pronombres personales del inglés. Lo recomiendo.