para hacer la cabecera php si, tu cojes el html de tu cabecera, lo plantas en un archivo html normal, y le cambias la extension a .php
y sip, lo del include tal cual, las interrogaciones lo que indican es que el codigo de entre medias es php en vez de html. Logicamente, tu nueva pagina tendra que tener extension .php en vez de .html, me explico:
La estructura de archivos tendria que ser index.php para la principal, cabecera.php para la cabecera, pie.php para el pie (si quieres hacerlo asi tambien), y contenido.php para cada una de las paginas.
el codigo tanto de index como de contenido debera ser tal que:
<html>
<head><title>titulo</title></head>
<body>
<?php include("cabecera.php"); ?>
CONTENIDO DE TU PAGINA
<?php include("pie.php"); ?>
</body>
</html>
Esto, logicamente es solo el esqueleto sin elaborar, el include va donde tu quieras meter la cabecera y el pie, puede ir dentro de una tabla, un div, o lo que sea.
Y luego el codigo de cabecera.php como ya he dicho, el html de tu cabecera (simplemente el correspondiente a ese trozo, sin etiquetas html, ni head, ni nada, haces copypaste del cacho de tu cabecera, lo pegas en un archivo, y lo llamas cabecera.php)
Espero que te sirva de ayuda y no te sea muy complicao, pero hay veces que me explico con el culo xD