Effectivement : les queues des comètes sont des gaz/poussières qui s’échappent du rocher lui-même.
Le rocher finit pas s’évaporer totalement, mais petit à petit.

Pour exemple, le "rocher" de la comète de Halley pèse tout de même ~10^14 kg.
Pour donner une idée, chaque année, la Terre reçoit de l’espace ~40'000 tonnes de poussières et débris (qui brûlent dans l’atmosphère). Si la comète de Halley perdait 40'000 tonnes à chaque passage près du soleil, sa masse de ~10^14 kg est suffisante pour encore ~3 millions de passages : elle sera donc encore là dans ~230 M d’années.

Je ne sais pas combien Halley perd en moyenne à chaque passage, mais même une masse importante en dizaines de milliers de tonnes ne constitue pas grand chose devant la masse de la comète.

Je pense qu’une comète a bien plus de chance de finir dans Jupiter ou Saturne, ou même le Soleil, que de mourir de simple « vieillesse ».

Sinon, les queues des comètes sont longues (wiki parle de 30~80 millions de km), mais elle est composée de gaz très diffus : c’est loin d’être comme une atmosphère. C’est au contraire proche du vide, mais ça suffit à donner, globalement, l’impression d’une queue « solide ».
— (permalink)