Ist käse erwärmen chemische reaktion

Ist Käse erwärmen eine chemische Reaktion?

Ja, ist es!
Ab einer bestimmten Temperatur werden Proteine denaturiert, das heißt, ihre Struktur geht verloren und/oder lagert sich um.
Das ist manchmal reversibel, im Regelfall aber nicht.
Das Ausstocken des Eiklar ist beispielsweise solch eine Reaktion.
Dabei gehen erst mal keine Bestandteil verloren.
Wird weiter erhitzt, können andere Reaktionen ablaufen. So kann die Aminosäure Lysin mit Kohlehydraten die sogenannte Maillard- Reaktion eingehen, was zu einem beträchtlichen Teil für die Bräunung von Produkten wie Fleisch, oder im konkreten Beispiel Käse, verantwortlich ist, wenn sie auf über zirka 130 °C erwärmt.
Wird deutlich über 180 °C erwärmt, kommt es zu Zersetzungen.
Das äußert sich im Extremfall in Verkohlungen. Jeder kennt sicherlich diese schwarzen Verkrustungen beim Fondue.
Wir sprechen in diesem Zusammenhang von „Denaturierung“, als chemischen Vorgängen.

Solange der Käse dabei nicht verbrennt, nein.

Nein, es ist ein phsikalischer Vorgang. Bei einer chemischen Reaktion müssen sich die Eigenschaften des Stoffes verändern. Beim erwärmen ändert er nur seinen Aggregatszustand, wenn man ihn wieder abkühlen lässt erhält man wieder Käse.