Die Namensgebung für die Kaiserzimmer geht auf ein gemeinsames Treffen im August 1791 zwischen dem römisch-deutschen Kaiser Leopold II. und dem preußischen König Friedrich Wilhelm II. zurück. Auf der Suche nach einem möglichst neutralen und ungezwungenen Ort für das Treffen der beiden Monarchen, fiel die Wahl auf Schloss Pillnitz. Der sächsische Kurfürst Friedrich August III. gab für ein so prestigeträchtiges Treffen gerne den Gastgeber und ließ das Treffen auch mehrfach künstlerisch verherrlichen – wie beispielsweise die Medaillen in der Vitrine zwischen den Fenstern zeigen. Friedrich August III. nahm aber an den Gesprächen selbst nicht teil.
Anlass für die „Pillnitzer Konferenz“ war nach vielen Jahren der Konfrontation und erbitterter Kriege die zaghafte Annäherung Österreichs und Preußens. Das Treffen zwischen den beiden Großmächten diente zur Klärung verschiedener politischer Fragen der Zeit.