Als Künstler war Finlay Autodidakt. Die Art School in Glasgow hat er nur für kurze Zeit besucht. Im Anschluss an seinen Dienst bei der britischen Armee wurde er nach dem Zweiten Weltkrieg Schäfer. Er verfasste Kurzgeschichten und Gedichte und gründete seinen eigenen Verlag, die Wild Hawthorn Press. Sein Werk besitzt eine große Nähe zur Poesie. Er erfand die sogenannten »Ein-Wort-Gedichte« (One Word Poems), die er auf Steine schrieb. Diese stellte er in den Garten und in die Landschaft, wo sie als intelligente Bildunterschriften wie hintersinnige Kommentare wirken. Finlay war Philosoph, Historiker, Gartenarchitekt und Landschaftskünstler.
In der Nähe von Edinburgh baute er in den Pentland Hills seine eigene Republik namens »Little Sparta« auf. Diese künstliche Gartenstadt war für ihn eine unabhängige, wenn auch nicht anerkannte Republik. Schon der Name bezeugt einen kriegerischen Charakter. Diese Stadt verließ er nur ungern. Bei Aufträgen in aller Welt übernahm es meist seine Frau, sich die vorgesehene Gegend anzuschauen und die Forderungen, Vorstellungen und Möglichkeiten zu erkunden. Später folgte aus Little Sparta Finlays Idee zum Kunstwerk und eine Anleitung für die Umsetzung. In Marl ließ er 2003 die Installation A View to the Temple errichten, die 1987 für die documenta 8 in Kassel entstanden war. Sie besteht aus vier Guillotinen – Holzgerüste mit jeweils einem Fallbeil aus Bronze. Die Tötungs-maschinen funktionieren nicht, sie sind als Zeichen zu sehen. Die exakt hintereinanderstehenden Gerüste wirken wie ein Gang, an dessen Ende eine Stele in Form eines kleinen Obelisken zu sehen ist. Das Werk befindet sich auf einem ehemaligen Friedhof. Auch deshalb trägt es den Titel »Ein Blick zum Tempel«. Hier gibt es einen ersten Bezug zur Themenwahl des Künstlers. Die Guillotine wurde nach dem französischen Arzt Josephe-Ignace Guillotin benannt. Dieser hat sie nicht erfunden, aber zur Zeit der Französischen Revolution empfohlen, um die grausamen Enthauptungen zu erleichtern und zu beschleunigen und damit menschlicher zu machen. So wurde sie zur Schreckensmaschine der Revolution. Die erste Guillotine hat der in Paris wohnende deutsche Klavierbauer Tobias Schmidt gefertigt. In der Nazizeit spielte die Guillotine in Deutschland eine immer wichtigere Rolle. Unter den Opfern befanden sich auch Hans und Sophie Scholl aus dem Kreis der Weißen Rose.
Die Zahl vier ist vielfältig deutbar. In der Zahlensymbolik steht sie für das Kreuz, das Tod und Leid bedeutet. Finlay liebte Anspielungen, Verdächtigungen, Verweise zum Umdenken, auch über die Rolle der Guillotine in der bürgerlichen Industriegesellschaft, deren kulturelle Entwicklung nicht ohne die Revolution als Motor des Wandels zu denken ist. Die Revolution ist das wichtigste politische und historische Ereignis der Neuzeit. In mehreren Arbeiten Finlays finden wir die Guillotine. Er schätzte die Druckgrafik als Medium seiner Ideen. Auf einem Blatt mit der Darstellung einer mit Geißblatt geschmückten Guillotine sind die folgenden poetischen Sätze zu lesen: »Both the garden style called ›sentimental‹, and the / French Revolution, grew from Rousseau. The garden / trellis, and the guillotine, are alike entwined with / the honeysuckle of the new ›sensibility‹.« Hier steht er, der Verweis auf den romantischen Garten, auf den Philosophen Jean-Jacques Rousseau mit seinem berühmten Garten in Ermenonville bei Paris und der neuen Definition von Natur und der Rolle der Französischen Revolution mit der Guillotine. Ganz wie in Marl im gefühlvollen Garten des ehemaligen Friedhofs.