Die Entstehung der jüdischen Gemeinde Altdorf geht in die Zeit des 17. Jahrhunderts zurück. Die höchste Zahl jüdischer Einwohner wurde um 1839 mit 289 Personen erreicht. In der NS-Zeit kamen von den 1933 in Altdorf wohnhaften 51 jüdischen Personen mindestens 22 ums Leben.
Die Altdorfer Synagoge ist 1868 eingeweiht worden. Sie war im maurischem Stil erbaut. Charakteristisch war das dreiteilige Portal mit drei großen Hufeisenbogen, die teilweise noch erhalten sind.
Beim Pogrom im November 1938 demolierten am Mittag des 10. Novembers SA-Männer und weitere NS-Parteiangehörige die jüdischen Häuser und die Synagoge, dabei wurden auch die steinernen Gebotstafeln vom Giebel gestürzt.
Im Oktober 1952 begann die Gemeinde Altdorf mit dem Um- und Ausbau der ehemaligen Synagoge zu einem Fabrikgebäude. Die charakteristischen Fenster verschwanden und wurden durch rechteckige Fabrikfenster ersetzt. Der linke und rechte Eingang wurde zugemauert und der mittlere vergrößert. Die Portalinschriften wurden abgeschlagen. Auf Emporenhöhe wurde im Inneren eine Zwischendecke eingezogen. 1970 verkaufte die Gemeinde Altdorf das Gebäude an einen örtlichen Gewerbebetrieb, der an der Westseite einen Vorbau anbringen ließ. 1962 sollte auf Wunsch des Israelitischen Oberrates Karlsruhe eine Gedenktafel angebracht werden, doch wurde dies vom Gemeinderat abgelehnt. Erst 1998 wurde eine Tafel angebracht.
Das Gebäude birgt heute ein Atelier und eine Kunsthalle.