La constitution d'un véritable fonds d'archives publiques est exigée par la loi du 5 brumaire de l'an V (26.10.1796) par laquelle l'Administration française crée les Archives du Département des Forêts et ordonne la «réunion dans tous les chefs-lieux de département, de tous les titres et papiers acquis à la République».
Les archives des institutions abolies de l'Ancien Régime (Conseil provincial et souverain, Etats, abbayes, seigneuries, etc.) sont ainsi réunies à l'Hôtel de la Préfecture, actuellement le Palais Grand-Ducal. Le but est d'y trier ces documents pour en tirer des renseignements avant tout administratifs et économiques sur les domaines nationaux. L'utilisation des archives à des fins historiques est alors d'ordre secondaire.
Ce n'est qu'avec l'arrêté royal du 23.12.1827, instruisant les autorités locales de découvrir et d'examiner les documents historiques sur les Pays-Bas en vue d'écrire l'histoire du territoire grand-ducal, que la valeur historique des archives commence à s'affirmer.
L'accès du public aux archives, longtemps réservé aux seules administrations, est autorisé par le règlement du 4 août 1829 du Ministre de l'Intérieur du Royaume des Pays-Bas « à toute personne connue et méritant confiance, qui voudra faire des recherches dans l'intérêt général de l'histoire ».
Ce règlement sera publié au Luxembourg le 16 septembre 1829 par le gouverneur Willmar.
En 1840, les archives provinciales sont promues en Archives du Gouvernement grand-ducal.
Pendant des décennies, elles seront stockées tant bien que mal dans les différents bâtiments (ou annexes des bâtiments) où siègera le gouvernement. Ce n'est qu'en 1968, après une longue succession de déménagements, que les Archives du Gouvernement peuvent finalement s’installer dans l'ancienne caserne du plateau du Saint-Esprit, où elles sont toujours aujourd'hui.
Pour faire face à de nouveaux besoins de stockage au fil des années, les capacités des Archives nationales ont été augmentées par l’aménagement d’un dépôt auprès du nouvel Hôtel des Postes à Luxembourg-Gare, d’une partie du parking souterrain du Plateau du Saint Esprit, puis, remplaçant le dépôt abandonné en 2014 dans l’Hôtel des Postes, d'un nouveau lieu de stockage temporaire dans la zone industrielle de Bourmicht à Bertrange. S'y ajoutera en 2017 un dépôt dans les sous-sols de l'Athénée de Luxembourg.
Les changements de locaux vont de pair avec des changements au niveau de la dénomination et des missions des ANLux. La loi du 5 décembre 1958 confère pour la première fois une base légale propre aux Archives désormais nommées « Archives de l’Etat ».
Rebaptisées « Archives nationales » en 1988, elles recevront à ce moment aussi le statut d’ « institut culturel ».
Les missions et le cadre du personnel actuels sont définies par la loi modifiée du 25 juin 2004 portant réorganisation des instituts culturels de l’Etat.
Une loi relative à l’archivage a finalement été adoptée à la Chambre des députés le 10 juillet 2018, conférant au Grand-Duché de Luxembourg son premier cadre légal complet relatif à l’archivage et aux archives. La loi du 17 août 2018 relative à l'archivage, qui est entrée en vigueur le 1er septembre 2018, stipule que désormais les administrations et services de l’Etat sont obligés de proposer leurs archives publiques aux Archives nationales. De plus, l’élaboration de tableaux de tri individuels pour tous ces organismes est prévue dans un délai de 7 ans à partir de l’entrée en vigueur de la nouvelle loi.
Aujourd'hui, la croissance exponentielle des archives de notre société moderne constitue, plus que jamais, un défi de taille. Le nombre de chercheurs est, lui aussi, en hausse constante.
La construction d'un nouveau bâtiment pour les archives, prévue à Esch-Belval, répondra à ces défis et permettra aux Archives nationales de mieux remplir leurs missions, d’assurer un meilleur accueil et un bon accompagnement de toute personne désireuse de consulter les archives.