L'église de La Capelle fut construite à l'emplacement de la précédente, ancienne chapelle de la forteresse, de 1883 à 1885, sur le projet présenté par M. Charles Garnier, architecte de l'Opéra de Paris, membre de l'Institut.

Elle fut consacrée en 1887 par Mgr Thibaudier, évêque de Soissons. De style roman italien, elle est d'abord remarquable, pour les voyageurs de passage, par son clocher campanile à bulbe, visible de très loin à la ronde, surprenant dans le bocage de Thiérache.

Comme celles qui l'ont précédée, elle est dédiée à Sainte Grimonie, princesse irlandaise martyrisée pour sa foi sur le territoire de La Capelle. Le plafond de la nef et du transept, initialement à charpente apparente, fut complété par les voûtes en plâtre en 1932.

Le maître-autel, la table de communion, les grilles du chœur, les fonds baptismaux, les deux bénitiers de l'entrée, la chaire, constituent un ensemble architectural remarquable. Elle possède un orgue de 18 jeux classés, réalisé pour l'ancienne église de 1864 à 1867, entièrement restauré en 1998.

Ses vitraux d'origine, reconnus de grande qualité, mais très dégradés, font l'objet d'une révision générale échelonnée en fonction des disponibilités financières, avant restauration des peintures intérieures.

Les trois autels de l'abside, et tout spécialement la chapelle centrale dédiée à la Vierge Marie, ont été offerts par la famille Lesluin-Proisy pour perpétuer le souvenir de leur fille unique décédée à 20 ans.

Les cloches de l'église Sainte-Grimonie sont au nombre de trois. Elles ont été mises en place en 1920, en remplacement des anciennes, provenant de l'ancienne église et enlevées par les Allemands au cours de la guerre 1914-1918.

Pierre SERGENT nous en donne la description dans son Histoire de La Capelle :

- la grosse cloche pèse 850 kg et donne le FA. Elle fut baptisée Marguerite Marie Victoire France le 28 mars 1920 et porte gravée l'inscription « Je veux chanter gloire à Dieu et paix à la France ».

- la cloche moyenne, Geneviève Clothilde Louise Bernadette France pèse 650 kg et donne le SOL. Baptisée le 2 mai 1920, elle proclame « Je ne cesserai de chanter gloire à Dieu et d'inviter à la résurrection chrétienne mon petit coin de France ».

- la petite cloche pèse 450 kg et donne le LA. Elle fut baptisée le 19 septembre 1920 Jeanne d'Arc, Grimonie, France. C'est elle qui sonne chaque jour l'Angélus.

Tractées autrefois par des cordes jusqu'à la dernière guerre mondiale au cours de laquelle le clocher subit des dégradations, elles ne se faisaient plus entendre, depuis lors, que par les tintements de marteaux actionnés manuellement par des poignées en bois depuis le bas du clocher. La sonneuse en titre était Mademoiselle CATILLON ; elle faisait, pendant la période pascale, la tournée de la paroisse pour solliciter une obole bienveillante de la population, en rétribution de son activité ininterrompue tout au long de l'année.

En 1963, à l'initiative de Monsieur le Doyen BRUNEAUX, l'électrification des cloches fut entreprise, mais il s'avéra que la sonnerie simultanée des trois cloches en volée présentait un danger suite à l'état précaire de la charpente qui les supportait. On doit se résoudre à actionner seulement la grosse cloche en volée, les deux autres se limitant aux tintements par des marteaux électriques.

Ce n'est qu'en 1979 que la commune décida la reconstruction complète, en chêne, du beffroi des cloches, accompagnée du remplacement de l'horloge, hors d'usage de longue date. Bien des Capellois découvrirent pour la première fois en février 1980 la musique du carillon des trois cloches en volée, telle que nous l'entendons aujourd'hui.

Cette restauration fut accompagnée du rétablissement de la sonnerie de l'Angélus, automatisée désormais.

Le son des cloches ponctue depuis toujours la vie de nos cités, et les progrès techniques ont permis qu'elles soient utilisées plus simplement sans recours à l'intervention physique de sonneurs. La gamme de leurs appels est variée en fonction des évènements ou du temps liturgique. Du simple battement d'une cloche appelant aux offices, au tocsin d'alarme, remplacé le plus souvent maintenant par la sirène communale, du glas funèbre au carillon des cloches en volée, sans oublier l'Angélus accompagnant trois fois par jour la salutation à la Vierge Marie.

Pendant la semaine précédant Pâques, elles s'arrêtent le soir du Jeudi Saint, pour revenir en carillon pendant la nuit pascale.

On disait aux enfants, dans nos campagnes, que, pendant ces jours de silence elles étaient à Rome...ce qu'ils ne demandaient qu'à croire, puisqu'au retour elles signalaient leur passage en déposant, dans les jardins et autour des maisons, des œufs ou des friandises à leur intention.

A découvrir dans le livret "Terre de secrets", édition 2021, de l'Office de Tourisme La Thiérache : office tourisme00070120210407123422

Sur le plan touristique, l'oeuvre de Charles Garnier figure parmi les Splendeurs du Territoire recensées par l'Office de Tourisme.