La ermita de Carejas está ubicado a dos 2 km, en la parte nordeste de Paredes, en una zona donde los montes ya se pueden apreciar. Tras la reconstrucción de la ermita antigua, iniciada en 1931, la ermita pasa a ser de estilo moderno construida en ladrillo. La entrada es a través de un arco romano, que da paso a una galería, que se extiende a lo largo de la ermita. Esta galería está formada por una arcada de seis arcos, con un remate de una figura humana. La parte posterior o trasera, cuenta igualmente con una entrada y seis arcos. La torre de espadaña se encuentra situada a los pies de la ermita.

El 8 de Septiembre 1947 se celebra una inauguración solemne de la ermita definitiva con asistencia del Obispo de Palencia. La imagen de la virgen de Carejas es de 80 cm de altura y estaba colocada sobre un pilar. Tenía forma humana la cabeza y manos, siendo su cuerpo un trozo de resistente madera, sus manos eran articuladas gracias a unas gomas, su rostro es moreno y tiene un semblante de sonrisa, en su mano izquierda tenía un niño de semejante construcción. En noviembre del 2007 de forma accidental, mientras la virgen iba a ser sometida a un proceso de restauración por un anticuario de la localidad, reveló la posibilidad de que la talla que se creía del siglo XVI fuese en realidad una talla del s. XIII.

El 24 de agosto de 2008, fue coronada por el Nuncio del Papa, Manuel Monteiro de Castro, y por numerosos Obispos y Sacerdotes, al igual que acompañada de numerosas vírgenes de las localidades colindantes. Una leyenda dice, que una mujer tenía un hijo, que se encontraba preso de los moros y con verdadera fe pedía a la Virgen de Carejas su libertad, visitándola todos los días. Tanto caminar formó una senda llamada desde entonces la senda del cautivo, consiguiendo su liberación. En la ermita se conservan los grilletes y el arca donde estaba encerrado.