Os habitantes desta freguesia dedicam-se, desde tempos muito remotos, à agricultura e à pastorícia, essencialmente, ocupando-se do pastoreio de ovelhas, cabras e vacas e cultivando algum milho e centeio no Verão.

Toponímia:

Esta freguesia designava-se, no início do século XIII, como "Albergaria de Monte Fuste" (11 albergaria montis de fuste ") e, na primeira metade do século XVI, segundo o Censual da Mitra de Lamego, ainda ostentava o mesmo topónimo. Por vezes era simplesmente denominada por "Albergaria" ("Aluergaja") e, ao longo dos tempos chamou-se "Albergaria da Serra", "Nossa Senhora da Assunção de Albergaria" e mais tarde "Albergaria das Cabras", topónimo que se vulgarizou no início do século XIX e que perdurou até há alguns anos atrás, onde voltou a chamar-se "da Serra". Houve também, quem lhe chamasse "Albergaria de Roças", por uma parte do Monte Fuste ter pertencido à Comenda de Rossas.

O seu nome, "Albergaria", deve-se ao facto de aí ter existido uma pousada ou albergaria, fundada pela rainha D. Mafalda e ampliada e protegida por sua neta homónima, a rainha "Santa Mafalda". Simões Júnior refere-se ao facto dizendo que esta freguesia teria sido escolhida para albergar a dita pousada, por ter em toda a serra, o lugar mais "cómodo" para a construir. Alusiva a esta albergaria, subsiste uma lápide de granito na parede do cemitério local, datada de 1641, dizendo ser albergaria para pobres e passageiros com a obrigação de dar duas camas, uma para pobres e outra para ricos: "aiurgaria pa pobres/ e pasageiros comi obrigação de dar/ duas casas hua! pa pobres outra, po/ ricuos renovada! em todos semanas!.../ nha era dei 641 ".

D. Joaquim de Azevedo, na "História Eclesiástica do Bispado de Lamego", refere-se a esta placa antes da sua transferência, localizando-a perto da Igreja II (..) da qual, ao norte, se vêem uns pardieiros e uma pedra com letreiro gasto que se não pode ler e dizem os vizinhos ser hospital ou albergaria (..) ".

A sua Antiguidade:

A sua antiguidade como povoação, encontra-se atestada através da toponímia, em nomes como "Portela de Anta" e "Anta" e através da existência de uma grande mamoa com um dólmen principal e outros secundários, que se encontram no referido local de Portela de Anta, o mesmo onde, em 1257, foi colocado um marco divisório do couto de Arouca, alargado por doação de D. Afonso m, a 20 de Outubro do mesmo ano, à Abadessa do Mosteiro de Arouca: "(..) et deinde quomodo vadit ad Portellam de Antha, et est ibi positus unus patronus, et inter ipsum patronum et Ferram de Antha vadit strada (..) ". Por esta freguesia passava também, a antiga via romana que seguia de Viseu até ao Porto; era designada, na Idade Média, por estrada e depois por estrada velha e estrada mourisca.

Segundo as Inquirições de 1258, esta freguesia de Albergaria da Serra, tinha sido coutada por D. Sancho I (" (..) erat totum regalengum et est coutum (..) ") e, como já havia sido dito, ficou abrangida no couto e doações de D. Afonso m à Abadessa e Mosteiro de Arouca, no ano de 1257.

O relatório de 1747 referente a esta freguesia diz que, antigamente, se pagava uma pensão a quem tocasse uma buzina até certas horas da noite, isto para que, se
algum passageiro andasse perdido na serra, viesse até à povoação conduzido pelo som da buzina, afastando-se de perigos maiores, como é o caso dos lobos, que abundam
nesta região. No entanto, hoje em dia já não se procede desta forma. O "Dicionário" de 1747 (p. 118-119) diz que "he Senhora Donataria desta terra (Albergaria das Cabras) a Madre Abbadessa do Real Mosteiro de Arouca ".

No "Dicionário" de 1758, não se encontra o relatório referente a esta freguesia, não se sabendo ao certo se se perdeu ou não teria sido enviado. No entanto, o sacerdote que organizou os volumes, escreveu por seu próprio punho, no suplemento n° 42, uma breve notícia sobre a povoação. O pároco era cura anual apresentado pela Abadessa do Convento de Arouca e tinha, em 1758, a côngrua de cem mil réis. D. Joaquim de Azevedo afirma ter esta frguesia uma "igreja parochial de Nossa Senhora da Assumpção, curato que renderá 60$000 réis da apresentação da abadessa das freiras de Arouca, da ordem de S. Remardo (..) ". Albergaria da Serra pertenceu à diocese de Lamego e, em 1882, passou a integrar a diocese do Porto.