UTILIZAÇÃO DO INSUMO PROFESSOR PELOS DEPARTAMENTOS ACADÊMICOS DA UFRRJ: UMA FERRAMENTA DE APOIO A DISTRIBUIÇÃO DE NOVAS VAGAS NO MAGISTÉRIO SUPERIOR

UTILIZAÇÃO DO INSUMO PROFESSOR PELOS DEPARTAMENTOS ACADÊMICOS DA UFRRJ: UMA FERRAMENTA DE APOIO A DISTRIBUIÇÃO DE NOVAS VAGAS NO MAGISTÉRIO SUPERIOR

Fábio Scatamburlo Lizieire Ferreira1; Caio Peixoto Chain²

1,2UFRRJ, Seropédica, Brasil

1[email protected]

2[email protected]

Resumo

Esporadicamente a Universidade recebe novas vagas para o cargo de professor do Ministério da Educação. Em 2022, ao receber 22 novas vagas, não existia nenhuma metodologia para a distribuição dessas vagas recebidas. A presente pesquisa considerou como metodologia de distribuição de novas vagas, um modelo científico que permita medir a utilização do insumo “professor”, sendo estes lotados nos departamentos acadêmicos. A análise envoltória de dados é utilizada para a avaliação da eficiência de unidades produtivas semelhantes, que possuam as mesmas entradas e saídas. Propondo como insumo do modelo, exclusivamente, o número de vezes que os professores dos departamentos foram utilizados nas atividades de docência, e como saídas, as atividades de ensino, pesquisa e extensão. O modelo CCR foi utilizado, com orientação as saídas, o que permitiu apontar quais departamentos são mais eficientes na utilização do insumo. Foram encontrados 16 departamentos eficientes, sendo assim, esses departamentos foram considerados aptos para receber as novas vagas. Os departamentos não aptos as novas vagas subutilizam o insumo professor, sendo assim, caso necessitem aumentar a produção, poderiam utilizar os professores de maneira mais eficiente. A pesquisa também identificou três tipos de departamentos na universidade.

Palavras-chave: análise envoltória de dados; departamentos; universidade; DEA.

.

1.  INTRODUÇÃO

A Universidade Federal Rural do Rio de Janeiro (UFRRJ) atua no segmento da educação superior, através de cursos de graduação e pós-graduação, produz pesquisas cientificas e realiza diversas ações voltadas para extensão.

Possui 14 institutos e 62 departamentos acadêmicos espalhados por quatro campus, localizados no estado do Rio de Janeiro. O relatório de Gestão de 2021 da Universidade mostra que a instituição possuí 1.273 docentes, 1.143 servidores técnico-administrativos e 535 funcionários terceirizados, além do ingresso de 26.918 discentes no primeiro semestre de 2020 e segundo semestre de 2019 nos 46 cursos de graduação oferecidos.

Sendo uma Autarquia Federal, a UFRRJ se mantém com a verba proveniente de fundos públicos, tem a obrigação constitucional de oferecer serviços de qualidade e relevantes para a sociedade nas áreas de ensino, pesquisa e extensão.

Medir os resultados de um processo/serviço é uma função importante na gestão da qualidade de uma organização. Os resultados servem de base para a implementação de medidas corretivas e melhorias. O uso de indicadores de produtividade nos setores é essencial para a obtenção de informações que evidenciem como um setor da universidade está progredindo na execução de suas atividades.

Ao analisar a eficiência dos setores de uma organização, com base nas variáveis de entrada e saída, é possível uma série de informações relevantes, como indicadores, que podem auxiliar os gestores a tomarem decisões que gerem mudanças positivas nos setores, como, por exemplo, o dimensionamento da mão de obra.

No ano de 2022, a Universidade recebeu novas vagas para o cargo de Professor do Magistério Superior. A UFRRJ não possuía, até então, nenhuma metodologia para a distribuição de novas vagas. Os conselhos superiores começaram debates para a definição das variáveis e a metodologia utilizada para a definição de como as vagas seriam distribuídas.

Destarte, a pesquisa tem como foco a avaliação da eficiência técnica de todos os departamentos acadêmicos da Universidade Federal Rural do Rio de Janeiro. Para isso, buscou-se caracterizar as variáveis representativas para o insumo e produtos de cada departamento, classificando os departamentos com base na eficiência de utilização dos insumos “professores”, além de definir os departamentos que sirvam de exemplo para outros departamentos (Benchmarkings) e os alvos de produção (saídas) dos departamentos menos eficientes, comparando os resultados do Edital da UFRRJ com os da pesquisa.

2.  REFERENCIAL TEÓRICO

2.1  ADMINISTRAÇÃO PÚBLICA GERENCIAL

Em reposta à crise do Modelo Burocrático, surge New Public Management (NPM) ou Nova Gestão Pública. Segundo [32]​​ foi um movimento influenciado por pensamentos neoliberais oriundos, principalmente, do Reino Unido e Estados Unidos da América nas décadas de 1970 e 1980. Nas palavras de [24], o modelo possui posicionamento que privilegia a inovação em busca de eficiência, redução de custos e aumento da qualidade, tendo como principal diferença, em relação ao modelo burocrático, sua forma de controle, concentrando-se nos resultados e nos fins pretendidos.

Outro fator que contribuiu para o surgimento da Nova Gestão Pública, de acordo com [12]​​ foi a globalização, pois os países ao invés de protegerem suas economias, passaram a ter a nova função de torná-las competitivas internacionalmente, gerando a necessidade de redefinir suas funções.

No Brasil, a New Public Management ficou conhecida também como Administração Pública Gerencial. Efetivamente, no Brasil, o novo modelo começa a ser implantado no governo de Fernando Henrique Cardoso, em 1995.

Segundo o ex-ministro, [3], a Administração Pública Gerencial possui os seguintes aspectos, como: o conceito de cliente-cidadão, administração por objetivos, descentralização, conceito de governança, maior autonomia para os servidores e planejamento estratégico na gestão pública.

Além disso, na Nova Gestão Pública, há a ideia de utilizar indicadores na administração pública e contratar serviços públicos por meio de contratos. [25]. No que diz respeito à governança, os dados fornecidos por indicadores contribuem para mensurar o desempenho dos objetivos estratégicos da organização, além de servir como guia no processo que envolve as tomadas de decisões [15].

2.2  PRODUTIVIDADE E EFICIÊNCIA

Produtividade e eficiência são dois conceitos que são geralmente entendidos da mesma maneira. Para [27]​​ a sinonimização desses conceitos pode levar a confusões, visto que eles per se expressam aspectos diferentes do processo produtivo. Visando mostrar as diferenças entre os conceitos de produtividade e eficiência, seguem suas respectivas definições e conceitos.

De forma geral, a produtividade é razão entre quantidade de produtos ou serviços produzidos sobre a quantidade de recursos utilizados, quando o sistema produtivo possui apenas um insumo (input) e um produto (output), a produtividade = output / input, a produtividade mostra o que foi produzido. A produtividade é como um indicador de eficiência sobre como uma empresa, indústria ou país utiliza seus ativos existentes [10]; [19].

De acordo com [27]​​ a produtividade é definida como sendo a relação entre um output (y) e um input (x) - (y/x), de tal forma que quanto maior for essa relação, maior é a produtividade. Ainda, segundo [27]​​ quando existem múltiplos inputs e múltiplos outputs no processo de produção, é necessário ponderar os inputs e outputs, substituindo-os por um valor agregado. Assim, surge um conceito mais exaustivo, chamado de produtividade total dos fatores (PTF). Ele é definido como o quociente entre a soma ponderada dos s outputs (y) produzidos e a soma ponderada dos m inputs (x) utilizados, conforme a Equação (1):

Onde os v e u são as respectivas ponderações dos produtos e insumos que permitem criar o valor agregado dos y e x.

Segundo [17], uma definição comum de eficiência, em termos mais técnicos, é a relação entre saídas e entradas, ou resultados e recursos. Para [1], a eficiência pode ser determinada pela capacidade de evitar o desperdício de recursos e tempo para produzir-se um resultado determinado. Na prática, resume-se na capacidade de atingir um resultado utilizando o mínimo de recursos possível. Esses conceitos de eficiência se aproximam do conceito de eficiência técnica de [26], onde o autor diz que há eficiência técnica quando se emprega o menor nível de insumos possível para produzir um nível dado de produção, ou quando se obtém o maior nível de produção possível com um dado nível de insumo. A eficiência técnica, de acordo com [8], é quando a empresa obtém o máximo possível de produto com a quantidade de fatores utilizada, ou é capaz de produzir a quantidade escolhida com o mínimo possível dos fatores de produção. Isto implica assumir que não há desperdício de recursos.

Pode-se dizer que, após as definições de eficiência citadas, o conceito de eficiência é semelhante ao da produtividade. Buscando diferenciar os conceitos, é possível afirmar que a eficiência tem a característica de ser comparativa, sendo assim, é a razão da produção atual ou desempenho atual pelo máximo que poderia ser produzido ou o desempenho que o sistema poderia alcançar.

O conceito de eficiência é ampliado por [16]​​ como sendo a divisão entre um indicador de desempenho de um objeto e seu correspondente máximo. Com base nessa definição, a eficiência pode ser calculada pela Equação (2), onde o resultado é sempre um valor entre 0 e 1, podendo assim ser expresso em termos percentuais.

onde:

P: Produtividade Atual ou Indicador de desempenho atual de um determinado sistema.

Pmax: Produtividade máxima ou Máximo valor que o sistema pode alcançar.

2.3  DIMENSIONAMENTO DA FORÇA DE TRABALHO

Um dos problemas de tomada de decisão mais importantes, comum a todos os ramos, é o planejamento da força de trabalho. O planejamento da força de trabalho faz parte da gestão de recursos humanos. Ele inclui vários níveis de complexidade, portanto, é um problema de otimização difícil [9].

O Planejamento da Força de Trabalho pode ser definido como um processo contínuo de definição do número ideal de pessoas, adequação de perfil no sentido de aquisição de novas competências e alinhamento aos objetivos estratégicos da organização [30].

Segundo [5], o dimensionamento visa verificar se o quantitativo de funcionários alocados na instituição corresponde ao necessário para a realização de suas atividades diárias, levando em consideração as inovações tecnológicas e seus processos laborais.

Quando um órgão público pretende realizar um concurso pressupõe o estabelecimento do número de vagas ofertadas para a livre concorrência daqueles que farão as provas, ou seja, o órgão realizador deve ser capaz de quantificar a sua necessidade por pessoas [30].

A respeito do processo de planejamento da força de trabalho, [23]​​ resumem as etapas desejáveis em um bom planejamento:

1. Alinhar a estratégia do negócio e da organização: o plano estratégico do negócio e da organização pode fornecer insights sobre as mudanças esperadas no volume de trabalho;

2. Analisar o ambiente externo: observar as tendências da indústria, economia, fatores regulatórios e avanço tecnológico.

3. Analisar a força de trabalho interna: a segmentação da força de trabalho e as tendências da força de trabalho, tais como distribuição de idades, aposentadorias de lideranças e posição técnica crucial.

4. Avaliar e determinar as necessidades futuras da força de trabalho de dois componentes de previsão: a estimativa de carga de trabalho e requisitos de pessoal; e competências e habilidades necessárias.

5. Identificar lacunas na força de trabalho: as informações sobre a força de trabalho atual e disponível, bem como os requisitos futuros, ajudarão a identificar as lacunas que precisam ser abordadas.

6. Desenvolver uma estratégia para fechar a lacuna: a estratégia mais comum para fechar o planejamento da força de trabalho é baseada nos conceitos Comprar, Construir e Emprestar. Comprar é contratar novos talentos de uma organização externa. Construir é desenvolver o talento dentro da organização. Emprestar é adquirir talentos de organizações externas. Poderia estar usando um trabalhador contingente ou terceirizar.

7. Monitoramento e avaliação: os indicadores de avaliação comuns incluem dados demográficos da força de trabalho, dados demográficos em cargos e ocupações de missão crítica, medição de lacunas na força de trabalho, taxas de retenção e avaliações do clima dos funcionários.

3.  MATERIAL E MÉTODOS

O objetivo geral da presente pesquisa é analisar a utilização dos professores, nas suas atividades do magistério superior, por meio da Análise envoltória de Dados, fornecendo ao final do processo indicadores para alimentar as discussões sobre a distribuição de novos códigos de vagas do Magistério Superior.

A pesquisa tem como foco dos 62 departamentos acadêmicos da UFRRJ, nos quais estão lotados os professores, responsáveis pelas atividades de docência da Universidade.

Os dados coletados referem-se à dimensão da produção no ensino, pesquisa e extensão dos departamentos, com base nos dados disponibilizados no Sistema Integrado de Gestão da UFRRJ, nos períodos de períodos acadêmicos de 2019-I, 2019-II, 2020-I, 2020-II.

Com relação à natureza do estudo é possível classificá-lo como aplicada, pois os resultados da pesquisa podem servir de subsídios para os gestores da UFRRJ, contribuindo para os debates sobre a distribuição de novas vagas do magistério superior.

A forma da abordagem da pesquisa pode ser classificada como quantitativa, visto que os dados da pesquisa são provenientes de relatórios gerados sobre as atividades dos docentes na UFRRJ, ou seja, lida com fatos que ocorreram em um determinado período, e não com fenômenos. A pesquisa utiliza-se de variáveis e quantifica, classifica e analisa informações.

No que diz respeito aos objetivos da pesquisa, este trabalho é classificado como descritiva, dado que a pesquisa busca criar uma visão que represente matematicamente a eficiência na utilização dos insumos pelos departamentos.

No tocante à coleta de dados, os procedimentos técnicos podem classificados em: pesquisa ex-post-facto, pesquisa documental e proveniente de dados secundários.

.

3.1  ANÁLISE ENVOLTÓRIA DE DADOS (DATA ENVELOPMENT ANALYSIS – DEA)

A DEA avalia a eficiência relativa no uso dos recursos de empresas pertencentes a um mesmo setor ou ramo de atividades, com base no critério de múltiplas entradas e saídas [22]; [21]. Quando organizações ou unidades de uma organização maior possuem variáveis comuns à ambas, são passíveis de comparação. Essas unidades são denominadas no modelo como DMUs – Decision Making Unit's. As DMUs são os objetos da pesquisa nos modelos de DEA.

Segundo [7], a análise envoltória de dados (DEA) é um exemplo de abordagem de fronteira. As abordagens de fronteira identificam e avaliam as áreas ou exemplos de melhor desempenho, ou melhor, prática dentro da amostra, ou seja, aqueles localizados na fronteira.

Os pesos são atribuídos pelo próprio modelo de programação, que procura sempre a melhor combinação de pesos que permita que a DMU obtenha a maior eficiência relativa possível [1]. De acordo com [22], alguns autores salientam ainda que a grande vantagem da DEA é permitir que cada unidade avaliada busque a eficiência de maneira distinta, de tal forma que atenda às suas especificidades.

Outra característica do modelo é o fornecimento de benchmarkings. Nas palavras de [31], a técnica DEA permite que as DMUs eficientes atuem como referência para as outras DMUs ineficientes. O modelo, gera também alvos relativos aos outputs, apontando o quanto uma DMU deve aumentar suas saídas (produção) para que se torne eficiente ou apontando o quanto uma DMU deve diminuir suas entradas para se tornar eficiente.

Para [31], dois modelos de DEA são considerados clássicos: o modelo CCR ou CRS e o BCC ou VRS. O modelo CCR, desenvolvido no final da década de 70, por [4], se baseia na hipótese de retornos constantes de escala, partindo do princípio de que cada aumento nos inputs/insumos vai gerar um aumento proporcional nos inputs/outputs [18]. A medição de eficiência do DEA CCR é conhecida como Eficiência Técnica, também denominada medida de Produtividade Global ou Eficiência Produtiva.

Banker, Charnes e Cooper, em 1984, ajustaram o modelo DEA CCR para a hipótese de retornos variáveis de escala, referindo-se a ele como o modelo DEA BCC, ou seja, o modelo DEA sob condições de retornos variáveis de escala (VRS) [18]. O modelo não assume proporcionalidade entre inputs e outputs, permitindo que DMUs que operam com baixos valores de inputs tenham retornos crescentes de escala e as que operam com altos valores tenham retornos decrescentes [6].

Ao observar o trabalho de [31], a linha de programação (3), é construída com base na suposição de que a cada DMUw = 1, 2, 3,.., n usa r = 1, 2, 3,..., s inputs (xr.w) para produzir l = 1, 2, 3,..., m outputs (yl.w) o modelo subsequente da programação linear é articulado para medir a eficiência: ​​ min θ, de tal modo que,

θ sem restrições em que,

xr.o refere-se a DMU o com rth input

yl.o refere-se a DMU o com lth output

kW denota o peso da DMU w

Existem s entradas e m saídas para todas as w DMUs.

 A eficiência de cada DMU é medida pela variável θ produzindo uma pontuação que varia de 0 a 1. A linha de programação (3) refere-se ao modelo DEA BBC, ou de retornos variáveis de escala. Caso seja removida a restrição ∑w=1nλW=1sum from {w=1} to {n} {{λ} rsub {W} =1}, o modelo torna-se o DEA CCR, ou de retornos constantes de escala.

De acordo com [35], ao determinar o índice de eficiência, os modelos DEA podem ser benevolentes, ou seja, muitas DMUs podem ser consideradas eficientes. Para contornar essa situação é possível usar a eficiência invertida, a eficiência composta e a eficiência composta normalizada, assim sendo, cria-se um critério para desempate.

Visando aumentar o poder de discriminação da DEA, ou seja, reduzir o número de DMUs vinculadas à fronteira de eficiência, bem como identificar as DMUs classificadas como “default-efficient”, ou seja, quando uma unidade é beneficiada pelo modelo, apenas por ter uma variável com desempenho proeminente, é usado a fronteira invertida. Um valor alto para a eficiência invertida pode significar que a DMU está na fronteira da eficiência devido apenas à benevolência do modelo [35].

Para se chegar aos resultados da fronteira invertida, equação (4), o cálculo é realizado considerando os produtos como insumos e os insumos como produtos, e seguidamente resolve-se o modelo normalmente com orientação invertida do modelo DEA original [28].  ​​ ​​ ​​ ​​ ​​ ​​ ​​ ​​ ​​ ​​ ​​ ​​ ​​ ​​ ​​ ​​ ​​ ​​ ​​​​ 

Segundo [28], o cálculo da normalização da eficiência composta é feito dividindo os valores da eficiência composta obtida em cada DMU pela maior de todas as medidas de eficiência compostas, indicada. Assim, a eficiência composta normalizada é definida pela equação (5). Quanto maior for o score da DMU, mais perto da fronteira de eficiência ela se encontra.

Existem dois tipos de orientações na literatura DEA. Uma é a medida orientada a insumos que visa minimizar os insumos mantendo o nível existente de produtos, e a outra é a medida orientada a produtos que visa maximizar os produtos mantendo os níveis existentes de insumos [21].

.

3.2  VARIÁVEIS E PROCEDIMENTOS DA PESQUISA

 Para avaliar a produção dos 62 departamentos acadêmicos da UFRRJ, a presente pesquisa, inicialmente, levou em considerações as variáveis que poderiam ser extraídas do SIG da UFRRJ. Após a publicação do Edital de distribuição de vagas da Universidade, em 2022, este serviu de comparação para confirmar se as variáveis consideradas seriam adequadas e representavam, dentro dos limites, a produção dos departamentos. A pesquisa, baseando-se no edital da UFRRJ, dividiu as variáveis em duas dimensões: A dimensão do ensino e a dimensão relativa às atividades de pesquisa, orientação à Bolsistas e extensão.

A dimensão do ensino, basicamente, leva em consideração a carga horária das disciplinas, número de alunos e professores nas turmas de graduação e pós-graduação. A dimensão da pesquisa e extensão representa as atividades de pesquisas, orientações e extensão.

Algumas observações sobre as variáveis escolhidas devem ser feitas, a primeira é referente a carga horárias das turmas disponibilizadas pelas coordenações de cursos de graduação, que são as atividades acadêmicas, na dimensão do ensino. Como no Edital da UFRRJ, foi atribuída uma carga horária de 15 horas para essas turmas, pois no geral, são turmas com disciplinas como estágios e outras orientações, onde o professor não atua lecionando em sala de aula.

A segunda observação é referente as turmas de Pós-graduação e Atividades Acadêmicas (ENSINO), uma turma pode ter mais de um professor, sendo estes, de departamentos diferentes, pois essas turmas não são disponibilizadas diretamente pelos departamentos, como na graduação, e sim pelos PPGs e Coordenações de Cursos, respectivamente. Nessa situação houve a divisão das horas entre os professores que participaram nas turmas, mantendo-se a quantidade de alunos.

A Terceira observação é sobre a variável de entrada “professores”. Esta pesquisa busca subsidiar os gestores com informações uteis para aplicação no processo de distribuição de novas vagas do magistério superior, realizando uma avaliação da eficiência na utilização do insumo professor nas atividades do magistério superior da universidade. Por esse motivo a pesquisa optou por apenas um único insumo, os professores.

A UFRRJ é uma prestadora de serviços, sendo assim, o insumo “professor” é usado múltiplas vezes nas atividades da universidade, diferentemente, por exemplo, de uma matéria-prima em uma indústria, que após o uso é consumida. No geral, as pesquisas que utilizam a DEA para avaliação da eficiência de departamentos acadêmicos utilizam o tamanho do departamento como input, por exemplo: caso um departamento possua 20 professores, então o valor de 20 vai ser usado como input no modelo DEA para aquela DMU. No estudo que aqui se realiza, caso um departamento possua, por exemplo, 20 professores, a DMU correspondente aquele departamento não terá como input 20 professores no modelo DEA.

A escolha de utilizar a quantidade de vezes que os professores foram empregados nas atividades do magistério superior surgiu no momento da coleta de dados da pesquisa. Foi observado que nas turmas disponibilizadas pelos próprios departamentos na graduação (ensino), em um determinado semestre uma turma tinha um professor alocado, no outro semestre, a turma tem dois ou mais professores alocados. Esse padrão foi percebido ao longo da coleta de dados com outros departamentos, em um certo nível, a maioria dos departamentos subutilizam o insumo professor, pois usam mais professores nas suas atividades (insumos), sem haver um incremento nas horas ou número de alunos (saídas). Como a pesquisa tem como premissa avaliar a utilização dos professores nas atividades da universidade, optou-se pela abordagem da quantidade de vezes que os professores foram utilizados.

Levando em consideração o descrito por [26], para a consolidação dos dados para a execução dos cálculos, evitou-se a inclusão de grande número de insumos e produtos. De acordo com o autor, a consolidação dos insumos e produtos em categorias básicas evita também a redundância.

Quadro 1. Variáveis referentes aos insumos e saídas dos departamentos acadêmicos da UFRRJ

Quanto à orientação do modelo, foi escolhido aos resultados ou output-oriented, pois nesse modelo é possível apresentar os valores alvos referentes a produção que podem ser maximizados em cada uma das saídas dos departamentos.

Sobre a orientação do modelo, [22]​​ explica que no caso das IFES, que pertencem à administração pública, percebe-se que a natureza dos insumos utilizados, tais como número de docentes, recursos financeiros, já são escassos. Nesse sentido, o modelo que busca a eficiência voltada para a maximização da produção, mantendo-se os níveis de insumos, apresenta-se mais condizente com a natureza das atividades dessas organizações.

A pesquisa considera que os efeitos de escalas não são aplicáveis às atividades dos departamentos, pois a universidade não tem controle total das suas entradas e saídas.

O modelo selecionado para o cálculo da eficiência relativa entre as DMUs foi o CRS, constant returns scale, ou modelo CCR. A escolha deve-se ao fato de o modelo comparar todas as unidades juntas, da mesma maneira, sem classificá-las em escalas diferentes, permitindo assim uma competição mais justa, já que o objeto é a distribuição de vagas de professores. Há uma suposição de concorrência entre os departamentos. No casso do BBC, um departamento poderia receber vagas de professor só porque é de porte muito grande ou muito pequeno. Os autores [2]​​ apontam, ainda, que uma das características do modelo é a inapropriação de DMUs com inputs muito baixos, ou outputs muito altos serem consideradas eficientes, por não terem DMU em escalas comparáveis.

A escolha do modelo CCR se mostra viável, pois é possível identificar alguns autores que também o utilizaram na avaliação da eficiência no ensino superior: [14];[33]; [11]; [29]; [34].

O critério de desempate utilizado é o da eficiência composta normalizada, já que é sabido o modelo ser benevolente e algumas DMUs podem ser consideradas eficientes por ter alguma variável proeminente.

A pesquisa opta por não atribuir pesos as variáveis por três motivos: o primeiro, o modelo DEA busca atribuir pesos que maximizam a eficiência das DMUs, essa é uma das vantagens do modelo, logo avaliam pelo aquilo que a DMU faz melhor. Segundo, por entender que as atividades de pesquisa e extensão tem a mesma importância que atividades de ensino. Terceiro, a quantidade de produção dos departamentos nas atividades da dimensão de ensino, já pesam a favor dessas variáveis, pois superam em muito as atividades de pesquisa, orientação e extensão.

O aplicativo escolhido para a análise dos dados é Sistema Integrado de Apoio à Decisão (SIAD) v.3.0. O programa calcula os escores de eficiência de cada Unidade Tomadora de Decisão (DMUs) com base nas variáveis definidas como inputs e outputs. O aplicativo permite utilizar no máximo 100 DMUs e 20 variáveis [20]. A quantidade de DMUs e variáveis atendem a recomendação empírica apresentada por [13], onde o número de DMUs seja pelo menos o dobro ou o triplo do número de variáveis.

4.  RESULTADOS E DISCUSSÃO

A Tabela exibe os resultados das DMU, no modelo proposto, sem restrições aos pesos, com a eficiência composta normalizada como ranking, em ordem da DMU mais eficiente para a menos eficiente.

Tabela 1. Resultados do DEA-CCR-outputs, sem restrições aos pesos (continua).

A Tabela 2 mostra os intervalos de eficiências em que as DMUs da UFRRJ operam, sendo que, são consideradas eficientes pela pesquisa as DMUs que operam acima de 90% de eficiência.

A UFRRJ possui apenas 15 departamentos operando na faixa de eficiência dos 90%, e a 1 departamento sendo considerado 100% eficiente. A DMU_13, apesar de obter um índice de 100%, em um primeiro momento, após a aplicação de fronteira invertida e eficiência composta normalizada, constatou-se que sua eficiência se deu por conta das variáveis proeminentes relacionadas ao ensino. Com relação ao benchmarking, Tabela 3, seis unidades emergiram como referência para as demais, menos eficientes. Essas DMUs menos eficientes devem se espelhar nas práticas das eficientes para melhorar sua eficiência.

Para a análise dos scores obtidos pelas DMUs, foram selecionas as cinco primeiras DMUs e as cinco últimas DMUs no ranking formado no modelo DEA. O número de vezes que os professores dos departamentos foram utilizados nas turmas disponibilizadas na graduação, pelos departamentos, na dimensão do ensino (variáveis H_Ens e A_Ens) teve forte influência nos resultados. Dentro da dimensão do ensino, as turmas de graduação disponibilizadas pelos departamentos representam a maioria da produção.

Para efeitos de informação, 11.499 turmas foram disponibilizadas pelos departamentos, no ensino/graduação no período de 2019 e 2020, contra 1789 turmas disponibilizadas pelos PPGs da UFRRJ. As coordenações, que disponibilizam as turmas de Atividades Acadêmicas na graduação, no período citado anteriormente, disponibilizaram 1.466 turmas.

As DMUS: 32, 46, 40, 49 e 19, são as últimas no ranking, em termos de eficiência na utilização do insumo “professor”, assim, esses departamentos utilizam muitas vezes o insumo, sem possuir saídas proporcionais. Uma explicação para o resultado ruim deve-se, em parte, ao fato desses departamentos atribuírem às turmas de graduação mais de um professor, ou seja, utilizam muitos professores (aumentando as entradas), mas em contrapartida não há um aumento nas saídas (os resultados não aumentam), pois as variáveis de saída A_Ens e H_Ens permanecem as mesmas, na prática, os professores dividem o magistério das turmas. Em um modelo baseado em uma relação de eficiência produtiva, quando se usa muitos insumos e mantêm-se os níveis de saídas, a eficiência diminui.

Por exemplo, a DMU_04 disponibilizou 150 turmas nos anos de 2019 a 2020 na graduação, utilizando para isso 150 vezes os professores do departamento, logo a relação professor/turmas é 1. A DMU_19, conforme a Tabela 4, disponibilizou 277 turmas no período de 2019 a 2020, na graduação, e utilizou 784 vezes os professores do departamento nessas turmas, com uma relação professor/turma 2,8. Sendo assim, para cada turma, esse departamento usou em média quase 3 professores. Esse padrão foi observado nas turmas menos eficientes. A DMU_32, apesar de não possuir uma relação alta de professor/turma, não obteve nenhuma saída relativa à variável A_PBE e não participou em nenhuma turma de pós-graduação da universidade.

Com relação à variável A_PBE, das 05 DMUs menos eficientes, a DMU_49 praticamente não se envolveu nessas atividades. AS DMUs 19 e 46 obtiveram um score de 33 e 37, respectivamente, na variável A_PBE, acima da média de 17 atividades da UFRRJ. A DMU_40 teve um score de 10 na variável A_PBE, ficando abaixo da média.

Com base nas considerações apresentadas, o principal fator do baixo desempenho das 05 DMUs, com os piores rankings, foi a subutilização do insumo professor nas turmas de graduação. Os departamentos também possuem uma característica em comum, estando inseridos em um conjunto de departamentos que atendem (orbitam) apenas a um curso de graduação, que a pesquisa considera como Grupo 01, Figura 1.

Figura 1. Grupo de Departamento 01.

Para a análise das cinco primeiras DMUs (34, 22, 02, 56 e 37) que obtiveram os melhores resultados, a pesquisa se volta novamente para as turmas disponibilizadas pelos departamentos na graduação. Lembrando que, as turmas oferecidas pelos departamentos na graduação, compõem as variáveis A_Ens e H_Ens. Conforme consta na Tabela 5, as DMUs mais eficientes empregaram o insumo professor de forma mais eficiente nas turmas disponibilizadas por seus respectivos departamentos, assim sendo, não empregaram muitos insumos para obter seus resultados, ficando com a relação de eficiência entre as saídas e entradas melhor. As turmas desses departamentos foram ministradas na grande maioria das vezes por um único professor.

Levando em consideração a variável A_PBE, referente às atividades de Pesquisa, Extensão e Orientação à Bolsistas, das 05 DMUs mais eficientes, a DMU_22, foi a única que não se envolveu em atividades de extensão, no período de 2019 a 2020. As atividades de extensão fazem parte da variável A_PBE, que ainda leva em consideração as atividades de pesquisa e orientação aos bolsistas. A respeito da referida variável, todas as DMUs eficientes estão na média ou acima da média da UFRRJ de 17 atividades.

Conforme as considerações realizadas, as DMUs mais eficientes utilizaram os insumos com menos “desperdícios”, melhor dizendo, não subutilizaram os professores nas turmas de graduação e obtiveram bons scores nas demais variáveis, ficando acima das médias da UFRRJ. Em contrapartida, ao observado nas DMUs menos eficientes, aqui os departamentos fazem parte de um conjunto de departamentos que a pesquisa nomeou de grupo 02, Figura 2, que possuem a característica de atender apenas a um curso de graduação. Dos 5 analisados, quatro pertencem a esse conjunto. A outra DMU pertence a um conjunto de departamentos que atendem muitos cursos de graduação, como no caso dos departamentos que atendem aos ciclos iniciais dos cursos de graduação, sendo assim, a pesquisa classificou-o de grupo 03, Figura 2.

Figura 2. Grupos de Departamentos 02 e 03.

E por último, por meio da análise dos alvos de produções para as DMUs, conforme a Tabela 6 é possível perceber que as cinco DMUs mais eficientes possuem os alvos de produção (produção máxima teórica) dos outputs iguais aos níveis atuais, isso quer dizer que esses departamentos estariam operando sem subutilizar seus recursos. Caso essas DMUs necessitem aumentar suas saídas, como por exemplo, oferecer mais turmas ou oferecer novas disciplinas, devem receber novas vagas, pois já atuam no limite que seus insumos permitem, essas DMUs não possuem folgas ou a chamada “gordura para queimar.

.

Tabela 6. Outputs atuais e seus respectivos alvos.

A análise de alvos dos cinco departamentos menos eficientes, também na Tabela 5, revela o quanto esses departamentos devem aumentar suas saídas para se tornarem eficientes, ou seja, utilizando o insumo professor de forma mais eficiente. Esses departamentos não necessitariam de novas vagas, pois com insumos atuais, deveriam estar produzindo mais saídas. No caso da DMU_19, com a quantidade de insumos atuais, esses departamentos poderiam aumentar suas saídas referentes às variáveis A_Ens, H_Ens e A_PBE em 13.552 alunos, 19.606 horas e 62 atividades, respectivamente. Caso a DMU chegasse perto desses valores definidos nas metas, se tornaria eficiente.

4.1  COMPARAÇÃO COM O RESULTADO DO EDITAL DA UFRRJ

O Resultado do Edital da chamada pública da UFRRJ, visando a distribuição das novas vagas de professores do magistério superior, chegou ao final em dezembro de 2022. Conforme a Deliberação N.º 670/2022 - SAOC, 22 departamentos foram considerados aptos para receber novas vagas, com o edital limitando em uma vaga por departamento. Apenas 28 departamentos da UFRRJ participaram do edital.

Comparando os resultados do edital de chamada pública da UFRRJ com esta pesquisa, baseada no Modelo DEA CCR, é possível verificar que apenas 07 DMUs, das 16 DMUs que foram consideradas eficientes no modelo DEA estavam presentes entre as 22 DMUs que efetivamente receberam as vagas de professor do magistério superior. Por outro lado, 09 DMUs, que obtiveram um score menor ou igual a 70% no modelo DEA, isto é, que não são eficientes na utilização do insumo professor, foram classificadas para o recebimento de nove vagas. E ainda, 06 unidades que ficaram com um score entre menor que 90% e maior 70% no modelo DEA receberam novas vagas.

A pesquisa não visa expor os departamentos da Universidade Rural, por isso, para uma comparação mais detalhada entre os resultados, as grandes áreas do conhecimento podem ser uteis. Na Tabela 7 é apresentado o resultado dos 16 departamentos no modelo DEA, classificados por áreas do conhecimento.

Os departamentos pertencentes as áreas das Ciências Sociais Aplicadas, Ciências Humanas, Ciências Exatas e da Terra, Ciências da Saúde foram os mais eficientes no Modelo DEA. O resultado do Edital da UFRRJ é mostrado na Tabela 8.

Tabela 8. Resultado do Edital UFRRJ: Departamentos contemplados com novas vagas de professor.

Assim, os departamentos ligados as Ciências Sociais Aplicadas e Ciências Humanas obtiveram bons resultados em ambas as metodologias. Na metodologia da UFRRJ, os departamentos ligados às Ciências Exatas e da Terra ascenderam, obtendo bons resultados, seguidos pelos departamentos ligados as Ciências Agrárias, Ciências da Saúde, Engenharias e Linguística, Letras e Artes.

O Edital de Chamada Pública utilizou o número de professores lotados no departamento para obter algumas variáveis do modelo. O modelo matemático uso pelo edital é baseado em um somatório das variáveis. Analisando o número de professores lotados nos departamentos, isto é o tamanho dos departamentos, no período de 2019 e 2020, como base, é possível observar que dos 22 departamentos ganhadores do Edital da UFRRJ, 13 departamentos estão entre os departamentos com mais professores, considerando um departamento com mais de 20 professores como grande.

Apenas 19 departamentos, de um total de 62, possuem mais de 20 professores. Para efeitos de comparação, dos 16 departamentos considerados eficientes no modelo DEA, 06 departamentos estão entre os 19 departamentos com mais de 20 departamentos.

Com base nas informações coletadas, 68% dos departamentos, com mais de 20 professores, foram vencedores do Edital da UFRRJ. Ao passo que no modelo adotado nesta pesquisa, 32% dos departamentos com mais de 20 professores foram considerados aptos para o recebimento de novas vagas.

5.  CONSIDERAÇÕES FINAIS

A DEA é uma ferramenta poderosa, tornando o processo de decisão mais racional, oferecendo subsídios importantes aos gestores. O processo proposto nesta pesquisa visa subsidiar as discussões sobre o tema da distribuição de vagas, como base na relação de eficiência entre saídas e entrada dos departamentos da UFRRJ, possibilitando analisar nível de utilização do insumo “professor” pelos departamentos. Todavia, o processo de decisão, além, de contar com dados que sirvam de apoio às decisões, deve considerar as diversas situações subjetivas que envolvem a questão de distribuição de novas vagas. O método proposto não deve ser usado sozinho. Fatores subjetivos devem ser levados em consideração, mesmo assim, a técnica oferece um bom norteamento para a difícil tarefa distribuir novas vagas.

Cada departamento tem suas peculiaridades e características. Como mencionado anteriormente, existem situações específicas e subjetivas que devem ser levadas em consideração pelos gestores da universidade. ​​ 

Podem existir algumas situações, tais como:

• A necessidade de uma nova disciplina em um curso de graduação ou pós-graduação, sendo que nenhum professor do quadro atual consiga suprir.

• Planos futuros, como, por exemplo, sobre a criação de novos cursos de graduação ou pós-graduação, exigindo professores com conhecimentos e atuações específicas.

Os resultados mostraram que a quantidade de professores utilizados pelos departamentos nas turmas de graduação, disponibilizadas pelos próprios departamentos, é um fator relevante na eficiência da utilização dos insumos das unidades. Quando um departamento utiliza mais de um professor, em uma única turma, que pertence ao próprio departamento, sua eficiência diminui, pois está utilizando mais insumos nas suas atividades de docência, sem haver outputs correspondentes aquele incremento, desta maneira subutilizando o insumo professor. Caso esses departamentos passem a utilizar menos professores nas turmas disponibilizadas na graduação, e participem das demais atividades de ensino, pesquisas e extensão, deverão se tornar mais eficientes.

A pesquisa identificou a existência de 03 tipos de departamentos na Universidade, o grupo n.º 01 refere-se a um tipo de departamento, que possui a característica de pertencer a um conjunto de departamentos que orbitam um único curso de graduação. O grupo n.º 02 refere-se a um tipo de departamento, que possui como característica orbitar um único curso de graduação, isto é, um único departamento atende a um único curso de graduação. O grupo n.º 03 refere-se ao departamento orbitados por vários cursos de graduação, sendo assim, possuem como característica, um único departamento atendendo a diversos cursos de graduação. Quando analisados os resultados, os departamentos que pertencem ao grupo n.º 02 e grupo n.º 03 se saíram melhor que as unidades pertencentes no grupo n.º 01.

Os 16 departamentos ou DMUs mais eficientes na utilização do insumo “professor” devem ser levados em consideração para o recebimento das novas vagas, pois se encontram no limite do que podem produzir com seus atuais insumos, já que não subutilizam os docentes nas suas atividades. Na prática, são os departamentos que utilizam o insumo professor da melhor forma, de acordo com o modelo utilizado. Os departamentos menos eficientes, de outra maneira, subutilizam o insumo, sendo assim, não precisariam de novas vagas, pois, caso necessitem aumentar a produção, bastaria utilizarem de maneira mais eficiente os insumos atuais (professores). Apesar da pesquisa considerar um conjunto de variáveis limitadas, excluindo outras variáveis ligadas a produção dos professores, esta análise fornece indicações sobre a utilização dos professores pelos dos departamentos.

A metodologia aplicada nesta pesquisa não fornece um quantitativo de vagas que devem ser alocadas nos departamentos indicados como eficientes, apenas mostra quais unidades devem ser priorizadas, cabendo aos gestores definirem o número de vagas que cada departamento deve receber.

6.  REFERÊNCIAS

• BARBOSA, F. C.; FUCHIGAMI, H. Y. (2018). Análise Envoltória de Dados: Teoria e Aplicações Práticas. Editora da ULBRA, disponível em: https://conhecimentolivre.org/wp-content/uploads/2019/03/Livro-DEA1.pdf, 1.ª edição, p. 100, 2018.

• BENÍCIO, J.; MELLO, J. C. C. B. S. Retornos de escala em DEA: Críticas ao BCC e Novo Modelo. Temiminós Revista Científica-TeRCi, ISSN: 2317-7764, Rio de Janeiro, v. 04, n. 02, 2014.

• BRESSER-PEREIRA, L. C. O modelo estrutural de gerência pública. Revista de Administração Pública, ISSN: 0034-7612, Rio de Janeiro, v. 42, n. 2, p. 391-410, 2008.

• CHARNES, A.; COOPER, W.W.; RHODES, E. L. Measuring the efficiency of decision-making units. European Journal of Operational Research, Elsevier, ISSN: 0377-2217, [Amsterdam], v. 2, n. 6, p. 429-444, 1978.

• CORRÊA, R. O.; VASCO, V. F.; OLIVEIRA, F. R.; SILVA, M. A.; SILVA, L. M. O.; HOLANDA, L. S. P. Dimensionamento de pessoal técnico-administrativo da Universidade Federal de Sergipe. In: XVII Colóquio Internacional de Gestão Universitária, Mar del Plata, ISBN: 978-85-68618-03-5, novembro, 2017.

• CORREIA, T. C. V. D.; MELLO, J. C. C. B. S. M.; ÂNGULO, L. Eficiência técnica das companhias aéreas brasileiras: um estudo com análise envoltória de dados e conjuntos nebulosos. Production, ISSN: 0103-6513, Niterói, v. 21, n. 4, p. 676-683, 2011.

• DIBACHI, H. Measuring the Efficiency and Ranking of Photocatalytic Degradation of AZO dye AR 206 and COD Using Data Envelopment Analysis. Theory of Approximation and Applications, ISSN: 2538-2217, Arak, v. 16, n .2, p. 1-15, 2022.

• FERNANDES, M. M.; SPROESSER, R. L.; PEREIRA, W. G. P. Determinants of the technical efficiency of the brazilian sucroenergy industry. Revista Custos e agronegócio on-line, ISSN: 1808-2882, Recife, v. 15, n. 4, p. 1-503, 2019.

• FIDANOVA, S.; LUQUE, G.; ROEVA, O.; PAPRZYCKI, M.; GEPNER, P. Hybrid Ant Colony Optimization Algorithm for Workforce Planning. Computer Science and Information Systems, ISSN: 2406-1018, Poland, v. 15, p. 233-236, 2018.

• GAWRYSZEWSKI, B.; MELLO, L. M. A agenda da produtividade da confederação nacional da indústria: qual o papel da (contra) reforma do ensino médio. Revista Pedagógica, ISSN: 1984-1566, Chapecó, v. 22, p. 1-27, 2020.

• GIACOMELLO, C. P.; OLIVEIRA, R. L. Análise Envoltória de Dados (DEA): Uma Proposta para Avaliação de Desempenho de Unidades Acadêmicas de uma Universidade. Revista Gestão Universitária na América Latina, ISSN: 1983-4535, Florianópolis, v. 7, n. 2, p. 130-151, 2014.

• GOMES, A. L. N.; SILVA, N. G. A. Modelos de Administração Pública Presentes na Gestão de Instituições de Ensino Superior (IES). Revista Eletrônica de Estratégia & Negócios, ISSN: 1984-3372, Florianópolis, v.13, Edição Especial 1, p. 22-37, 2020.

• GOMES, E. G.; MANGABEIRA, J. A. C. Uso de Análise de Envoltória de Dados em Agricultura: O Caso de Holambra. ENGEVISTA, ISSN: 1415-7314, Niterói, v. 6, n. 1, p. 19-27, 2004.

• LEAL, G. S.; MORAIS, G. S.; FERREIRA, V. C. P.; SAMPAIO, D. O.; BESSEGATO, L. P. Análise Envoltória de Dados e sua Sensibilidade Quanto a Seleção de Variáveis na Análise de Eficiência de Unidades Acadêmicas da Universidade Federal de Juiz de Fora. Revista Horizontes Interdisciplinares da Gestão, ISSN: 2594-7788, Belo Horizonte, v. 2, n. 2, p. 106-134, 2018.

• LEMOS, J. E. S.; RIBEIRO FILHO, C. A. S.; RIBEIRO, R. E. M.; MOURA, K. B.; CAVALCANTE, R.R.C.; FONSECA, A.R.N. Supporting Decisions and Guiding Results with use of Indicators in Public Management. Research, Society and Development, ISSN: 2525-3409, Vargem Grande Paulista, v. 9, n. 8, p. 01-18, 2020.

• MARIANO, E. B.; ALMEIDA, M. R.; REBELATTO, D. Princípios Básicos para uma Proposta de Ensino sobre Análise por Envoltória de Dados. In: Anais do XXXIV Congresso Brasileiro de Ensino de Engenharia, ISBN: 85-7515-371-4, Passo Fundo, setembro, 2006.

• MANZOOR, A. A Look at Efficiency in Public Administration: Past and Future. SAGE Publications, SAGE Open, ISSN: 2158-2440, Newbury Park, v. 4, n. 4, 2014.

• MARCHETTI, D.; WANKE, P. Brazil's rail freight transport: Efficiency analysis using two-stage DEA and cluster-driven public policies. Socio-Economic Planning Sciences, ISSN: 1873-6041, Elsevier, [Amsterdam], v. 59, p. 1-17, 2016.

• MELLO, J. C. C. B. S.; ANGULO MEZA, L.; SILVEIRA, J. Q.; GOMES, E. G. About negative efficiencies in cross evaluation BCC input-oriented models. European Journal of Operational Research, ISSN: 1872-6860, Elsevier, ​​ [Amsterdam], v. 229, n. 3, p. 732-737, 2013.

• MEZA, L. A.; NETO, L. B.; MELLO J. C. C. B. S.; GOMES, E. G. ISYDS – Integrated System for Decision Support (SIAD – Sistema Integrado de Apoio a Decisão): a software package for data envelopment analysis model. Pesquisa Operacional, ISSN: 1678-5142, Rio de Janeiro, v.25, n.3, p 493-503, 2005.

• MOGHA, S. K.; KUMAR, A.; KUMAR, A., KUNROO, H. K. Performance Measurement of Academic Departments: Case of a Private Institution. In: PANT, M.; RAY, K.; SHARMA, T.; RAWAT, S.; BANDYOPADHYAY, A. (EDS) Soft Computing: Theories and Applications. Advances in Intelligent Systems and Computing, Springer, ISSN: 2194-5365, Singapore, v. 584, 2018.

• MOREIRA, N. P.; BENEDICTO, G .C.; CARVALHO, F. M. Discussão de alguns condicionantes da eficiência em universidades federais brasileiras a partir do Reuni. Revista do Serviço Público, ISSN: 2357-8017, Brasília, v. 70, n. 3, p. 429-457, 2019.

• PAHLANIE, R.; GHAZALI, A.; DARYANTO, W. M. Workforce Planning to Support Company Target Achievement. International Journal of Business, Economics and Law, ISSN: 2289-1552, Malaysia, v. 22, n. 1, p. 88-96, 2020.

• PINTO, B. P. F.; SILVA, M. R. P.; OLIVEIRA, G. P. T. C.; MARQUES, V. P. Renovação e Eficiência: Administração Pública Gerencial no Âmbito Judiciário. Revista Humanidades e Inovação, ISSN: 2358-8322, Tocantins, v.8, n.51, p. 91-102, 2021.

• PIRES, R.; LOTTA, G.; OLIVEIRA, V. E. Burocracia e Políticas Públicas no Brasil: interseções analíticas. Editora IPEA/ENAP, ISBN: 978-85-7811-331-5, Brasília, 1.ª edição, p. 413, 2018.

• ROSANO-PEÑA, C. Um Modelo de Avaliação da Eficiência da Administração Pública através do Método Análise Envoltória de Dados (DEA). Revista de Administração Contemporânea, ISSN: 1982-7849, Curitiba, v. 12, n. 1, p. 83-106, 2008.

• ROSANO-PEÑA, C.; GOMES, E. B. P. Eficiência e produtividade no setor público: conceitos e medidas. In: Gestão Judiciária: conteúdos e disciplina, Editora IABS, ISBN: 978-85-64478-70-1, Brasília, p. 263, 2018.

• RODRIGUES, M. V. S.; PEREIRA, R. F.; AQUINO, M. D.; THOMAZ, A. C. F. Avaliação da eficiência relativa do setor eólico dos estados brasileiros no período de 2016 a 2020: uma aplicação da fronteira invertida em análise envoltória de dados. Revista Tecnologia e Sociedade, ISSN: 1984-3526, Curitiba, v. 18, n. 51, p. 166-188, 2022.

• RODRIGUES, W. Análise envoltória de dados para avaliação da eficiência da pós-graduação na Amazônia Legal brasileira. Revista Brasileira de Pós-Graduação, ISSN: 2358-2332, Brasília, v. 14, n. 33, p. 1-33, 2017.

• SANTOS, A. P.; SILVA, A. C. A. M.; FERREIRA, M. A. C. Um método simplificado para dimensionamento da força de trabalho na administração pública federal. In: X Congresso CONSAD de Gestão Pública, disponível em: https://dimensionamento.paginas.ufsc.br/files/2021/06/2017_Santos_Silva_Ferreira.pdf, Brasília, p. 1-12, julho, 2017.

• SETH, H.; CHADHA, S.; SHARMA, S. Benchmarking the efficiency model for working capital management: data envelopment analysis approach. International Journal of Productivity and Performance Management, Emerald Publishing, ISSN: 1741-0401, Bingley, v. 70, n. 7, p. 1528-1560, 2020.

• SILVA, M. A.; PACHECO, R. G. Presença da Nova Gestão Pública na educação básica do Distrito Federal - 2007-2020. Revista Educação e Políticas em Debate, ISSN: 2238-8346, Uberlândia, v. 10, n. 3, p. 1245-1262, 2021.

• SOLIMAN, M.; SILUK, J. C. M.; NEUENFELDT JÚNIOR, A. L.; CASADO, F. L.; PARIS, S. R. Modelagem para avaliação da eficiência técnica de unidades universitárias. Gestão da Produção, Operações e Sistemas, ISSN: 1984-2430, Bauru, v. 9, n. 1, p. 69-83, 2014.

• SOLIMAN, M.; SILUK, J. C. M.; NEUENFELDT JÚNIOR, A. L.; CASADO, F. L. Assessment of technical efficiency of Business Administration Courses in Brazil. Revista de Administração da Universidade Federal de Santa Maria, ISSN 1983-465, Roraima, v. 10, n. 2, p. 188-203, 2017.

• TAVARES, R.S.; ANGULO MEZA, L. Performance evaluation of undergraduate courses at a Brazilian Federal University. Ensaio: Avaliação e Políticas Públicas em Educação, ISSN: 1809-4465, Rio de Janeiro, v. 29, n. 110, p. 206-233, 2021.