Ficha de Leitura 2

Ficha de Leitura

Autora: Estela Gomes

1. Data da elaboração da ficha de leitura: 5 de Novembro de 2011

2. Fonte:

Autor: Guglielmo Trentin

Título: Using a wiki to evaluate individual contribution to a colaborative learning project

Contexto: Journal of Computer Assisted Learning

Ano: 2008

Páginas: 43 - 55

3. Breve resumo

Uma das maiores dificuldades que o professor enfrenta no dia-a-dia da sua prática pedagógica é avaliar o trabalho efetuado em grupo.

Uma das estratégias pedagógicas privilegiadas, em particular em Elearning, é o trabalho colaborativo: as atividades online podem beneficiar com as enormes possibilidades que o trabalho desenvolvido em grupo pode evidenciar, nomeadamente na interação entre os diferentes elementos do grupo e do estímulo social que podem provocar. O wiki é uma ferramenta excecional para potenciar o trabalho colaborativo e cooperativo e aumenta as possibilidades de monitorização, por parte do professor, do trabalho, para além de permitir a edição pelos elementos de um grupo, bem como possibilitar a colocação direta de outras formas de enriquecimento da produção. Para além das virtudes já descritas, o wiki permite o desenvolvimento de competências linguísticas e sociais e estimula o aumento da cognição através da partilha de conhecimento e experiências entre os elementos do grupo. No entanto, é difícil avaliar o processo que levou à produção do trabalho final e qual o nível de progresso individual de cada estudante.

Foi levada a cabo uma investigação em duas edições sucessivas de um curso online promovido pela Network Technology & Human Resources Development na Political Science Faculty of the University of Turin, e que envolvia cerca de 30 estudantes.

A ferramenta escolhida para que os estudantes desenvolvessem a demanda exigida foi o wiki pelos motivos já apontados anteriormente, em particular o PBWiki. Para além de visualizar a sua própria página de grupo, os estudantes podem consultar o que os outros estudantes, de outros grupos, vão produzindo; o facto de poderem consultar o progresso do trabalho, é um fator de motivação adicional para que o enriquecimento do trabalho se faça pela troca de ideias entre os elementos da comunidade. O professor definiu regras para a elaboração do trabalho e o objetivo seria desenvolver a capacidade dos estudantes resumirem os conceitos estudados e identificarem o maior número de ligações entre eles; não poderiam utilizar mais do que 20 linhas por página. Caso pretendessem fazer uma extensão do trabalho, deveriam criar links na sua página que remetessem o leitor para outras informações, sendo que só eram permitidos três níveis de acesso a partir da home page.
Todos os estudantes deveriam estar motivados a ter um papel ativo na construção do wiki de acordo com os seguintes itens:

· Estudo individual dos materiais disponibilizados;

· Existência de um plano de trabalho que contemplasse a estrutura e a divisão do mesmo;

· Desenvolvimento das diferentes subdivisões do Wiki;

· Criação de hipertexto;

· Peer Review.

I - A avaliação do trabalho individual de cada estudante

Esta avaliação obedece a três critérios:

· O nível de conhecimento atingido e o número de competências desenvolvidas enquadradas nos objetivos predefinidos;

· O tipo de produto desenvolvido individualmente e coletivamente em colaboração com outros estudantes (estrutura, assertividade, coerência, qualidade do hipertexto, cumprimento dos objetivos da tarefa, estrutura conceptual). Aos estudantes era ainda pedido que avaliassem o trabalho desenvolvido pelos pares;

· Processo colaborativo desenvolvido pelos estudantes para atingir os objetivos propostos na atividade.

O nível de participação de cada estudante seria avaliado de acordo com quatro parâmetros:

· A contribuição no fórum destinado ao planeamento do trabalho;

· A contribuição dada no Peer Review;

· A contribuição para o desenvolvimento do trabalho exposto no wiki;

· A contribuição para o desenvolvimento dos conteúdos.

Contribuição no fórum destinado ao planeamento do trabalho

P(fórum) = 3× A% +1.5×B% + 0.5×C%

Sendo, A = mensagens que contribuem para o desenvolvimento dos conteúdos do trabalho (peso 3); B = mensagens reveladoras de liderança e decisão (peso 1,5); C = Todas as outras mensagens (peso 0.5).

Este valor é depois normalizado após ter sido comparado com o valor mais elevado da avaliação atribuída P(fórum,norm)

Contribuição para o peer review

Esta avaliação tem a ver com os comentários individuais de cada estudante ao longo do peer review dos colegas. Uma classificação de 0 a 5 é atribuída a cada comentário recebendo de volta a opinião de cada comentado sobre a importância dessa pontuação.

Construiu-se uma matriz em que cada coluna indicava a opinião dos revisados e cada linha a opinião dos revisores; a intercessão entre as linhas e as colunas correspondia a uma pontuação na escala de Likert (0-5).

Contribuição para o desenvolvimento do trabalho exposto no wiki

Esta avaliação relaciona-se com o número de ligações que cada estudante encontra entre a sua página e as páginas dos outros estudantes. Esta avaliação tem um índice de ponderação menor porque tem um lado subjetivo que não deve ser desconsiderado.

A contribuição para o desenvolvimento dos conteúdos

Esta contribuição é avaliada considerando o número de páginas e o total de carateres produzidos por cada estudante. De novo se atribui um índice de ponderação baixo a esta questão (1,2 pontos) uma vez que é uma avaliação quantitativa e não qualitativa de cada contribuição escrita do estudante.

Por exemplo, suponhamos que se trata de um trabalho de 77 páginas e que o estudante produziu 6 dessas páginas, então: P(pp,norm) = 7.8 (6:77×100)

Continuando o exemplo dado, se existissem 15400 palavras das quais 1400 fossem produção do estudante, então Pwords,norm = 9.1, o que totalizava:

P(content,norm) = P(pp,norm) + P(words,norm) = 16.9

Cálculo da contribuição individual de cada estudante

P(total)=ΣP(norm)=

P(fórum,norm)+P(peer-review,norm)+P(links,norm)+P(content,norm)

II - Avaliação do trabalho colaborativo

A avaliação do trabalho colaborativo evidenciado pelo grupo vai depender de três fatores:

· Distribuição das contribuições dos vários elementos do grupo ao longo do fórum destinado à planificação da estrutura do trabalho;
· Contribuição para a peer-review;
· Contribuição para a construção do hipertexto.

Distribuição das contribuições dos vários elementos do grupo ao longo do fórum destinado à planificação da estrutura do trabalho

Nesta avaliação é utilizada uma tabela de incidência para registar as interações entre os participantes na discussão de grupo.

Uma tabela de incidência é uma tabela de dupla entrada usada para a avaliação do tipo de mensagens, onde os subtotais de cada coluna representam o número de mensagens emitidas e onde os subtotais de cada linha representam o número de mensagens rececionadas. O total de mensagens é dado pela soma do somatório das mensagens emitidas com o somatório de mensagens rececionadas. O índice de ponderação deve ser estudado caso a caso.

Contribuição para a peer-review

Esta avaliação é baseada no total de comentários feitos pelos estudantes que formam o grupo, durante o trabalho de peer-review, e qual a qualidade da sua contribuição. Para tal, é construída uma matriz que é utilizada para executar o correspondente gráfico de projeção em Excel.

Contribuição para a construção do hipertexto.

 O wiki é avaliado pelo número de hiperligações e qual o número de links que se direcionam para determinado item. Também aqui é possível criar uma tabela de incidência para analisar as ligações efetuadas.

Esta proposta de avaliação está direcionada para a análise do trabalho de escrita e edição conjunta.


 4. Transcrição de citações relevantes

Online activities now can benefit greatly from the enormous possibilities offered by social software (Malloch 2005; Alexander 2006). These include wikis, which are characterized by a variety of unique and powerful information-sharing and collaboration features that offer key advantages, such as allowing learners to be actively involved in their own knowledge construction (Boulos et al. 2006), as well as improving co-writing processes (Parker & Chao 2007) and facilitating their monitoring.(Página 43)

This paper aims to provide a solution to this problem by presenting and analysing a methodological approach for organizing co-writing based on the use of the wiki as a means for managing the evaluation of collaborative learning processes.(Página 44)

Collaborative development of a written text transforms the student’s ordinary, solitary written work into a collective process, yielding strong benefits on a social and cognitive level (Clifford 1992; Sullivan 1994).(Página 44)

Furthermore, co-writing that is conducted online is almost always done so asynchronously, and is mediated and indirect (Weng & Gennari 2004). Therefore, students have greater opportunities to reflect deeply on what they read and write when replying to their remote interlocutors, besides practising their language skills (Flower 1996).(Página 44)

Besides the cognitive aspects, it is also worth considering the importance of mastering co-writing techniques, which are increasingly being required in the world of work. In many professions, documents, reports, guidelines, project proposals and the like are written collaboratively using network technologies.
(Lowry et al. 2004b).(Página 44)

Evaluation of the product and level of knowledgeachieved by the students can be performed satisfactorily with traditional approaches based on the qualitative analysis of both the co-produced text and the written contributions of each student. The problem arises in evaluating the co-writing process, in particular the level of contribution that the individual has made to the group and to the distribution/centralization of the collaborative process. (página 53)

The conclusions that can be drawn from field experimentation of the methodology regard two different perspectives,that of the individual student and that of the overall group. Specifically, it has been found that:

evaluating each student’s level of participation and contribution on the basis of both objective data (number of messages and amount of material produced) and subjective data (teacher’s evaluation and peer evaluation) has proved effective, particularly regarding the collaborative dialogue process: forum interaction for the co-planning of the text and peer review. Thus, the survey tables and calculus parameters used may be considered valid not just for co-writing activities but more generally for any asynchronous communication activity; and

evaluating the level of group collaboration is facilitated by the combined use of 3D graphic projections and network analysis techniques. The projections are more effective in highlighting the intensity of the interrelations (both in the interaction among participants and among the links between the hypertext pages), while the network analysis techniques are more useful in representing their level of reticularity. (Página 53)

Application of the method proposed here also proved to be a good test bed to help teachers understand weaknesses in the way they organize co-writing for their students and how these may influence evaluation of the individual’s participation/contribution of the group’s overall action and of the final product developed collaboratively. The use of the proposed methodology therefore helps the teacher to understand how to plan co-writing so that all the students are motivated to participate actively and collaboratively. The results from the experimentation may be regarded as positive, even though the procedures and the tools used still require refinement, especially to reduce the time and manpower demands of the surveys and processing.(Página 53)

5. Comentário pessoal

Este documento é importante para podermos perspetivar uma outra forma de avaliação do trabalho de grupo, embora muito confinada ao uso do wiki como ferramenta de trabalho, por parte dos estudantes, o que lhe confere uma grande especificidade de utilização. Por outro lado, esta forma de analisar o trabalho dos estudantes revela-se pouco prática e, em muitos aspetos, muito subjetiva. O trabalho de grupo é avaliado mais pela quantidade da produção do que pela qualidade da mesma. Se bem que a investigação foi direcionada no sentido de avaliar o processo colaborativo, em particular avaliar como o trabalho colaborativo se desenvolve em torno da escrita e do trabalho de edição conjunta, ainda assim revela-se uma visão muito redutora da avaliação de um trabalho que é composto por mais do que a simples edição de texto; é muito importante considerar o trabalho como um todo, sendo o conteúdo uma parte fundamental; por outro lado, o estudante vale pela qualidade das contribuições que produz e não pela quantidade de mensagens que coloca no fórum nem pela quantidade de palavras que debita no trabalho. As avaliações muito tecnicistas pecam pela análise mais humanista do trabalho e pecam pela falta de atenção que devem dar aos pormenores de carater intuitivo e de profunda interligação entre o trabalho dos estudantes e o empenho profissional do professor. Mas todas as opiniões são de registar e todas nos enriquecem… Do bom que cada uma das propostas tem podemos sempre tirar algo que, misturado com bom senso, pode originar uma forma inovadora e mais próxima da ideal, de avaliar…

Ficha de Leitura 1

Ficha de Leitura

Autora - Estela Gomes

1. Data da elaboração da ficha de leitura: 1 de Novembro de 2011

2. Fonte 

Autor: Álvaro Reis Figueira.

Título: Nova Ferramenta de Avaliação de Trabalho Colaborativo na Plataforma Moodle

Contexto: VII Simpósio Internacional de Informática Educativa

Ano: 2005

Páginas: 155 a 159

3. Breve resumo

O artigo analisado prende-se com a análise e proposta de uma ferramenta que permite a avaliação do trabalho de grupo na plataforma Moodle.

O trabalho colaborativo manifesta-se de grande importância para a prática pedagógica e, em particular, o trabalho de grupo revela-se um elemento importante na socialização dos estudantes o que terá benefícios notórios na atividade profissional futura ou presente dos mesmos; é uma constatação evidente que o trabalho de grupo motiva a aprendizagem dos alunos entre si e estimula a aquisição de competências ao nível da articulação e aplicação de conhecimentos, bem como o sentido de responsabilidade e importância social. O trabalho do docente fica mais simplificado pela redução de trabalhos a avaliar; no entanto, tal só se verifica se o professor detiver a sua atenção no produto final e não no processo de elaboração do mesmo. Consequentemente, a forma como o docente avalia o trabalho de grupo pode condicionar a aprendizagem e a forma como a avaliação é validada.

Existem sete formas mais representativas da avaliação do trabalho de grupo, de acordo com o Oxford Centre for Staff and Learning Development. Deteremos a atenção no método onde a nota atribuída ao trabalho pelo professor é multiplicada pelo número de elementos do grupo que negoceiam entre si quanto cabe a cada um. Existe ainda um ajuste a este método avaliativo em que o que se negoceia são os pontos obtidos por uma margem de manobra dada pelo professor.

A plataforma de Elearning Moodle foi concebida de forma a favorecer o trabalho colaborativo; para tal, foram criadas ferramentas tais como o chat, os fóruns, os dispositivos de criação de grupos, os wikis ou os workshops.

No entanto, o autor propõe uma nova ferramenta, a ser integrada nas já existentes, que possibilita ao professor a atribuição de uma nota de trabalho mas também a coordenação e a negociação de valores entre os elementos do grupo e a aprovação final do professor e posterior divulgação.

Os alunos têm uma fórmula que lhes permite o acesso a um conjunto de pontos que devem distribuir entre si da forma mais adequada:

Nota do Professor × Nº de elementos do grupo

As regras são claras para a distribuição desses pontos: Nenhum elemento pode ter menos de zero pontos, ou mais de 100 pontos e os pontos atribuídos aos elementos do grupo devem totalizar os pontos disponibilizados pela fórmula. Considera-se que a avaliação pelos pares manifesta um interesse especial no processo educativo. De ressalvar, a dificuldade em obter uma aproximação entre notas quando se utiliza métodos de avaliação diferentes.

4. Transcrição de citações relevantes

O trabalho colaborativo favorece diretamente o processo de aprendizagem. Efetivamente, os estudantes aprendem uns com os outros e beneficiam das atividades que requerem a articulação e aplicação dos conhecimentos. O trabalho de grupo cria uma ótima oportunidade para os estudantes refinarem as suas interpretações dos conteúdos transmitidos através da discussão com os seus pares. Cria também um sentido de responsabilidade e de importância social. (Figueira, 2005, página 155)

O trabalho de grupo ajuda a desenvolver capacidades normalmente procuradas pelos empregadores. Tem sido advogado nos últimos tempos que, para além do conhecimento específico de cada disciplina, o professor deve ajudar os estudantes a desenvolverem capacidades genéricas (soft skills) que a médio ou a longo prazo lhes serão úteis, enquanto novos membros de equipas e da sociedade em geral. Especificamente, as capacidades que o trabalho de grupo poderá ajudar a desenvolver são, entre outras: a adaptação à dinâmica de uma equipa; capacidade de liderança; interpretação crítica e avaliação do trabalho de outros; resolução de conflitos, flexibilidade, negociação e compromisso; criação de novos ritmos de trabalho. (Figueira, 2005, página 155)

O trabalho de grupo pode ajudar a reduzir a quantidade de trabalho docente ao reduzir o número de avaliações, classificações e auxílios em geral. Naturalmente que, grupos de vários estudantes criam uma situação em que o número de grupos é inferior ao número de estudantes e consequentemente, o número de trabalhos a avaliar pode ser bastante menor. Contudo, quando se pretende avaliar, não somente o “produto” gerado por um grupo, mas também o “processo” usado pelo grupo, então o trabalho poderá até aumentar. De qualquer modo, tendo sido previamente estabelecido um modelo de trabalho de grupo, com objetivos e processos bem definidos, geralmente o trabalho docente diminui. (Figueira, 2005, página 155)

Uma das questões mais importantes relacionadas com o trabalho de grupo é a possibilidade de a avaliação não ser capaz de aferir corretamente a contribuição individual de cada membro. Uma outra, é decidir se se pretende avaliar somente o produto produzido, ou também o processo. (Figueira, 2005, página 155)

Para que os benefícios decorrentes do trabalho de grupo se efetivem é necessário que os alunos percebam a importância do que estão a fazer (trabalho de grupo), se sintam seguros relativamente ao que deles se espera e acreditem nos métodos de avaliação a utilizar. A não ser assim, os benefícios educacionais poderão reduzir-se drasticamente, levando eventualmente ao surgimento de tensões e problemas. (Figueira, 2005, página 156)

Muitos docentes advogam que é necessário, não somente avaliar o produto de um grupo, mas também avaliar os processos decorrentes dessa prática de trabalho em grupo. Avaliar um processo de trabalho significa saber com detalhe de que forma um grupo se organiza, trabalha e interage. Significa, por exemplo, ter a noção concreta de que nível de interação entre os elementos do grupo, é que existe. Para dar resposta a este problema seria necessário que o professor/tutor fosse ele também um elemento ativo do grupo, ou então optar por saber a opinião de cada membro do grupo acerca dos outros. Esta última hipótese é a base da “avaliação entre pares”. (Figueira, 2005, página 156)

Este tipo de avaliação força cada aluno a ter a responsabilidade de fazer julgamentos acerca da qualidade tanto do seu trabalho como do de outros, levando a um conjunto de vantagens tais como: aumentar a autonomia do aprendente; aumentar os conhecimentos e autonomia do aluno; elevar o status do aluno de simples “aprendente” para “assessor” do professor/tutor; envolver os alunos numa reflexão crítica; demonstrar aos alunos os conceitos de subjetividade e de julgamento. (Figueira, 2005, página 156)

O Oxford Centre for Staff and Learning Development sugere que o trabalho de grupo em âmbito universitário seja avaliado numa de sete formas diferentes:

a) Todos os alunos recebem a mesma nota, e esta é a nota atribuída ao trabalho, pelo professor, por exemplo, 81%.

b) São dadas aos alunos tarefas diferentes e cada uma delas é avaliada independentemente.

c) A nota atribuída ao trabalho pelo professor é multiplicada pelo número de elementos do grupo que negoceiam entre si quanto cabe a cada um. Por exemplo, o trabalho de grupo recebe a classificação de 81 em 100, num grupo de 3 alunos; faz-se a multiplicação 81×3=243; então, existem 243 pontos a serem distribuídos pelos elementos do grupo tal que nenhum elemento pode ter menos de 0, nem nenhum pode ter mais de 100. Neste caso, as distribuições i) o aluno_A←81, o aluno_B←81, o aluno_C←81, e; ii) o aluno_A←92, aluno_B←71, o aluno_C←80, são exemplos perfeitamente admissíveis neste esquema.

d) Semelhantes à situação anterior mas, o que é negociado são os pontos obtidos por uma margem de manobra dada pelo professor. Por exemplo, os alunos recebem a nota do grupo, seja 81 em 100 e têm margem de manobra de 10 pontos. Neste caso, a distribuição aluno_A←81+5, aluno_B←81+1, aluno_C←81+4 é perfeitamente admissível.

e) Cada aluno recebe a nota do trabalho de grupo e depois recebe uma nota própria para uma tarefa específica.

f) Cada aluno recebe a nota do trabalho de grupo e depois recebe uma própria de acordo com o seu desempenho numa discussão com os seus colegas de grupo e com o professor.

g) Cada aluno recebe a nota do trabalho de grupo e a diferenciação é feita depois em situação de exame final, no qual existe uma pergunta relacionada com o trabalho de grupo. (Figueira, 2005, página, 156)

Essencialmente o sistema que desenvolvemos deve permitir ao professor atribuir uma nota ao trabalho de grupo, permitir também coordenar e suportar um sistema de negociação de valores (notas) entre os membros do grupo e, finalmente, após a aprovação final do professor, realizar a respetiva divulgação. (Figueira, 2005, página 157)

A nossa ferramenta baseia-se na avaliação do produto do trabalho de grupo, mas inclui também uma parte de avaliação pelos elementos do grupo. Consideramos que este tipo de “avaliação pelos pares” se reveste de especial importância no processo educativo. (Figueira, 2005, página 158)

5. Comentário pessoal

Este artigo é importante no processo de aprendizagem sobre a avaliação em elearning porque nos permite refletir sobre as possibilidades do trabalho colaborativo em ensino a distância e da importância da avaliação nestes contextos.

A avaliação de um trabalho de grupo não tem uma via única de solução mas todas as soluções possíveis não representam de forma alguma a proposta ideal. O trabalho colaborativo constitui por si só um risco que deve ser assumido pelos seus intervenientes malgrado a hipótese dos elementos que trabalham serem sempre prejudicados em relação aos elementos mais passivos.

O método proposto neste artigo para proceder à avaliação do trabalho de um grupo é uma proposta válida que se esforça no sentido de conseguir alguma isenção e de ter em linha de conta as diferentes opiniões dos vários intervenientes no processo de avaliação. Contudo, não foi ponderada a hipótese, que se verifica com muita frequência, da cobertura dos elementos mais fortes do grupo aos elementos menos ativos. Os estudantes tendem a evitar os confrontos que surgem de uma avaliação mais imparcial aos seus pares; se existem alunos que conseguem "separar as águas" e perceberem a opinião dos colegas e entender que determinadas falhas devem ser corrigidas para que a aprendizagem seja plena, outros há que pensam que os colegas têm o dever de os proteger e não disseminar a pouca qualidade de trabalho que exibem. Estes conflitos que são entendidos com serenidade por uns, nem sempre são bem resolvidos por outros e a comunicação entre colegas pode ser prejudicada e, por vezes o grupo turma pode ressentir-se de um clima pouco favorável no trabalho.

Como se referiu anteriormente, estas questões são difíceis de ser ultrapassadas pela inexistência do método perfeito; temos, contudo, de estimular outra postura por parte dos estudantes, mais responsável, mais reflexiva, mais social, mais madura, menos centrada no "eu" e mais centrada no "nós"…