Ficha de Leitura 2

Ficha de Leitura

Autora: Estela Gomes

1. Data da elaboração da ficha de leitura: 5 de Novembro de 2011

2. Fonte:

Autor: Guglielmo Trentin

Título: Using a wiki to evaluate individual contribution to a colaborative learning project

Contexto: Journal of Computer Assisted Learning

Ano: 2008

Páginas: 43 - 55

3. Breve resumo

Uma das maiores dificuldades que o professor enfrenta no dia-a-dia da sua prática pedagógica é avaliar o trabalho efetuado em grupo.

Uma das estratégias pedagógicas privilegiadas, em particular em Elearning, é o trabalho colaborativo: as atividades online podem beneficiar com as enormes possibilidades que o trabalho desenvolvido em grupo pode evidenciar, nomeadamente na interação entre os diferentes elementos do grupo e do estímulo social que podem provocar. O wiki é uma ferramenta excecional para potenciar o trabalho colaborativo e cooperativo e aumenta as possibilidades de monitorização, por parte do professor, do trabalho, para além de permitir a edição pelos elementos de um grupo, bem como possibilitar a colocação direta de outras formas de enriquecimento da produção. Para além das virtudes já descritas, o wiki permite o desenvolvimento de competências linguísticas e sociais e estimula o aumento da cognição através da partilha de conhecimento e experiências entre os elementos do grupo. No entanto, é difícil avaliar o processo que levou à produção do trabalho final e qual o nível de progresso individual de cada estudante.

Foi levada a cabo uma investigação em duas edições sucessivas de um curso online promovido pela Network Technology & Human Resources Development na Political Science Faculty of the University of Turin, e que envolvia cerca de 30 estudantes.

A ferramenta escolhida para que os estudantes desenvolvessem a demanda exigida foi o wiki pelos motivos já apontados anteriormente, em particular o PBWiki. Para além de visualizar a sua própria página de grupo, os estudantes podem consultar o que os outros estudantes, de outros grupos, vão produzindo; o facto de poderem consultar o progresso do trabalho, é um fator de motivação adicional para que o enriquecimento do trabalho se faça pela troca de ideias entre os elementos da comunidade. O professor definiu regras para a elaboração do trabalho e o objetivo seria desenvolver a capacidade dos estudantes resumirem os conceitos estudados e identificarem o maior número de ligações entre eles; não poderiam utilizar mais do que 20 linhas por página. Caso pretendessem fazer uma extensão do trabalho, deveriam criar links na sua página que remetessem o leitor para outras informações, sendo que só eram permitidos três níveis de acesso a partir da home page.
Todos os estudantes deveriam estar motivados a ter um papel ativo na construção do wiki de acordo com os seguintes itens:

· Estudo individual dos materiais disponibilizados;

· Existência de um plano de trabalho que contemplasse a estrutura e a divisão do mesmo;

· Desenvolvimento das diferentes subdivisões do Wiki;

· Criação de hipertexto;

· Peer Review.

I - A avaliação do trabalho individual de cada estudante

Esta avaliação obedece a três critérios:

· O nível de conhecimento atingido e o número de competências desenvolvidas enquadradas nos objetivos predefinidos;

· O tipo de produto desenvolvido individualmente e coletivamente em colaboração com outros estudantes (estrutura, assertividade, coerência, qualidade do hipertexto, cumprimento dos objetivos da tarefa, estrutura conceptual). Aos estudantes era ainda pedido que avaliassem o trabalho desenvolvido pelos pares;

· Processo colaborativo desenvolvido pelos estudantes para atingir os objetivos propostos na atividade.

O nível de participação de cada estudante seria avaliado de acordo com quatro parâmetros:

· A contribuição no fórum destinado ao planeamento do trabalho;

· A contribuição dada no Peer Review;

· A contribuição para o desenvolvimento do trabalho exposto no wiki;

· A contribuição para o desenvolvimento dos conteúdos.

Contribuição no fórum destinado ao planeamento do trabalho

P(fórum) = 3× A% +1.5×B% + 0.5×C%

Sendo, A = mensagens que contribuem para o desenvolvimento dos conteúdos do trabalho (peso 3); B = mensagens reveladoras de liderança e decisão (peso 1,5); C = Todas as outras mensagens (peso 0.5).

Este valor é depois normalizado após ter sido comparado com o valor mais elevado da avaliação atribuída P(fórum,norm)

Contribuição para o peer review

Esta avaliação tem a ver com os comentários individuais de cada estudante ao longo do peer review dos colegas. Uma classificação de 0 a 5 é atribuída a cada comentário recebendo de volta a opinião de cada comentado sobre a importância dessa pontuação.

Construiu-se uma matriz em que cada coluna indicava a opinião dos revisados e cada linha a opinião dos revisores; a intercessão entre as linhas e as colunas correspondia a uma pontuação na escala de Likert (0-5).

Contribuição para o desenvolvimento do trabalho exposto no wiki

Esta avaliação relaciona-se com o número de ligações que cada estudante encontra entre a sua página e as páginas dos outros estudantes. Esta avaliação tem um índice de ponderação menor porque tem um lado subjetivo que não deve ser desconsiderado.

A contribuição para o desenvolvimento dos conteúdos

Esta contribuição é avaliada considerando o número de páginas e o total de carateres produzidos por cada estudante. De novo se atribui um índice de ponderação baixo a esta questão (1,2 pontos) uma vez que é uma avaliação quantitativa e não qualitativa de cada contribuição escrita do estudante.

Por exemplo, suponhamos que se trata de um trabalho de 77 páginas e que o estudante produziu 6 dessas páginas, então: P(pp,norm) = 7.8 (6:77×100)

Continuando o exemplo dado, se existissem 15400 palavras das quais 1400 fossem produção do estudante, então Pwords,norm = 9.1, o que totalizava:

P(content,norm) = P(pp,norm) + P(words,norm) = 16.9

Cálculo da contribuição individual de cada estudante

P(total)=ΣP(norm)=

P(fórum,norm)+P(peer-review,norm)+P(links,norm)+P(content,norm)

II - Avaliação do trabalho colaborativo

A avaliação do trabalho colaborativo evidenciado pelo grupo vai depender de três fatores:

· Distribuição das contribuições dos vários elementos do grupo ao longo do fórum destinado à planificação da estrutura do trabalho;
· Contribuição para a peer-review;
· Contribuição para a construção do hipertexto.

Distribuição das contribuições dos vários elementos do grupo ao longo do fórum destinado à planificação da estrutura do trabalho

Nesta avaliação é utilizada uma tabela de incidência para registar as interações entre os participantes na discussão de grupo.

Uma tabela de incidência é uma tabela de dupla entrada usada para a avaliação do tipo de mensagens, onde os subtotais de cada coluna representam o número de mensagens emitidas e onde os subtotais de cada linha representam o número de mensagens rececionadas. O total de mensagens é dado pela soma do somatório das mensagens emitidas com o somatório de mensagens rececionadas. O índice de ponderação deve ser estudado caso a caso.

Contribuição para a peer-review

Esta avaliação é baseada no total de comentários feitos pelos estudantes que formam o grupo, durante o trabalho de peer-review, e qual a qualidade da sua contribuição. Para tal, é construída uma matriz que é utilizada para executar o correspondente gráfico de projeção em Excel.

Contribuição para a construção do hipertexto.

 O wiki é avaliado pelo número de hiperligações e qual o número de links que se direcionam para determinado item. Também aqui é possível criar uma tabela de incidência para analisar as ligações efetuadas.

Esta proposta de avaliação está direcionada para a análise do trabalho de escrita e edição conjunta.


 4. Transcrição de citações relevantes

Online activities now can benefit greatly from the enormous possibilities offered by social software (Malloch 2005; Alexander 2006). These include wikis, which are characterized by a variety of unique and powerful information-sharing and collaboration features that offer key advantages, such as allowing learners to be actively involved in their own knowledge construction (Boulos et al. 2006), as well as improving co-writing processes (Parker & Chao 2007) and facilitating their monitoring.(Página 43)

This paper aims to provide a solution to this problem by presenting and analysing a methodological approach for organizing co-writing based on the use of the wiki as a means for managing the evaluation of collaborative learning processes.(Página 44)

Collaborative development of a written text transforms the student’s ordinary, solitary written work into a collective process, yielding strong benefits on a social and cognitive level (Clifford 1992; Sullivan 1994).(Página 44)

Furthermore, co-writing that is conducted online is almost always done so asynchronously, and is mediated and indirect (Weng & Gennari 2004). Therefore, students have greater opportunities to reflect deeply on what they read and write when replying to their remote interlocutors, besides practising their language skills (Flower 1996).(Página 44)

Besides the cognitive aspects, it is also worth considering the importance of mastering co-writing techniques, which are increasingly being required in the world of work. In many professions, documents, reports, guidelines, project proposals and the like are written collaboratively using network technologies.
(Lowry et al. 2004b).(Página 44)

Evaluation of the product and level of knowledgeachieved by the students can be performed satisfactorily with traditional approaches based on the qualitative analysis of both the co-produced text and the written contributions of each student. The problem arises in evaluating the co-writing process, in particular the level of contribution that the individual has made to the group and to the distribution/centralization of the collaborative process. (página 53)

The conclusions that can be drawn from field experimentation of the methodology regard two different perspectives,that of the individual student and that of the overall group. Specifically, it has been found that:

evaluating each student’s level of participation and contribution on the basis of both objective data (number of messages and amount of material produced) and subjective data (teacher’s evaluation and peer evaluation) has proved effective, particularly regarding the collaborative dialogue process: forum interaction for the co-planning of the text and peer review. Thus, the survey tables and calculus parameters used may be considered valid not just for co-writing activities but more generally for any asynchronous communication activity; and

evaluating the level of group collaboration is facilitated by the combined use of 3D graphic projections and network analysis techniques. The projections are more effective in highlighting the intensity of the interrelations (both in the interaction among participants and among the links between the hypertext pages), while the network analysis techniques are more useful in representing their level of reticularity. (Página 53)

Application of the method proposed here also proved to be a good test bed to help teachers understand weaknesses in the way they organize co-writing for their students and how these may influence evaluation of the individual’s participation/contribution of the group’s overall action and of the final product developed collaboratively. The use of the proposed methodology therefore helps the teacher to understand how to plan co-writing so that all the students are motivated to participate actively and collaboratively. The results from the experimentation may be regarded as positive, even though the procedures and the tools used still require refinement, especially to reduce the time and manpower demands of the surveys and processing.(Página 53)

5. Comentário pessoal

Este documento é importante para podermos perspetivar uma outra forma de avaliação do trabalho de grupo, embora muito confinada ao uso do wiki como ferramenta de trabalho, por parte dos estudantes, o que lhe confere uma grande especificidade de utilização. Por outro lado, esta forma de analisar o trabalho dos estudantes revela-se pouco prática e, em muitos aspetos, muito subjetiva. O trabalho de grupo é avaliado mais pela quantidade da produção do que pela qualidade da mesma. Se bem que a investigação foi direcionada no sentido de avaliar o processo colaborativo, em particular avaliar como o trabalho colaborativo se desenvolve em torno da escrita e do trabalho de edição conjunta, ainda assim revela-se uma visão muito redutora da avaliação de um trabalho que é composto por mais do que a simples edição de texto; é muito importante considerar o trabalho como um todo, sendo o conteúdo uma parte fundamental; por outro lado, o estudante vale pela qualidade das contribuições que produz e não pela quantidade de mensagens que coloca no fórum nem pela quantidade de palavras que debita no trabalho. As avaliações muito tecnicistas pecam pela análise mais humanista do trabalho e pecam pela falta de atenção que devem dar aos pormenores de carater intuitivo e de profunda interligação entre o trabalho dos estudantes e o empenho profissional do professor. Mas todas as opiniões são de registar e todas nos enriquecem… Do bom que cada uma das propostas tem podemos sempre tirar algo que, misturado com bom senso, pode originar uma forma inovadora e mais próxima da ideal, de avaliar…