Incremental Validity in the Psychological Assessment of Children and Adolescents

Incremental validity in the process of psychological assessment of children and adolescents is explored. The authors highlight the dependence of the incremental validity of assessment information on factors such as goal of assessment, other information available, base rate of the problem or outcome, age or gender of the child, and type of problem being assessed. The authors discuss the incremental validity of assessment information from alternate sources, methods, and constructs. In view of the limited number of studies directly relevant to incremental validity in child clinical assessments, the authors call for more clinically relevant research. To have the greatest impact on child and adolescent services, this research must be readily generalized and immediately relevant to actual clinical practice. ) The psychological assessment of children has been defined as “an exploratory, hypothesis-testing process in which a range of developmentally sensitive and empirically validated procedures is used to understand a given child, group, or social ecology and to formulate and evaluate specific intervention procedures”. This definition outlines three important aspects of psychological assessment. First, psychological assess¬ment is a multifaceted, iterative process. In other words, an as¬sessment is not simply the evaluation of a specific behavior using a single measure at a particular point in time. Rather, it is a multimodal (“e.g., rating scales, interviews, observations), multi-informant (e.g., child, parents, teachers) process by which infor¬mation may be gathered in multiple settings at multiple times. As such, the process of assessment involves ongoing information gathering and decision making, with each step of the process predicated on previously obtained information. Ultimately, infor¬mation from all steps is integrated to evaluate a child’s emotional, behavioral, and social functioning and is interpreted in the context of historical and cultural variables. Second, there are numerous potential assessment goals, including diagnosis, treatment plan¬ning, and treatment evaluation. The particular goal will guide the process; determine the types of measures, settings, and informants that are used; and determine whether multiple evaluations of the child are required over time. Third, the assessment process, in¬cluding the measures and the procedures for combining assessment information, should be empirically supported. Reliability and validity are obvious and essential elements of the scientific merit of assessment procedures. In particular, the 1990s has seen renewed interest in the importance of establishing the validity of psychological assessments. In 1996, the American Psychological Association (APA) recognized the need for empirically supported assessments by establishing the Psychological Assessment Work Group, with a mandate to collect evidence on the efficacy of assessments in clinical practice. In 2001, Meyer et al. provided an exhaustive review documenting the validity of individual psychological tests, showing in many cases that psychological tests possessed validity comparable to medical tests. Meyer et al. also concluded that using a battery of tests would serve to maximize the validity of assessments. Unfortu¬nately, the incremental validity inherent in using and combining multiple assessment methods has not undergone wide empirical testing in either the adult or child assessment literatures. Incremental validity in assessment has been discussed by schol¬ars of clinical psychology for the past 40 years. Distinguished assessment researchers such as Mischel (1968), Meehl (1960), Wiggins (1973), and Hayes, Nelson, and Jarrett (1987) have noted the importance of considering the contribution of each measure or piece of information to the process and outcome of assessment. Although definitions of incremental validity vary in whether they emphasize prediction of a criterion, contributions of unique infor¬mation, or improvements in service (e.g., see Hunsley & Meyer, 2003), the core elements remain the same. Does the procedure or method add to the assessment process in a way that improves the outcome? The criterion for assessing incremental validity depends on the goal of the assessment and, as mentioned, may involve deriving a diagnosis, selecting a particular treatment, or continu¬ally evaluating intervention efforts. For example, teacher observa¬tions of the daily frequency of a child’s vocal tic may not add critical information in diagnosing a tic disorder but may contribute significantly when the purpose of the assessment is to monitor treatment progress. In contrast, in assessing developmental delays, parent responses on broad-band, well-normed measures of child development may be most useful in early phases of assessment to answer questions regarding the severity of the child’s delay but may not provide useful incremental information in determining relatively short-term” treatment gains: In considering incremental validity, it is important to distinguish between the validity of individual psychological tests and the validity of the broader assessment process Although validity is a prerequisite for a measure to achieve incremental validity, the validity of a psychological test or measure in isolation does not necessarily provide information regarding the value, or incremental validity, of adding this measure to an assess-ment process. Thus, strong psychometric properties of the individ¬ual measures are necessary but not sufficient conditions to ensure the incremental validity of incorporating these measures in the assessment process. For example, a structured interview with a parent may provide reliable and valid information regarding child diagnoses, but this same measure may not contribute unique in formation beyond that gleaned from simpler parent or teacher rating scales. Our emphasis on the incremental validity is fueled by both practical and ethical concerns in child assessment. It makes no sense to use lengthy, expensive assessment batteries to make diagnoses or plan treatment if the same conclusions could be drawn using briefer, less expensive methods. With limited health care resources, lengthy waiting lists for services, and concerns about cost containment in both the public and private sectors, there is increasing pressure to develop efficient assessment protocols and justify exiting assessment procedures. This pressure should not blind us to the potential of specialized or comprehensive assessments; rather, it should motivate us to assess. and demonstrate the value of any assessment procedure above and. beyond information already available or other, less costly or extensive methods. Indeed, ethical principles outlined by both the Canadian Psychological Association (2001) and APA (2002) stipulate that psychological services should be implemented in a manner that reflects the best interests of clients. Thus, burdening a child or family with a lengthy and costly assessment protocol with no evidence for the incremental validity of the multiple procedures may fail to meet the standards of sound clinical practice. • In this article, we investigate the issue of incremental validity in child assessments by noting common recommendations and issues in the assessment of children. We incorporate consideration of these issues in a review of relevant research on incremental validity in child assessments and conclude by suggesting areas for future work and particular challenges to assessing the incremental validity of assessments with children. Our focus is on incremental validity in assessments of children from birth to 18 years. Our review is centered on the assessment of children with mental health problems. Given the differences in methods and outcomes in mental health assessments compared with those within the neuropsychological and psycho educational realms, these latter areas are not reviewed. Common Assumptions and Recommendations in Child Assessments For a number of reasons, assessments of children typically rely more heavily than adult assessments on information provided by individuals other than the child. Developmental factors such as the cognitive and linguistic limitations of young children, the significant influence of environmental contexts such as school on children behavior, and the involvement of parents and teachers in referring children for mental health services are just some of the factors that lead to a recommendation to use multiple informants and to evaluate behavior in multiple settings in assessments of children. Indeed, in reviewing highly regarded reference texts of child assessment and review articles on child assessment, one finds an almost universal call for multi-informant, multisetting, multimethod, and multioccasion assessment as the gold stan¬dard in child assessment. Parallel to this reliance on multiple sources and types of assessment information is a well-known literature documenting low levels of agreement among multiples sources and types of infor¬mation concerning children. For example, Hawiey and Weisz (2003) found that, for 75% of children referred for outpatient therapy, parents, children, and therapists failed to agree on the referring problem. The classic meta-analysis by Achenbach, Mc-Conaughy, and Howell (1987) and other studies (see review by Meyer et al, 2001) convincingly demonstrate only modest agreement among different informants (parents, teachers, peers, observers, or child) reporting on child behavior across different settings (home, school, playground, mental health clinic). Although discussions of these low levels of inter source agreement widely acknowledge the possibility that the lack of convergence reflects unreliability or limited validity in the individual pieces of information, the most common interpretation offered for the discrep¬ancies is that each report or observation is providing unique information that will aid in the assessment. This interpretation then fuels the recommendation to include multiple sources and types of information in child assessments because each is assumed to offer unique and relevant information to the decision-making process. The assumption that more information enhances clinical decision making in child assessment is the crux of this article; in particular, what evidence supports the assumption?. Although the reasoning behind the assumption and recommendation is clear and undoubtedly logical, what empirical support is available? What do we know about how to combine discrepant pieces of information in child assessment? Specifically, what evidence is there that multiple, sources and types of information each add incremental validity to the child assessment process? (identifying Studies of Incremental Validity in Child Assessment To identify studies of incremental validity in child assessment, we optimistically began by searching PsycINFO for English language articles using the terms incremental validity and assessment combined with the terms child or youth or adolescent. This search produced only 11 articles. Of these, 1 addressed psycho educational assessment and 4 were reviews that discussed the need for research on incremental validity. Given this slim yield, we broadened the PsycINFO search using the term treatment utility combined with assessment and child, youth, or adolescent. Five additional articles were retrieved, of which only 2 were relevant to the present article; the others were reviews or discussed neuropsychological assess¬ment. We then conducted a manual search of journals from the past 5 years relevant to clinical child psychology (i.e., Development and Psychopathology, Journal of the American Academy of Child

TRADUCCIÓN

<!– /* Font Definitions */ @font-face {font-family:”Cambria Math”; panose-1:2 4 5 3 5 4 6 3 2 4; mso-font-charset:0; mso-generic-font-family:roman; mso-font-pitch:variable; mso-font-signature:-1610611985 1107304683 0 0 159 0;} @font-face {font-family:Calibri; panose-1:2 15 5 2 2 2 4 3 2 4; mso-font-charset:0; mso-generic-font-family:swiss; mso-font-pitch:variable; mso-font-signature:-1610611985 1073750139 0 0 159 0;} /* Style Definitions */ p.MsoNormal, li.MsoNormal, div.MsoNormal {mso-style-unhide:no; mso-style-qformat:yes; mso-style-parent:””; margin-top:0cm; margin-right:0cm; margin-bottom:10.0pt; margin-left:0cm; line-height:115%; mso-pagination:widow-orphan; font-size:11.0pt; font-family:”Calibri”,”sans-serif”; mso-ascii-font-family:Calibri; mso-ascii-theme-font:minor-latin; mso-fareast-font-family:”Times New Roman”; mso-fareast-theme-font:minor-fareast; mso-hansi-font-family:Calibri; mso-hansi-theme-font:minor-latin; mso-bidi-font-family:”Times New Roman”; mso-bidi-theme-font:minor-bidi;} p.Style18, li.Style18, div.Style18 {mso-style-name:Style18; mso-style-unhide:no; margin:0cm; margin-bottom:.0001pt; mso-pagination:widow-orphan; font-size:10.0pt; font-family:”Times New Roman”,”serif”; mso-fareast-font-family:”Times New Roman”;} span.CharStyle46 {mso-style-name:CharStyle46; mso-style-unhide:no; mso-ansi-font-size:8.0pt; mso-bidi-font-size:8.0pt; font-family:”Times New Roman”,”serif”; mso-ascii-font-family:”Times New Roman”; mso-fareast-font-family:”Times New Roman”; mso-hansi-font-family:”Times New Roman”; mso-bidi-font-family:”Times New Roman”; font-variant:normal !important; font-weight:normal; font-style:normal;} .MsoChpDefault {mso-style-type:export-only; mso-default-props:yes; mso-ascii-font-family:Calibri; mso-ascii-theme-font:minor-latin; mso-fareast-font-family:”Times New Roman”; mso-fareast-theme-font:minor-fareast; mso-hansi-font-family:Calibri; mso-hansi-theme-font:minor-latin; mso-bidi-font-family:”Times New Roman”; mso-bidi-theme-font:minor-bidi;} .MsoPapDefault {mso-style-type:export-only; margin-bottom:10.0pt; line-height:115%;} @page Section1 {size:621.6pt 850.1pt; margin:62.4pt 54.6pt 153.95pt 57.85pt; mso-header-margin:36.0pt; mso-footer-margin:36.0pt; mso-paper-source:0;} div.Section1 {page:Section1;} –>
/* Style Definitions */
table.MsoNormalTable
{mso-style-name:”Tabla normal”;
mso-tstyle-rowband-size:0;
mso-tstyle-colband-size:0;
mso-style-noshow:yes;
mso-style-priority:99;
mso-style-qformat:yes;
mso-style-parent:””;
mso-padding-alt:0cm 5.4pt 0cm 5.4pt;
mso-para-margin-top:0cm;
mso-para-margin-right:0cm;
mso-para-margin-bottom:10.0pt;
mso-para-margin-left:0cm;
line-height:115%;
mso-pagination:widow-orphan;
font-size:11.0pt;
font-family:”Calibri”,”sans-serif”;
mso-ascii-font-family:Calibri;
mso-ascii-theme-font:minor-latin;
mso-hansi-font-family:Calibri;
mso-hansi-theme-font:minor-latin;}

Validez incremental en la evaluación psicológica de los niños y
Adolescentes

La validez incremental en el proceso de evaluación psicológica de niños, niñas y adolescentes se comienza a explorar. Los autores destacan el incremento de la dependencia de la validez de la información sobre la evaluación de factores como la meta de la evaluación, la demás información disponible, tipo de base del problema o los resultados, la edad o el sexo del niño, y el tipo de problema que se está evaluando. Los autores discuten el incremento de validez de la evaluación de fuentes alternativas de información, métodos y construcciones. En vista del número limitado de estudios directamente relacionados con la validez incremental de los niños, los autores piden una mayor investigación clínica. Para que haya el mayor impacto en niños y servicios adolescentes, esta investigación debe ser fácilmente generalizada e inmediatamente relevante a la práctica clínica de hoy en día.

La evaluación psicológica de los niños se ha definido como “un proceso exploratorio”, donde se prueban las hipótesis en el que una serie de procedimientos validados empíricamente, se utiliza para entender a un niño, grupo social y para formular y evaluar los procedimientos específicos de intervención”. Esta definición describe tres aspectos importantes de la evaluación psicológica. En primer lugar, la evaluación psicológica es un proceso multifacético e iterativo. En otras palabras, una evaluación no es simplemente la medición de un comportamiento específico usando una sola medida en un punto en el tiempo. Más bien, es un proceso multimodal (por ejemplo, escalas de calificación, entrevistas, observaciones) y multi informante, (por ejemplo, los niños, padres, maestros) mediante el cual la información puede ser recogida en múltiples configuraciones varias veces. Como tal, el proceso de evaluación en curso incluye la recopilación de información y la toma de decisiones, con cada paso del proceso basado en la información previa. Por último, la información de todas las medidas que se integra para evaluar a un niño emocional, de comportamiento y el funcionamiento social y se interpreta en el contexto de las variables históricas y culturales.

En segundo lugar, existen numerosas posibilidades de evaluación de metas, incluyendo el diagnóstico, tratamiento y evaluación. El objetivo particular, es orientar el proceso; determinar los tipos de medidas, ajustes, y los participantes que se utilizan, y determinar si las múltiples evaluaciones de los niños se requieren en el transcurso del tiempo. En tercer lugar, el proceso de evaluación, incluyendo las medidas y los procedimientos de evaluación de la combinación de información, deben ser apoyados empíricamente.
La fiabilidad y validez deben ser evidentes, así como los elementos fundamentales del mérito científico de los procedimientos de evaluación. Concretamente, los en los años 90 se ha visto un interés renovado en la importancia de establecer la validez de las evaluaciones psicológicas.

En 1996, la American Psychological Association (APA) reconoció la necesidad de apoyo empíricamente mediante el establecimiento de evaluaciones de Psychological Assessment Work Group, con el objetivo de reunir pruebas sobre la eficacia de las evaluaciones en la práctica clínica. En el 2001, Meyer et al. suministró una revisión exhaustiva mediante documentación de la validez de las pruebas psicológicas, mostrando en muchos casos, las pruebas psicológicas que poseen validez comparables a los exámenes médicos. Meyer et al. También llegó a la conclusión de que el uso de una serie de exámenes que servirían para maximizar la validez de las evaluaciones. Lamentablemente, el incremento de validez inherente en el uso y la combinación de múltiples métodos de evaluación no ha sido sometido a amplias pruebas empíricas, ya sea en el adulto o niño

.
El incremento de la validez en la evaluación ha sido discutido por estudiosos de psicología clínica en los últimos 40 años. Distinguidos investigadores como Mischel (1968), Meehl (1960), Wiggins (1973), y Hayes, Nelson y Jarrett (1987) han señalado la importancia de considerar la contribución de cada medida o elemento de información para el proceso y los resultados de evaluación. Aunque las definiciones del incremento de validez varían, si se hace hincapié en la predicción de un criterio, las contribuciones de la información única, o mejoras en el servicio (por ejemplo, véase Hunsley y Meyer, 2003), los elementos básicos siguen siendo los mismos.

¿El procedimiento o método para añadir el proceso de evaluación en una forma que mejora el resultado? El criterio para evaluar el incremento de validez depende del objetivo de la evaluación y, como se ha dicho, puede suponer diagnósticos derivados, la selección de un tratamiento particular, o continuamente evaluando los esfuerzos de intervención. Por ejemplo, las observaciones de un investigador de la frecuencia diaria de los tics vocales en un niño, no podrán añadir la información crítica en el diagnóstico de un trastorno de tic, pero pueden contribuir de manera significativa cuando el propósito de la evaluación es el tratamiento para controlar el progreso. En cambio, en la evaluación de retrasos en el desarrollo, las respuestas recibidas del padre del niño puede ser más útil en fases tempranas de evaluación para responder a las preguntas acerca de la gravedad del retraso del niño, pero
no puede proporcionar información útil cuando se intenta determinar el incremento relativamente a corto plazo “los avances del tratamiento:


Considerando la Validez Incrementales, es importante distinguir entre la validez de las pruebas psicológicas y la validez del proceso de evaluación de una valoración más amplia. Aunque la validez es un requisito previo a una medida para lograr una validez incremental, la validez de una prueba psicológica o una prueba de forma aislada no necesariamente proporcionan información sobre la validez

incrementales, de la adición de esta medida a un proceso de evaluación.

Por lo tanto, las fuertes propiedades psicométricas de las medidas individuales son condiciones necesarias pero no suficientes para garantizar el incremento de validez de la incorporación de estas medidas en el proceso de evaluación. Por ejemplo, una entrevista con un padre puede proporcionar información válida y confiable respecto a los niños en el diagnóstico, pero esta misma medida no podrá contribuir como único estudio, más allá de lo que se deduce de los padres o el profesor.


Nuestro énfasis en el incremento de validez, es alimentada por la práctica y ética en lo que se refiere a la evaluación de los niños. No tiene sentido el uso prolongado, costoso de una serie de evaluaciones, para hacer un diagnóstico o un plan de tratamiento, si las mismas conclusiones se pueden extraer utilizando métodos más breves y menos costosos. Con limitados recursos de atención de salud, largas listas de espera para los servicios, y la preocupación por la contención de los costos en los sectores público y privado, hay una presión creciente para desarrollar protocolos de evaluación eficiente y justificar la salida de procedimientos de evaluación. Esta presión no debería haceros perder de vista el potencial de las evaluaciones generales o especializadas, sino que debe motivarnos a evaluar y demostrar el valor de cualquier procedimiento de evaluación, más allá de la información ya disponible, o menos costosos métodos extensa.

Responder

Introduce tus datos o haz clic en un icono para iniciar sesión:

Logo de WordPress.com

Estás comentando usando tu cuenta de WordPress.com. Cerrar sesión / Cambiar )

Imagen de Twitter

Estás comentando usando tu cuenta de Twitter. Cerrar sesión / Cambiar )

Foto de Facebook

Estás comentando usando tu cuenta de Facebook. Cerrar sesión / Cambiar )

Google+ photo

Estás comentando usando tu cuenta de Google+. Cerrar sesión / Cambiar )

Conectando a %s

A %d blogueros les gusta esto: