مقاله پژوهشی

روایی و پایایی تحليل نمونۀ زباني در سنجش عملكرد زباني كودكان 6-5 ساله

زهرا سلیمانی¹، شهین نعمتزاده²، لعیا غلامی تهرانی¹، مهدی رهگذر³

¹ـ گروه گفتاردرمانی، دانشگاه علوم بهزیستی و توانبخشی، تهران، ایران

²ـ پژوهشکده علوم شناختی، تهران، ایران

³ـ گروه آمار، دانشگاه علوم بهزیستی و توانبخشی، تهران، ایران

چکیده

زمینه و هدف: علیرغم کاربرد وسیع رویکرد تحلیل نمونۀ زبانی در مطالعات رشد زبان و ارزیابی آسیبشناسی آن در زبانهای دیگر، در زبان فارسی کاربرد آن رایج نبوده است. در تحقیق حاضر برخی ویژگیهای روانسنجی این رویکرد، نظیر روایی محتوا داستان و تصاوير آن، پايايي آزمونـبازآزمون و پايايي بين مصححان بررسي شد.

روش بررسی: برای جمعآوری نمونۀ زبانی داستانی فارسی براساس مطالعۀ Schneider و همکاران در سال 2006 نوشته و به تصویر کشیده شد. ابتدا افراد خبره روایی متن داستان و سپس کیفیت تصاویر آن را ارزیابی کردند. تصاویر طی دو مرحله به فاصله 10-7 روز به 30 کودک 6-5 ساله نشان داده شد و از آنها خواسته شد براساس تصاویر داستانی را بسازند. هیچ سرنخی توسط آزمونگر ارائه نشد. صدای کودکان ضبط، نسخهنویسی و تحلیل شد. در تحلیل ساختار جمله و کلمه ارزیابی شد.

یافتهها: میانگین درصد توافق افراد صاحبنظر در مورد متن نوشتاری 28/92 بهدست آمد. کیفیت تصاویر رتبۀ بسیار عالی را کسب کرد. ضرایب تکرارپذیری نشان میدهد در متغیرهای ساختار جمله و ساختار کلمه بین دو مرحلۀ اجرا همبستگی معنیداری مشاهده شد(05/0p<). در ساختار جمله فقط در متغير جملۀ مرکب ناهمپایه همبستگي مشاهده نشد(137/0p=). همبستگي میانگین درصد توافق بین ارزیابها در نسخهنویسی 1/97 بود و نتایج بررسی پایایی در تحلیل نمونه نشان داد ضرایب همبستگی شدید و معنیداری بوده است.

نتیجهگیری: ابزار جمعآوری نمونۀ زبانی از روایی برخوردار است و ثبات عملکرد زبانی در اندازهگيري مكرر در رویکرد تحلیل نمونۀ زبانی از ضعیف تا قوی متغیر است.

واژگان کلیدی: پایایی، روايي، تحلیل نمونۀ زبان، کودکان، فارسی

(دریافت مقاله: 23/7/91، پذیرش: 13/10/91)

مقدمه

تحلیل نمونۀ زبانی (language sample analysis: LSA) یکی از بهترین شیوههای ارزیابی زبان در کودکان است. در این رویکرد پس از جمعآوری نمونۀ زبانی، زبان را از جنبههای مختلف مانند صرف و نحو، معنا و کاربردشناسی تحلیل میکنند.  برای مثال، پیچیدگیهای صرفی و نحوی، انتقال اطلاعات و كاربرد معنایی كلمات مختلف و كاربرد ابزارهاي انسجام و حروف ربط از جنبۀ كاربردشناسي زبان را تحليل ميكنند. بیشتر آنچه که دربارۀ رشد زبان در کودکان میدانیم محصول این تحلیل است. گفتاردرمانگرها (آسیبشناسان گفتار و زبان) برای شناسایی تأخیرهای زبانی از LSA استفاده میکنند و مشكلات كودكان در جنبههاي صرفیـنحوی، معنایی و کاربردشناسی را مشخص و آنها را در رويكردهاي درماني مد نظر قرار ميدهند. نمونۀ زبانی را میتوان از راههای گوناگون مانند محاوره، تعریف داستان و تجارب شخصی جمعآوری کرد.

مطالعات مزیت فراوانی را برای این رویکرد ارزیابی نسبت به آزمونهای هنجار مرجع عنوان کردهاند. از جمله مزیتهای این رویکرد میتوان به این موارد اشاره کرد که در شرايط طبيعي نمونۀ گفتار طبيعي را استخراج ميکند؛ ارزیابی عمیقی از نقاط قوت و ضعف جنبههای مختلف مهارت زبانی بهدست میدهد؛ راهنمای خوبی برای برنامۀ درمانی ارائه میکند؛ برای تعیین بهبود مهارتهای زبانی در طول زمان مؤثر است و برای ارزیابی پیامدهای درمان به کار میرود؛ مهارتهای زبانی کودکان در موقعیتی بررسی میشود که روایی بومشناختی (ecological validity) دارد و بافتمند (contextualized) است(1). این رویکرد مانند بسیاری از رویکردهای دیگر دارای مشکلاتی نیز است که عبارتند از کاربرد آن نیاز به صرف زمان دارد؛ میزان ثبات نمونۀ زبانی جمعآوری شده اندک است؛ بسیاری از اطلاعات زبانی مانند ویژگیهای زبر زنجیری در نسخهنویسی (transcription) نوشته نمیشود؛ در نمونۀ گفتار طبیعی، شروعهای کاذب و بیانهای تکراری بسیار دیده میشود که این مسئله تشخیص شروع و پایان گفتار را برای تعیین گفته دشوار میکند؛ و دیگر آن که اگر چه LSA معیاری از عملکرد واقعی زبان کودک فراهم میکند، اما معیار دقیقی برای تصمیمگیری تشخیص آسیب زبانی ارائه نمیکند. حتی در زمانی که دادۀ هنجار وجود دارد غربالگری آسان رفتار زبانی خاص وجود ندارد(2).

هنگام استفاده از LSA دو پرسش پیش میآید یکی آن که چه میزان نمونه جمعآوری شود و دیگر آن که چه جنبۀ زبانی در نمونه بررسی شود. صرف نظر از واحد زبانی که بررسی میشود، تعداد دفعات کاربرد، معیاری است که برای تمیز یک جمعیت از دیگری استفاده میشود(3). بنابراین هرچقدر نمونۀ گفتاری بیشتری جمعآوری شود بهتر میتوان در مورد تعداد دفعات کاربرد قضاوت کرد. Gavin و Giles (1996) نمونههای زبانی را با حجم نمونۀ مختلف براساس افزایش تعداد گفته (175-25) بررسی کردند. آنها برای چهار معیار ميانگين طول گفته، تعداد کلمات مختلف، تعداد کل کلمات و میانگین طول از آزمونـبازآزمون استفاده کردند. نتایج آنها نشان داد تنها در هنگامی که بیشترین تعداد گفته، یعنی 175 گفته، استفاده میشود ضریب پایایی90 درصد است(4).

در بررسی پژوهشهای انجام شده مشاهده شد که تنوع زیادی در بررسی متغیرهای زبانی در LSA وجود دارد. این تنوع بهنظر میرسد ناشی از دیدگاه محقق و گسترۀ وسیعی از مهارتهای زبانی است که در نمونۀ زبانی قابل بررسی است. بررسی کاربرد نحو پیچیده مانند جملات مرکب همپایه و ناهمپایه(1و5) و ساختار کلمه(6) در مطالعات دیده میشود.

علیرغم تنوع زیاد در متغیرهای زبانی که در LSA در سایر زبانها اندازهگیری میشود، در زبان فارسی، معیاری برای سنجش نمونۀ زبانی در ارزیابیهای زبان وجود ندارد و از طرف دیگر تعداد آزمونهای هنجار شده برای بررسی مهارت زبانی اندک است و ساخت و اجرای این آزمونها نیز مشکلات خاص خود را دارد. بنابراین، استفاده از رویکردی که در محیطی نسبتاً طبیعی زبان را در کودکان بررسی کند ضروری است. با وجود وسعت مطالعات در زبانهای دیگر، مطالعهای در مورد LSA در زبان فارسی دیده نشد. بهنظر میرسد این تحلیل در فرایند شناسایی آسیبهای زبانی و بررسی تأثیر پیامد درمان در زبان فارسی در ابتدای راه باشد. پژوهش حاضر در نظر دارد برخی ویژگیهای روانسنجشی این رویکرد نظیر روایی و پایایی آن را در کودکان فارسیزبان بررسی کند.

روش بررسی

در این مطالعه برای جمعآوری نمونۀ زبانی از داستانی استفاده شد که براساس مطالعۀ Schneider و همکاران (2006) در زبان انگلیسی و براساس مدل دستور داستان Glenn و Stein (1979) نوشته شده است(7). در این مطالعه نیز مانند مطالعۀ Schneider و همکاران داستان نوشته شده براساس مدل دستور داستان Glenn و Stein است. این داستان متشکل از 14 تصویر است که در آن برای شخصیتهای داستان مشکلاتی پیش میآید و آنها برای حل آن تلاش میکنند. در انتخاب شخصیتها و مشکلاتی که برای آنها پیش میآید با دو فرد صاحبنظر در حوزۀ ادبیات کودک مشورت شد. ابتدا روایی متن نوشتاری داستان و سپس تصاویر طراحی شدۀ آن توسط افراد صاحبنظر فارسیزبان متشکل از آسیبشناس گفتار و زبان و زبانشناس ارزیابی شد. در متن نوشتاری داستان 13 فرد صاحبنظر، در مورد آشنا بودن شخصیتهای داستان برای کودکان 6-5 ساله و مناسب بودن مسئلهای که آنها در داستان برای حل آن تلاش میکنند بهصورت بلی و خیر نظر دادند و 7 نفر صاحبنظر در مورد کیفیت طراحی تصاویر بهصورت پرسشنامۀ پنج گزینهای لیکرت پاسخ دادند. بالاترین فراوانی پاسخهای لیکرت برای بررسی کیفیت طراحی تصاویر در نظر گرفته شد.

با توجه به آنكه در مطالعات گوناگون ذکر شده است که تعداد 30 نفر نمونه به توزيع نرمال نزديك است، اين تعداد براي بررسي پايايي انتخاب شد. پس از آماده شدن تصاویر داستان، 30 کودک 6-5 ساله (15 دختر و 15 پسر) فارسیزبان آن را دو مرتبه تعریف کردند. این کودکان از مهدکودکهای دخترانه و پسرانۀ مناطق 8، 9، 20 آموزش و پرورش شهر تهران انتخاب شدند. کودکانی در مطالعه شرکت داده شدند که براساس نظر مربی عملکردهای شناختی و زبانی آنها در محدودۀ توانایی کودکان 6-5 ساله،  و مهارتهای شنیداری، گفتاری و بینایی آنها در محدودۀ طبیعی بود. رشد طبیعی زبان در تمام این کودکان با استفاده از نسخۀ فارسی آزمون رشد زبان تأیید شد. با توجه به آن که داستانگویی در سن 5 سالگی در کودکان دیده میشود و همچنین توانایی کودکان در این سن در کاربرد عمدۀ ساختارهای زبانی(8)، برای بررسی ساختار جمله و کلمه کودکان 6-5 ساله برای LSA انتخاب شدند. برای بررسی ثبات عملکرد زبانی با استفاده از روش آزمونـبازآزمون، تصاویر داستان به کودکان طی دو مرحله به فاصلۀ 10-7 روز نشان داده شد و در هر دو مرحله خواسته شد با استفاده از تصاویر داستان را تعریف کنند. شیوۀ استخراج داستان در هر دو مرحله یکسان بود؛ به گونهای که ابتدا نحوۀ تعریف داستان با کمک یک داستان راهنما که روایی آن نیز به تأیید افراد صاحبنظر رسیده بود، به آنها آموزش داده شد. سپس آنها بدون کمک آزمونگر با استفاده از تصاویر داستان اصلی، باید داستانی میساختند و تعریف میکردند. صدای کودکان حین تعریف داستان برای نسخهنویسی ضبط میشد. محققان برای بررسی ضریب تکرارپذیری (intra class correlation coefficient: ICC)، 60 داستان کودکان را براساس متغیرهای مطالعه تحلیل کردند. تکرارپذیری در تحلیل عملکرد زبانی با استفاده از ICC بررسی شد.

در اين مطالعه پايايي مصححان در دو مرحلۀ نسخهنويسي و تحليل داستان بررسي شد. برای بررسی پایایی نسخهنویسی فایل صوتی صدای کودکان روی کامپیوتر قرار داده شد. سپس به یک فرد آموزش داده شد که هر آن چه را که کودک بیان میکند با دقت یادداشت کند. از وی خواسته شد که برای اطمینان از دقت کار، در انتها یک بار دیگر به فایل صوتی گوش کند و نسخۀ نوشته شده را با فایل صوتی تطبیق دهد. جملهها با نقطه و مکث بین گفتهها با ویرگول مشخص شد. از آنجا که نسخهنویسی درست  نقش مهمی در تحلیل گفتار روایتی دارد، پایایی مصححان (inter-rater) در نسخهنویسی بررسی شد. برای تعیین پایایی مصححان در نسخهنویسی، به یک فرد دیگر نحوۀ نسخهنویسی به شیوۀ بالا آموزش داده شد. سپس صدای ضبط شدۀ 10کودک بهطور تصادفی انتخاب شد و از فرد دوم خواسته شد که آنها را نسخهنویسی کند. به این ترتیب، صدای ضبط شدۀ 10 کودک توسط دو فرد آموزش دیده بهصورت رسمالخط معیار زبان فارسی نسخهنویسی شد و همبستگی نسخههای نوشته شده توسط این دو فرد محاسبه شد.

برای بررسی پایایی مصححان در نسخهنویسی، براساس مطالعۀ Tilstra و McMaster (2007) توافق نقطه به نقطۀ نسخههای نوشته شده، بر حسب تعداد موارد توافق و عدم توافق نسخههای نوشته شده بین ارزیابها تعیین شد(9). سپس، تعداد توافق بر تعداد توافق بهاضافه تعداد عدم توافق تقسیم شد.

نسخههای نوشته شده از نظر ساختار جمله و تنوع کاربرد کلمات در داستان تعریف شده تحلیل شد. در ساختار جمله، همانند مطالعۀ Justice و همکاران (2010)، کاربرد و تعداد وقوع چهار نوع جملۀ مرکب همپایه، مرکب ناهمپایه، پرسشی، منفی و تعداد

کل جملات بررسی شد(1). در تنوع کاربرد کلمات در نمونۀ زبانی جمعآوری شده نیز، همانند مطالعۀ Watkins و همکاران (1995)، چهار مقولۀ اسم، فعل، صفت و قید بررسی شد(6).

یکی از راههای بررسی ثبات اندازهگیری، بررسی میزان توافق بین نتایج ارزیابی افراد مختلفی است که جنبۀ مورد نظر را اندازهگیری میكنند. بنابراین، برای بررسی پایایی مصححان در تحليل داستان، داستان 10 کودک از کل داستانهای نسخهنویسی شده (30 داستان) بهطور تصادفی انتخاب شدند، و همراه با تعریف متغیرها به دو نفر (نویسندۀ اول و یک فرد مسلط به دستور زبان فارسی) داده شد تا داستانها را بهطور جداگانه تحلیل کنند. سپس، ضریب همبستگی بین تعیین تعداد وقوع کاربرد متغیرهای مورد مطالعه توسط این دو فرد در این 10 داستان محاسبه شد.

یافتهها

نتایج بررسی روایی نشان میدهد که میانگین و انحرافمعیار درصد توافق افراد صاحبنظر در مورد متن نوشتاری داستان بهترتیب 28/92 و 88/6 بوده است. بالاترین فراوانی پاسخها با مقياس لیکرت در مورد کیفیت داستان بهگونهای بود که این داستان از نظر کیفیت، رتبۀ بسیار عالی را کسب کرد.

در نتایج بررسی پایایی بین ارزیابها در نسخهنویسی، میانگین درصد توافق نسخۀ نوشته شده بین دو ارزیاب در 10 کودک 1/97 بهدست آمد.

مدتزمان تعریف داستان توسط کودکان بهطور متوسط 3 دقیقه و 36 ثانیه (216 ثانیه) و مدتزمان نسخهنویسی آن بهطور متوسط 13 دقیقه و 46 ثانیه (826 ثانیه) بهطول انجامید. مدتزمان تعريف داستان در دختران بهطور متوسط 07/3 با دامنۀ حداقل 05/2 و حداكثر 49/4 و در پسران 25/3 با دامنۀ حداقل 17/2 و حداكثر 28/4 بهدست آمد. ميانگين مدتزمان نسخهنويسي در دختران 37/13 و در پسران 55/13 بهدست آمد. در دختران دامنۀ حداقل 52/8 دقيقه و حداكثر 8/19 دقيقه و در پسران حداقل 12/9 دقيقه و حداكثر 24/15 دقيقه بوده است.

نتایج ارزيابي تكرارپذيري در کل کودکان شرکتکننده

نشان داد كه در دو اجرای متوالی بین رخداد تمام متغیرها بهجز جملۀ مرکب ناهمپایه همبستگی وجود دارد (جدول 1). نتایج ارزیابی تکرارپذیری بهتفکیک جنسیت نیز نشان داد در دختران در متغیرهای جملۀ پرسشی، اسمها، قید و صفت مطلق و در پسران در جملۀ مرکب همپایه، اسمها و صفت مطلق در دو اجرای متوالی همبستگی وجود دارد (جدول 2).

نتایج بررسی پایایی مصححان در تحلیل داستانها در جدول 3 نشان میدهد كه بین دو مصحح در تعیین متغیرهای مطالعه همبستگی بالا و معنیداری وجود داشته است.

بحث

تهیۀ ابزاری که براساس نظر افراد خبره دارای روایی محتوا باشد، برای استخراج نمونۀ زبانی اهمیت فراوان دارد؛ چرا که منجر به افزایش پایایی نتایجی میشود که از LSA بهدست میآید. در اين مطالعه توافق بالای 80 درصد بین افراد خبره بهعنوان درصد قابل قبول در نظر گرفته شده است. متن نوشتاری داستان برای ارائه به تصویرگر در این مطالعه میانگین درصد توافق 28/92 را بهدست آورد. کیفیت تصاویر توسط افراد صاحبنظر رتبۀ بسیار عالی را کسب کرد. این نتیجه نشان میدهد که ابزار تهیه شده قابلیت جمعآوری نمونۀ زبانی از کودکان 6-5 ساله را دارا است.

طول نمونۀ زبانی جمعآوری شده نیز برای قابل اعتماد بودن نتایج تحلیل مهم است. در تحقیقات گوناگون، جمعآوری حداقل 50 گفته پیشنهاد شده است(10). در مطالعۀ حاضر متوسط زمان تعریف داستان 3 دقیقه و 40 ثانیه بود. نسبت زمان اختصاص داده شده برای نسخهنویسی داستان به زمانی که تعریف داستان بهطول انجامید 57/3 بهدست آمد. این مقدار نشان میدهد که نسخهنویسی داستان حدود 4 برابر بیشتر از زمانی که صرف تولید داستان میشود، نیاز به زمان دارد. یکی از معایبی که در مطالعات برای LSA بر میشمارند وقتگیر بودن آن است(2و11). برای درمانگری که در کلینیکی با مراجعهکنندگان بسیار مشغول به کار
است، صرف این زمان برای LSA تقریباً غیر ممکن بهنظر میرسد. برای بهدست آوردن زمانی که بتوان حداقل نمونۀ زبانی را جمعآوری کرد نیاز به تحقیق بیشتر است تا بتوان با صرف حداقل زمان به نتایج قابل اعتمادی در LSA دست پیدا کرد.

از آنجا که نتایج LSA بر نسخهنویسی درست متکی است، پایایی مصححان در نسخهنویسی بررسی شد. کسب درصد توافق 1/97 در بین نسخهنویسان داستان در این مطالعه نیز حاکی از معتبر بودن نتایج تحلیل زبانی است.

بررسی تکرارپذیری آزمون میزان تغییرات را در آزمودنی نشان میدهد(12). نتایج پژوهشها در LSA میزان ثبات عملکرد زبانی را اندک گزارش کردهاند(2و9). تجربه و آشنا شدن با موضوع داستان میتواند منجر به تفاوت نمونۀ زبانی جمعآوری شده در مرحلۀ دوم با مرحلۀ اول شود. در این مطالعه در کل کودکان شرکت کننده تنها در متغیر جملۀ مرکب ناهمپایه بین دو مرحلۀ اجرا همبستگی دیده نشد و همبستگی بین دیگر متغیرها معنیدار بود. در این متغیرها ضرایب همبستگی از ضعیف تا بالا بهدست آمده است؛ بهگونهای که بین دو مرحلۀ اجرا همبستگی جملۀ پرسشی، اسامی، قید، تعداد کل کلمه ضعیف و همبستگی جملۀ منفی، جملۀ مرکب همپایه، تعداد کل جمله و صفت مطلق متوسط و همبستگی فعل بالا محاسبه شده است. این نتیجه گویای آن است که LSA در اندازهگیریهای مکرر میتواند عملکرد زبانی را نسبتاً باثبات نشان دهد و بر مزیت استفاده از LSA میافزاید. از طرف دیگر، بررسی تکرارپذیری در کودکان بهتفکیک جنسیت نشان میدهد در دختران در متغیرهای جملۀ پرسشی، اسمها، قید و صفت مطلق و در پسران در جملۀ مرکب همپایه، اسمها و صفت مطلق در دو اجرای متوالی همبستگی وجود دارد. همبستگی بین دو مرحلۀ اجرا در کل کودکان بیشتر از هر یک از گروههای دختران و پسران بهتفکیک است. با توجه به آن که تعداد کل کودکان دو برابر تعداد کودکان در هر یک از گروههای دختر و پسر است، میتوان گفت یکی دیگر از عواملی که بر قابلیت تکرار LSA اثر میگذارد، حجم نمونه است.

یکی از راههای کنترل خطای اندازهگیری، بررسی ثبات اندازهگیری مصححان یا ارزیابان یک آزمون است(13). در صورتیکه سیستم تعیین امتیاز متغیرها با وضوح بالا تعریف شده باشد، همبستگی بین مصححان بالا خواهد بود. نتایج بررسی ثبات اندازهگیری بین مصححان در این مطالعه نشان میدهد که متغیرها بهخوبی تعریف شدهاند، زیرا ضریب همبستگی در جملۀ پرسشی بالا و در سایر متغیرها بسیار بالا بهدست آمده است. البته ذکر این نکته ضروری است که در LSA از میان طیف متنوع متغیرها در سایر پژوهشها در زبان انگلیسی، متغیرهایی در این پژوهش انتخاب شدند که در زبان فارسی به روشنی تعریف شدهاند و این امر باعث شده است که متغیرها با وضوح بالا تعریف شوند. برخی متغیرها در LSA در زبان انگلیسی وجود دارند، مانند واحد t (t unit)، که تعریف مشخصی برای آنها در زبان فارسی موجود نیست. اگر چه اهمیتی که در مطالعات برای این متغیرها ذکر شده است، بهدلیل نبود پژوهشی برای تعریف دقیق آنها در زبان فارسی، در این مطالعه این متغیرها بررسی نشد. ضروری است این متغیرها ابتدا در یک پژوهش مستقل تعریف شود، سپس در LSA بهکار رود.

همانگونه که ذکر شد، علیرغم آن که در زبانهای دیگر در ارزیابی رشد زبان و آسیبشناسی زبان از رویکرد LSA بسیار استفاده میشود، بهکارگیری این رویکرد در زبان فارسی اندک است و استفاده از آن در زبانهای دیگر باعث شده است كه مشکلات آنان شناسایی شود و برای رفع آنها و یا تسهیل استفاده از آنها  اقداماتی صورت گیرد. استفاده از تحلیل نظاممند نسخهنویسی زبان (Systematic analysis of language transcripts: SALT) نمونهای از پیشرفت در استفاده از این رویکرد است. SALT نرمافزاری است که در زبان انگلیسی برای نسخهنویسی و تحلیل نمونۀ زبانی (LSA) طراحی شده است و در مطالعاتی مانند Justice و همکاران (2010) و Reilly و همکاران (2004) از آن استفاده شده است(1و5).

نتیجه گیری

براساس نتایج این مطالعه میتوان گفت نتايج اندازهگیری مجدد در LSA پایا (معتبر) است و میتواند عملکرد زبانی کودک را بهطور نسبتاً با ثبات نشان دهد. وجود پایایی بالا در نسخهنویسی و تحلیل داستان بر پایایی نتایج این مطالعه افزوده است.

سپاسگزاری

این مقاله منتج از رسالۀ دکتری در دانشگاه علوم بهزیستی و توانبخشی است که با شماره 186-600 به ثبت رسیده است. نویسندگان مقاله مراتب تقدیر خود را از مربیان محترم کلاسهای پیشدبستانی خانمها بابایی، جدیدیان و ربیعی در مدارس سجاد و آزادگان منطقه 8، شعبانی، علوی و خدامی در مدارس سعادت و یاسر منطقه 9 و خمسه در مرکز پیشدبستانی حضرت رقیه(س) در منطقۀ 20، بهدلیل همکاری ارزندهشان در اجرای پژوهش، اعلام میدارند.

REFERENCES

1. Justice LM, Bowles RP, Pence K, Gosse CS. A scalable tool for assessing children's language abilities within a narrative context: The NAP (Narrative Assessment Protocol). ECRQ. 2010;25(2):218-34.

2. Stockman IJ. The promises and pitfalls of language sample analysis as an assessment tool for linguistic minority children. LSHSS. 1996;27:355-66.

3. Liles BZ. Narrative discourse in children with language disorders and children with normal language: a critical review of literature. J speech Hear Res.1993;36(5):868-82.

4. Gavin WJ, Giles L. Sample size effects on temporal reliability of language sample measures of preschool children. J Speech Hear Res. 1996;36(6): 1258-62.

5. Reilly J, Losh M, Bellugi U, Wulfeck B. Frog, Where are you? narratives in children with specific language impairment, early focal brain injury and Williams syndrome. Brain Lang. 2004;88(2):229-47.

6. Watkins RV, Kelly DJ, Harbers HM, Hollis W. Measuring children’s lexical diversity: differentiating typical and impaired language learners. J Speech Hear Res.1995;38(6):1349-55.

7. Schneider P, Hayward D, Dube′ RV. Storytelling from picture using the edmonton narratives norms instrument. CJSLPA. 2006;30(4):224-38.

8. Paul R. Children with language disorder from infancy through adolescence: assessment and intervention. 3^rd ed. United States of America: Mosby Elsevier; 2011.

9. Tilstra J,  McMaster K. Productivity, fluency, and grammaticality measures from narratives potential indicators of language proficiency? Commun Disord Q. 2007;29(1):43-53.

10. Hewitt LE, Hammer CS, Yont KM, Tomblin JB. Language sampling in kindergarten children with and without SLI: mean length of utterance, IPSYN, and NDW. J Commun Disord. 2005;38(3):197-213.

11. Kemp K, Klee T. Clinical language sampling practices: results of a survey of speech-language pathologists in the united states.
Child Lang Teach Ther.1997;13(2):161-76.

12. Shultz KS, Whitney DJ. Measurement theory in action: case studies and exercises. 2^nd ed. California: Sage Publications; 2005.

13. Domholdt E. Rehabilitation research: principles and applications. 3^rd ed. St. Louis, MO: Elsevier Saunders; 2005.

Research Article

The reliability of language performance measurement in language sample analysis of children aged 5-6 years

Zahra Soleymani¹, Shahin Nematzadeh², Laya Gholami Tehrani¹, Mehdi Rahgozar³

¹- Department of Speech therapy, University of Welfare and Rehabilitation Sciences, Tehran, Iran

²- Institute for Cognitive Science Studies, Tehran, Iran

³- Department of Biostatistic, University of Welfare and Rehabilitation Sciences, Tehran, Iran

Received: 14 October 2012, accepted: 2 January 2013

Abstract

Background and Aim: The language sample analysis (LSA) is more common in other languages than Persian to study language development and assess language pathology. We studied some psychometric properties of language sample analysis in this research such as content validity of written story and its pictures, test-retest reliability, and inter-rater reliability.

Methods: We wrote a story based on Persian culture from Schneider’s study. The validity of written story and drawn pictures was approved by experts. To study test-retest reliability, 30 children looked at the pictures and told their own story twice with 7-10 days interval. Children generated the story themselves and tester did not give any cue about the story. Their audio-taped story was transcribed and analyzed. Sentence and word structures were detected in the analysis.

Results: Mean of experts' agreement with the validity of written story was 92.28 percent. Experts scored the quality of pictures high and excellent. There was correlation between variables in sentence and word structure (p<0.05) in test-retest, except complex sentences (p=0.137). The agreement rate was 97.1 percent in inter-rater reliability assessment of transcription. The results of inter-rater reliability of language analysis showed that correlation coefficients were significant.

Conclusion: The results confirmed that the tool was valid for eliciting language sample. The consistency of language performance in repeated measurement varied from mild to high in language sample analysis approach.

Keywords: Reliability, validity, language sample analysis, children, Persian

Please cite this paper as: Soleymani Z, Nematzadeh Sh, Gholami Tehrani L, Rahgozar M. The reliability of language performance measurement in language sample analysis of children aged 5-6 years. Audiol. 2014;23(1):21-9. Persian.