সিম্পসন’স প্যারাডক্স

 

১)

একটা ধাঁধার মত ছোট্ট অঙ্ক দিচ্ছি, মন দিয়ে শুনুন।

ধরা যাক, আপনার পাড়ায় দুটো ইস্কুল, আদর্শ বিদ্যানিকেতন আর হরিপুর মেমোরিয়াল। দুই স্কুলের খুব রেষারেষি, কে কার থেকে বেশী ভালো সেই নিয়ে বিতণ্ডার শেষ নেই। আপনি আবার এই পাড়ার মোড়ল, ঠিক করলেন, একটু খতিয়ে দেখবেন কোথায় কত নম্বর উঠেছে বোর্ডের পরীক্ষায়। দেখতে গিয়ে যা পেলেন, তা হচ্ছে এই – হরিপুরের ছেলেরাও আদর্শের থেকে গড় নম্বর পেয়েছে বেশী, আবার মেয়েরাও বেশী … ধরা যাক, তাদের গড় নম্বর এই রকম (সব-ই মনগড়া)।

	হরিপুর (ছাত্র সংখ্যা)	আদর্শ (ছাত্র সংখ্যা)
ছেলে	৮৪  (৮০ জন)	৮৫ (২০ জন)
মেয়ে	৮০  (২০ জন)	৮১  (৮০ জন)

 

আপনি এই অব্দি দেখে লিখতে যাচ্ছেন ছেলে-মেয়ে দুই বিভাগেই আদর্শ একটু এগিয়ে, এমন সময় হরিপুরের হেডমাস্টার জিগ্যেস করে বসলেন, আলাদা-আলাদা করে নয়, সব মিলিয়ে কার কত? কী আশ্চর্য কাণ্ড, সব মিলিয়ে দেখলে হরিপুরের গড়ঃ ৮৩.২ আর আদর্শের গড়ঃ ৮১.৮ !

মানে সোজা কথায়, ছেলে-মেয়ে মিশিয়ে দেখলে হরিপুর এগিয়ে, অথচ আলাদা-আলাদা করে আদর্শ? এ কী করে সম্ভব?

মনগড়া আর-ও একটা উদাহরণ দিই? তবে এটা আমার বানানো নয়, বেকার ও ক্রেমার-বাবুর পেপার^৪,৫ থেকে তোলা রীতিমত।

টেবিল-টা মন দিয়ে দেখুন। দুটি ট্রিটমেন্ট, এবং আগের মতন দুটিই গ্রূপ – পুরুষ-নারী। প্রথম সারিতে বলছে, শুধু পুরুষদের চিকিৎসায় ট্রিটমেন্ট ‘এ’-র সার্ভাইভাল রেট ৬০%, আর ‘বি’ এর কম (৫০%), আবার শুধু নারীদের চিকিৎসায়, ‘এ’ এবং ‘বি’ এর সার্ভাইভাল রেট যথাক্রমে ৯৫% ও ৮৫%, অর্থাৎ এই বেলাতেও ‘বি’-এর থেকে ‘এ’ ভালো?

এইবার একদম শেষ সারি-টি দেখুন – কম্বাইন করে দেখলে, উলটে গেছে হিসেবনিকেশ – সব মিলিয়ে ‘বি’ ৮০% আর ‘এ’ মাত্র ‘৭২%’। পেপারের টাইটেল ধার করে বললে, “গুড ফর উইমেন, গুড ফর মেন, ব্যাড ফর পিপল”?

এইবারে ধরুন আপনি ডাক্তার অথবা পেশেণ্ট, যদি বেছে নিতেই হয় দুটোর মধ্যে একটা, কোনটা বাছবেন আপনি, ‘এ’ না ‘বি’?

(২)

আদর্শ আর হরিপুর তো মনগড়া, যেমন মনগড়া বেকার-ক্রেমারের টেবিল, কিন্তু এর পরের উদাহরণ-টা আসল, মানে এক্কেবারে সাক্ষাৎ জর্নলের পাতা থেকে।

Charig et al. (1986) এর একটি বিখ্যাত পেপার^২ থেকে কিডনি স্টোনের চিকিৎসার যে ডেটা পাওয়া যায়, সেও একদম এক ছাঁচ। দুটো সার্জিক্যাল চিকিৎসার একটি (“বি”) বড়ো পাথরের জন্যেও ভালো, ছোটোর জন্যেও, অথচ সব মিলিয়ে এগ্রিগেট করলে হিসেব উলটে যায়, দেখা যায় – ‘এ’-র সাফল্যের শতাংশ একটু হলেও বেশী।

 

	ওপেন সার্জিক্যাল (এ)	ক্লোজড সার্জিক্যাল (বি)
বড় পাথর	69% (55 / 80)	73% (192 / 263)
ছোট পাথর	87% (234 / 270)	93% (81 / 87)
সব মিলিয়ে	83% (289 / 350)	78% (273 / 350)

এই যে ডিগবাজি খাওয়ার প্যাটার্ণ-টা দেখলেন তিনটে উদাহরণে, রাশিবিজ্ঞানের ভাষায় এর-ই নাম “সিম্পসন’স প্যারাডক্স”^১,৩। সহজে বললে, যেখানেই দেখা যায় যে অনেকগুলো গ্রূপে আলাদা করে একটি “ট্রেন্ড” দিব্যি স্পষ্ট (ট্রেণ্ডের বাংলা কি? ধারা?) কিন্তু গ্রূপটুপ জুড়ে দিলেই সে বেমালুম হাওয়া, সেইখানেই গ্রূপের আড়ালে উঁকি মারছেন সিম্পসন।

আসলে হচ্ছেটা কী তাহলে?

প্রোবাবিলিটির আঁক কষলে, বা আরও একধাপ এগিয়ে কজাল (causal) ইনফারেন্সের কায়দায় ডায়াগ্রাম ছবি এঁকে একটা ভীষ্মের শরশয্যার কার্টুন খাড়া করলে লোকে তেড়ে আসবেন তাই একটা সহজ ছবি দিয়েই একটু ব্যাখ্যানা দিই নীচে।

পাশের ছবিটা দেখুন। যদি শুধু নীল রঙের পয়েন্টগুলোকে সরলরেখায় জোড়েন, মনে হবে রেখার অভিমুখ উর্ধ্বে, মানে পজিটিভ ট্রেণ্ড, X বাড়লে Y-ও বাড়বে, আবার লাল রঙের বেলায়-ও তাই। কিন্তু কেউ যদি এসে লাল-নীল সব রঙ মুছে দেন – তাহলে যে সরল-রেখাটি এইবারে আঁকবেন (কালো ডট-ড্যাশ রেখাটি) সেইটি কিন্তু নিম্নগামী।

অর্থাৎ, সিম্পসনের ভাষায়, the trend reverses when groups are combined.

তাহলে কি সব-সময়েই এইরকম গ্রূপ জুড়ে দিলেই ট্রেন্ড পালটে যায়? অবশ্যই না।

হরিপুর আর আদর্শের টেবিল-টা আরেকবার দেখুন। হরিপুরে ২০% ছেলে, ৮০% মেয়ে, আর আদর্শে ঠিক তার উল্টো ! ওই এক-ই টেবিলে যদি হরিপুর আর আদর্শে ছেলে-মেয়ের পারসেন্টেজ না পাল্টাতো, তাহলেই আর অঙ্ক ওল্টাতো না। বিশ্বাস না হলে দুইদিকের পাল্লা সমান করে দেখুন, অঙ্ক মেলে কি না।

বেকারবাবুদের উদাহরণ, আর কিডনি-স্টোনের গল্প-ও তাই। বড়ো পাথরের জন্যে, যেগুলো হয়তো আরও জটিলতর সমস্যা, ডাক্তার-বাবুরা ট্রিটমেন্ট ‘এ’ বেশী ব্যবহার করেছেন, আর ছোটোর জন্যে ‘বি’। কাজেই ট্রিটমেন্ট ‘বি’ নিকৃষ্টতর হলেও, বেশী কঠিন কেসে কম ব্যবহৃত হওয়ার জন্যেই শতকরা হিসেবে এগিয়ে। আবার ‘এ’ হয়তো আসলেতে উন্নততর পদ্ধতি, কিন্তু তাকেও বেশীবার দিতে হচ্ছে কঠিন পরীক্ষা।

প্রথম উদাহরণে জেণ্ডার (লিঙ্গ) আর দ্বিতীয় উদাহরণে রোগের জটিলতা (সিভিয়ারিটি) – এদের রাশিবিজ্ঞানের ভাষায় বলা হয় “লার্কিং ভেরিয়েবল”, অর্থাৎ ঘাপটি মেরে বসে থাকা চলরাশি। এদের না ধরলেই হিসেব উলটে সে এক বিচ্ছিরি কাণ্ড !

(৩)

শেষ করবো আরও দুটো উদাহরণ দিয়ে, যদিও আগের পর্বের মতন এইবারেও বলাটা অন্যায় হবে না যে চোখ মেলে চাইলে চাদ্দিকে বিস্তর প্রাঞ্জল উদাঃ দেখতে পাবেন।

প্রথমটা বার্কলি বিশ্ববিদ্যালয়ের – ১৯৭৩ সালে যাদের বিরুদ্ধে লিঙ্গবৈষম্যের অভিযোগ ওঠে। সেই বছরের গ্র্যাজুয়েট স্কুলে ভর্তির তথ্যে দেখা যায়, পুরুষ আবেদনকারীদের ৪৪% আর মহিলা আবেদনকারীদের ৩৫% উত্তীর্ণ, এবং ৪৪-৩৫ এর ব্যবধান নামমাত্র নয়। এই অভিযোগের ঠিক পরেপরেই ৭৫ সালে পিটার বিকেল ও তাঁর সহকর্মীরা একটি পেপারে^৭ বার্কলির সবকটি ডিপার্টমেন্টের ভর্তির পরিসংখ্যান খতিয়ে দেখেন। আবার-ও সেই সিম্পসন’স প্যারাডক্স। দেখা যায় ৮৫-র মধ্যে ৬টি ডিপার্টমেন্টের বায়াস পুরুষদের বিপক্ষে, আর ৪টিতে মহিলাদের বিপক্ষে … এবং “examination of the disaggregated data reveals … about as many units appear to favor women as to favor men”. বিকেল-দের বক্তব্য ছিলো, এই উদাহরণটির লার্কিং ভেরিয়েবল ডিপার্ট্মেন্টগুলি কতোটা কম্পিটিটিভ সেই তথ্য। ওঁদের-ই অ্যাবস্ট্রাক্ট থেকেই সোজা চোতা করে দিই দুই লাইনঃ

“The bias in the aggregated data stems not from any pattern of discrimination on the part of admissions committees, which seem quite fair on the whole, but apparently from prior screening at earlier levels of the educational system. Women are shunted by their socialization and education toward fields of graduate study that are generally more crowded, less productive of completed degrees, and less well funded, and that frequently offer poorer professional employment prospects.”

(এইখানে বলে রাখা উচিত যে, শিক্ষা-ক্ষেত্রে লিঙ্গবৈষম্য আছে এবং ভয়ানকভাবেই আছে বলে মনে করি, বার্কলির এই উদাহরণ সেটাকে ডিস্প্রুভ করে না। এই বিষয় নিয়ে বলার অনেক কিছু থাকলেও এই পরিসরে সেই প্রসঙ্গ তুললাম না।)

শেষ করবো এমন একটা উদাহরণ দিয়ে যেটা আমাদের এই দুহাজার কুড়ি সালে এসে কান ধরে শিখিয়ে গেলো যে সিম্পসনের প্যারাডক্স যতোই বইয়ের পাতায় পড়ি, আসলে কিছুই মাথায় ঢোকেনি।

আর টেবিল নয়, বরং একটা ছবি দেখাবো। Kügelgen et al. দের পেপার^৮ থেকে (মাপ করবেন বাংলা উচ্চারণ পারলাম না)।

ডানদিকের ছবিটি খেয়াল করে দেখুন। ইটালি আর চীনের, বয়েস অনুযায়ী, কেস ফেটালিটি রেট, অর্থাৎ কনফার্মড কেসের যত ভগ্নাংশ মারা গেছেন। পুরো প্লটে দেখা যাচ্ছে একদম ছোটো ০-৯ থেকে শুরু করে “৮০+” অব্দি প্রত্যেকটি এজ-গ্রূপেই চীনের CFR বেশি, অথচ যেই pool করলেন, উলটে গেলো - একদম ডানদিকে “টোটাল” ক্যাটেগরির দিকে তাকান, নীল বারের উচ্চতা কমলা-র থেকে কম।

কী করে হলো এরকম? আবার সেই হরিপুর-আদর্শ ইস্কুলে ফিরে যান। সেখানে যেমন দুটো ইস্কুলের ছেলেমেয়ের অনুপাত সমান ছিলো না। এইখানেও ইটালি ও চীনের বয়স-অনুসারে কোভিড-আক্রান্ত বিন্যাস আলাদা, সত্যি বলতে বেশ অনেকটাই আলাদা। চীনের বেশীর ভাগ আক্রান্ত ৩০-৬০ এর মধ্যে আর ইটালীর আক্রান্ত-দের সবাই প্রায় ৬০+। এই ছবিতে সেইটিই “লার্কিং ভেরিয়েবল”।

এক পাতা লিখবো ভেবে আপাততঃ চার-পাঁচ পাতার নামিয়ে দিয়েছি কাজেই এইখানেই ইতি টানলাম। সিম্পসন’স প্যারাডক্স এর গল্পের যদিও ইতি নেই, আদি আছে কি না সে-ও বলা শক্ত। এই লেখাটায় টেকনিক্যাল খুঁটিনাটি সব বাদ দিলাম, তবে নীচে রেফারেন্সের তিন-নম্বরে জুডিয়া পার্লের একটা আর্টিকেল পাবেন, ইচ্ছে হলে ওইটি পড়ে দেখতে পারেন।

সিম্পসন’স প্যারাডক্স ‘অমনিপ্রেজেন্ট’, কাজেই মোলাকাত তার সাথে হবেই, জানতে বা অজান্তে … তবে আশা এই যে, একবার গল্পের মত করে ব্যাপার-টা বুঝে নিলে তাকে দেখলে আঁতকে উঠবেন না। বরং একটা উদাহরণ মনে মনে গেঁতে নিন, কখন কোথায় চক-ডাস্টার হাতে জ্ঞানের গোঁসাই হয়ে ট্যান দিতে হবে কেউ বলতে পেরেছে?

 

রেফারেন্সঃ

1)    E. H. Simpson, “The Interpretation of Interaction in Contingency Tables”, Journal of the Royal Statistical Society. Series B (Methodological) , 1951, Vol. 13, No. 2 (1951), pp. 238-241

1)

2)    Charig, C. R., Webb, D. R., Payne, S. R., & Wickham, J. E. (1986). Comparison of treatment of renal calculi by open surgery, percutaneous nephrolithotomy, and extracorporeal shockwave lithotripsy. British medical journal (Clinical research ed.), 292(6524), 879–882. https://doi.org/10.1136/bmj.292.6524.879

 

3)    Understanding Simpson’s Paradox, Judea Pearl, Technical report, https://ftp.cs.ucla.edu/pub/stat_ser/r414.pdf

 

4)    Understanding Simpson’s paradox using a graph, Andrew Gelman’s blog.  https://statmodeling.stat.columbia.edu/2014/04/08/understanding-simpsons-paradox-using-graph/

 

5)    Stuart G. Baker and Barnett S. Kramer. “Good for Women, Good for Men, Bad for People: Simpson's Paradox and the Importance of Sex-Specific Analysis in Observational Studies” Journal of Women's Health & Gender-Based Medicine.Nov 2001.867-872. http://doi.org/10.1089/152460901753285769

 

 

6)    Wang, B., Wu, P., Kwan, B., Tu, X. M., & Feng, C. (2018). Simpson's Paradox: Examples. Shanghai archives of psychiatry, 30(2), 139–143. https://doi.org/10.11919/j.issn.1002-0829.218026

 

7)    P. J. Bickel, E. A. Hammel, J. W. O'Connell, “Sex Bias in Graduate Admissions: Data from Berkeley Measuring bias is harder than is usually assumed, and the evidence is sometimes contrary to expectation”. https://homepage.stat.uiowa.edu/~mbognar/1030/Bickel-Berkeley.pdf

 

8)    von Kügelgen, J., Gresele, L., & Schölkopf, B. (2020). Simpson's paradox in Covid-19 case fatality rates: a mediation analysis of age-related causal effects. arXiv preprint arXiv:2005.07180. https://arxiv.org/abs/2005.07180