In PIAAC wurden in der Hauptstudie (2022/23) in jedem Teilnehmerland ca. 5.000 Personen befragt. Hierfür wurde aus der PIAAC-Grundgesamtheit in jedem Land eine repräsentative Zufallsstichprobe gezogen. Die Grundgesamtheit sind in Privathaushalten lebende Personen im Alter von 16 bis 65 Jahren, ungeachtet ihrer Staatsangehörigkeit, ihrem Aufenthaltsstatus oder ihrer Sprachkenntnisse.
In Deutschland wurde in einem zweistufigen geklumpten und geschichteten Verfahren eine Personenstichprobe aus den Einwohnermeldeamtsregistern gezogen. Zunächst werden aus dem gesamten Bundesgebiet Gemeinden zufällig ausgewählt. Als Ziehungsrahmen dient die aktuellste Fassung des Gemeindeverzeichnisses des Statistischen Bundesamtes. In einem zweiten Schritt werden in jeder ausgewählten Gemeinde aus dem Einwohnermeldeamtsregister per Zufallsauswahl Personen der Grundgesamtheit gezogen.
Vor der Hauptstudie wurde im Jahr 2021 eine dreimonatige Feldstudie durchgeführt.
Die internationale Projektleitung von PIAAC sowie das nationale Projektmanagement in Deutschland haben sich der Einhaltung von gesetzlichen Datenschutzregelungen sowie von ethischen Richtlinien verpflichtet. Alle Institutionen, die an der Durchführung von PIAAC in Deutschland beteiligt sind, arbeiten nach den anwendbaren Datenschutzbestimmungen, insbesondere der EU-Datenschutzgrundverordnung (DSGVO) und des Bundesdatenschutzgesetzes (BDSG). Bei GESIS wird die Einhaltung des Datenschutzes von ihrem Datenschutzbeauftragten sichergestellt. Die Daten aus der Befragung werden streng vertraulich behandelt. Personenbezogene Daten werden Dritten nicht zugänglich gemacht und es wird sichergestellt, dass eine einzelne Person in den Daten nicht identifizierbar ist.
Die Studie wird nach ethischen Grundsätzen durchgeführt; für PIAAC liegt GESIS eine ethische Unbedenklichkeitsbescheinigung vor. Interviewende wurden in einer 5-tägigen persönlichen Schulung speziell auf ihre Aufgabe vorbereitet. Hierbei wurde darauf geachtet, dass sie den Zielpersonen respektvoll begegnen und auf deren Rechte achten. Die Teilnahme an PIAAC ist freiwillig, im Interview besteht jederzeit die Möglichkeit, eine Frage nicht zu beantworten. Die ausgewählten Personen werden durch ein Anschreiben, ein Datenschutzblatt sowie einen Flyer ausführlich über die Studie und ihre Rechte informiert.
Ziel von PIAAC ist es, international vergleichbare Daten über die Kompetenzen Erwachsener in höchster Qualität zu produzieren. Die Daten sind von besonderem öffentlichem Interesse. Sie werden von Wissenschaftler*innen der unterschiedlichsten Disziplinen genutzt, und die Ergebnisse von PIAAC dienen zentralen Akteuren in Politik und Gesellschaft als Grundlage für politische Interventionen und Weichenstellungen.
Um das Ziel zu erreichen und die hohe Qualität der Daten sicherzustellen, muss die Erhebung in allen Ländern in vergleichbarer und standardisierter Weise erfolgen. Das internationale Konsortium hat hierfür umfangreiche und detaillierte Qualitätsstandards definiert. Die Einhaltung und Umsetzung dieser internationalen Standards in den teilnehmenden Ländern werden vom internationalen Konsortium regelmäßig überprüft. In Deutschland werden die international vorgegebenen qualitätssichernden Standards durch weitere nationale Maßnahmen ergänzt.
Die internationalen PIAAC-Standards reflektieren den aktuellen Stand der Forschung zur Umfragemethodik und erstrecken sich auf alle Bereiche des Forschungsdatenzyklus (Survey Life Cycle):
Für die Interpretation der PIAAC-Ergebnisse ist es von großer Wichtigkeit, dass die befragten Personen tatsächlich ein repräsentatives Abbild der Grundgesamtheit darstellen. Um eine wirklichkeitsgetreue Bestandsaufnahme der aktuellen Situation in den Ländern zu erhalten und diese international vergleichen zu können, ist die Teilnahme von möglichst vielen ausgewählten Personen an der Studie von zentraler Bedeutung. Nach internationalen Standards ist eine Stichprobenausschöpfung von mindestens 70% zu erzielen. Länder mit niedrigeren Ausschöpfungsquoten sollen durch Nonresponse-Bias-Analysen nachweisen, dass die realisierte Stichprobe keine oder nur marginale Verzerrungen aufweist.
Vor der Datenveröffentlichung begutachtet der internationale wissenschaftliche Beirat (Technical Advisory Group) für jedes Land die Einhaltung der Standards zur Qualitätssicherung sowie die Verwertbarkeit der PIAAC-Daten für Analysezwecke. Zentrale methodische Aspekte sind hierbei die Güte der Stichprobe und des Stichprobenverfahrens, die Abdeckung und Verzerrung der Stichprobe, die Datenerhebung sowie die Güte der Instrumente und die Qualität der Daten. Das Ergebnis dieser Begutachtung entscheidet darüber, ob die Daten der jeweiligen Länder in den internationalen Datensatz aufgenommen und in den internationalen Analysen berücksichtigt werden.
