Itxuraz, sinplea dirudi: izenak irakurri, zenbatu eta sailkapena egin. Edonork egingo luke kalkulu-orri batekin.
Baina Haurren Danborradako izenak urte luzez argitaratu dira, orri desberdinetan, eta zerrenda bakoitza esku desberdinek idatzi dute. Zerrendaren eta zenbakiaren artean tranpaz betetako bidea dago.
Nola bihurtzen dira izen ugari, modu askotan idatziak eta orri askotan sakabanatuak, fidatzeko moduko estatistika?
- Izenen eta abizenen ordena aldatzen da
- Hitz bera izena eta abizena izan daiteke
- Ikastetxe bat hainbat izenekin agertzen da
- Jatorrizkoak akatsak ditu
- Zenbait urtetako informazioa osatu gabe dago
- Eguneraketa batek erdian huts egin dezake
- Testu automatiko batek oker egin dezake
Artikulu honek kontatzen du Tamborradatak horietako bakoitzari nola egiten dien aurre, eta oraindik zer ezin duen bermatu ere bai.
Hiru hitz eta etiketarik ez
Pertsona batentzat, «Aitor Goikoetxea Lasa» ez da misterioa: Aitor izena da, eta Goikoetxea eta Lasa abizenak. Asmatutako izena da, adibiderako bakarrik.
- Aitorizena
- Goikoetxeaabizena
- Lasaabizena
Programa batentzat, berriz, hiru hitz solte dira. Inork ez dio esan zein den zein.
- Aitor?
- Goikoetxea?
- Lasa?
Eta hau kasurik errazena da. Bi gauzetarako balio duten hitzak daude: Martin izena da eta abizena da. Zerrenda batzuek ordena alderantzikatzen dute («Goikoetxea Lasa, Aitor»). Badira bi izen dituztenak, edo «de la Fuente» bezalako abizen elkartua dutenak. Izenetan 12.466 hitz desberdin agertzen dira, eta horietatik 1.611 (% 12,9) izen gisa zein abizen gisa ikusi dira.
Tamborradatak ez du izenen hiztegirik erabiltzen. Zenbatuz ebazten du. Izen oso bat irakurtzen duen bakoitzean, hitz bakoitza zein tokitan zegoen jasotzen du: lehen hitza izen-seinale gisa zenbatzen da (eta 3 aldiz zenbatzen da), gainerakoak abizen-seinale gisa. Erregistro guztiak irakurri ondoren (71.624), hitz bakoitzak bere historiala dauka, eta historial hori probabilitate bihurtzen da.
Termino teknikoetan, hizkuntza naturalaren prozesamendua (NLP, ingelesezko siglen arabera) da: pertsonek idatzitako testua interpretatzen duten programak, hemen izenak eta abizenak. Eta sinpleenetakoa: probabilistikoa, sare neuronalik gabe. Adimen artifiziala deitu nahi bada, oso txikia da: sistemak berak gordetzen dituen datuetatik ikasten du, baina ez da ChatGPT bezalako hizkuntza-eredu bat, eta bere arauak pertsona batek finkatu zituen.
Aitor ia beti aurrean doa: izena da. Goikoetxea ez da inoiz izen gisa agertu: beti abizena da. José ia beti lehen postuan edo erdian doa, eta horregatik balio du bigarren izen gisa. Martinekin beste kontu bat da: 1.611 puntu pilatzen ditu izen gisa eta 1.020 abizen gisa, eta posizio guztietan agertzen da. Inorenik ez den lurraldean dago, eta sistemak badaki: tarteko hitz bat bigarren izen gisa onartzeko, bere historialak argi egiaztatu behar du (muga: % 65). Balio hori ezarri zen, % 50 beharrean, Martin bezalako kasuengatik hain zuzen: bigarren izen gisa akatsez sartzen zen.
Sistema zuhurra da gutxi ikusi duenarekin ere. Behin bakarrik agertu den hitz bat ez da segurutzat hartzen: hasierako 50/50 horretatik abiatzen da, eta errepikatu ahala bakarrik urruntzen da hortik.
Ordena erabakitzeko, lehen eta azken hitzak bakarrik alderatzen ditu: «izena lehen, abizena gero» alderantzizkoa baino nabarmen probableagoa bada (muga finkoa: % 85), onartu egiten du. Gainerakoak arau sinpleak dira: «de», «del» edo «la» hurrengo abizenari itsasten zaizkio, eta komadun forma («Goikoetxea Lasa, Aitor») hasi aurretik buelta ematen zaio.
Emaitza, parte-hartzaile bakoitzeko, datu-basean gordetzen den erregistro txiki bat da. Hau izango litzateke bi izen dituen izen bat, «Aitor José Goikoetxea Lasa», hau ere asmatua.
Bereizketa horri esker, hitzak soilik mozteaz ezinezkoak liratekeen estatistikak kalkula daitezke, hala nola bigarren izenen sailkapena edo izen konposatua duten parte-hartzaileen kopurua. Datu-basean bi izen dituzten 2.291 parte-hartzaile daude, eta hiru dituztenak 24.
Izena eta abizenak bermeekin bereizteko biderik ez dagoenean, sistemak ez du asmatzen. Erregistroa anbiguotzat markatzen du eta izenen estatistiketatik kanpo uzten du. 71.624 erregistroren artean 279 dira: % 0,39.
Oso zentzu zehatzean ikasten du: bere zenbaketa sistemak berak gordetzen dituen datuekin hazten da. Baina bere arauak eta mugak ez dira bere kabuz aldatzen, eta dagoeneko interpretatutako erregistroak ez dira berriro ebaluatzen zenbaketa hobetzen denean.
Ikastetxe bat, izen asko
Haurren Danborradako zerrenda bakoitza web-orri batean dago, eta zerrenda zein ikastetxekoa den bi testutatik bakarrik jakiten da: orriaren izenburutik eta helbidetik. Testu horiek urtez urte aldatzen dira. La Salle «La Salle», «Lasalle» edo «Salle» gisa agertu daiteke. Sistemak forma bakoitza ikastetxe desberdintzat hartuko balu, La Sallen historia zatituta geratuko litzateke eta ikastetxeen araberako estatistikek ez lukete ezertarako balioko.
La Salle
12 forma- La Salle
- La Salle 1 Compania
- La Salle 2
- La Salle 2 Compania
- La Salle Compania 1
- La Salle Compania 2
- La Salle Ikastetxea
- Lasalle Compania
- Lasalle Compania 1
- Lasalle Compania 2
- Lasalle Ikastetxea
- Salle Ikastetxea
Karmelo
11 forma- Carmelo
- Colegio Carmelo Ikastetxea
- Colegio Nino Jesus
- El Carmelo
- Karmelo
- Karmelo Ikastetxea
- Nino Jesus De Praga Karmelo
- Scentia Karmelo
- Scentia Karmelo Ikastetxea
- Scientia Karmelo
- Scientia Karmelo Ikastetxea
Santo Tomas Lizeoa
7 forma- Santo Tomas Lizeoa
- Santo Tomas Lizeoa 2
- Santo Tomas Lizeoa 2 Compania
- Santo Tomas Lizeoa Compania
- Santo Tomas Lizeoa Compania 1
- Santo Tomas Lizeoa Compania 2
- Santo Tomas Lizeoa Ikastola
Orixe
2 forma- Orixe
- Orixe Ikastola
Tamborradatak ordena bat jarraitzen du. Lehenik, testua garbitzen du: ikastetxe bat bestetik bereizten ez duten hitzak kentzen ditu («colegio», «ikastola», «infantil», «tamborrada») eta konpainia-zenbakiak ere bai, «compañía 2» adibidean bezala. Gero, ezagunak diren formen hiztegian bilatzen du. Aurkitzen ez badu, hitzez hitz konparatzen du, ez letraz letra: bi izen lotzen ditu soilik ia hitz guztiak partekatzen badituzte. Eta horrela ere ez bada, ikastetxe berri bat sortzen du.
Garrantzitsuena da hiztegia bere kabuz hazten dela. Ondo ezagutzen den orri bakoitzak bere forma guztiak ekartzen ditu, izenburukoa eta helbidekoa; beraz, hurrengo urteko orria, izen berri bat estreinatu arren, ezagutzen da, jada ezagutzen den forma bat badu. Datu-basean, «Carmelo», «Colegio Nino Jesus» eta «Scientia Karmelo» bezain desberdinak diren formak ikastetxe berberaren azpian daude.
Mugak argiak ditu. Ez ditu akatsak zuzentzen: «Arantzazuko» eta «Arantzatzuko» bi hitz desberdin dira sistemarentzat, eta hiztegian dauden akatsak hor daude orri bereko beste forma bat bat zetorrelako. Zalantzan, ikastetxe bereizi bat sortzen du, bi desberdin batu beharrean: horregatik La Salle eta San Luis La Salle, edo Jesuitas eta Jesuitinas, ikastetxe desberdinak dira. Eta ez dago giza berrikuspen-urratsik: batasun bat gaizki ateratzen bada, datuak aztertzean bakarrik antzematen da.
Lan egiten dugun datu-basean 53 ikastetxe daude, eta 251 idazkera biltzen dituzte. Horien artean, 49 ikastetxek forma bat baino gehiago dituzte; kasurik handienean, 14.
Orri zahar batetik argitaratutako estatistika batera
Bi pieza horiekin, datu baten bide osoa jarrai daiteke, duela urte batzuk argitaratutako orri batetik webgunean ikusten duzun estatistikara.
Orriak aurkitzea
Zerrendak aldi berean hiru bidetatik bilatzen ditu: egunkariaren beraren zerrendatik, bilatzaile batetik eta interneteko artxibo historikotik. Bakar batek ez du nahikoa: argitaratu berri diren orriak ez daude oraindik bilatzaileetan ez artxiboan, eta horregatik egunkariaren zerrenda da lehena jakiten duena.
Irakurtzeko zerbait egon arte itxaritzea
Prozesua gauero exekutatzen da urtarrilaren 15etik 22ra, eta ez du ezer egiten egunkariak gutxieneko zerrenda kopuru bat argitaratu arte: gutxienez 20 orri, eta urteko orrien erdia, bere zerrendatik datozenak.
Zer aldatu den hautematea
Uneko urteko orriak bakarrik aztertzen ditu berriro, eta horretarako orri bakoitzari galdetzen dio noiz aldatu zen azkenekoz. Data aldatu ez bada, dagoen bezala uzten du. Egiaztapen merkea da, orriak berak adierazten duen datan fidatzen dena.
Irakurri eta iragazi
Pertsona ez dena baztertzen du (izenburuak, helbideak, «abanderada» edo «tambor» bezalako kargu-izenak), eskuz idatzitako zerrendekin: 280 kargu-hitz inguru eta 80 esaldi inguru, gaztelaniaz eta euskaraz. Eta egunkariak tarterik gabe itsatsi dituen izenak konpontzen ditu, argi dagoenean bakarrik.
Ikastetxea ezagutzea
Orriaren izenburua eta helbidea garbitzen ditu eta forma-hiztegian bilatzen ditu.
Izen bakoitza interpretatzea
Izena eta abizenak bereizten ditu ebidentzien zenbaketaren bidez. Bermeekin egiteko biderik ez badago, erregistroa anbiguo geratzen da.
Estatistikak kalkulatzea
Datuak aldatu diren urteak bakarrik birkalkulatzen ditu, ondo interpretatutako izenetatik abiatuta.
Bertsio osoa argitaratzea
Bertsio berria aparte prestatzen da, eta webgunea berera pasatzen da denetan batera.
Eta astean behin lan egiten duen zaindari bat dago. Canary du izena eta, meatzeetako kanarioa bezala, ez du ezer konpontzen: abisatzen du. Astelehen bakoitzean, gordeta dauden 25 orri irakurtzen ditu berriro (5 beti berberak eta 20 ausaz aukeratuak) eta gaur ateratzen diren izenak guk gordetakoak berak direla egiaztatzen du. Egunkariaren orrien egitura aldatu bada eta irakurketak huts egiten badu, edo izenak 3 orritan edo gehiagotan desberdinak badira (edo berrikusitakoen % 10 baino gehiagotan), posta elektronikoz abisu bat bidaltzen du. Inork begiratzen ez duen hilabeteetarako pentsatuta dago, urtarrilaren 20a ez dadin izan zerbait hautsi dela norbaitek jakiten duen lehen eguna.
Milaka errenkadatatik sailkapen batera
Ondo interpretatutako izenekin, sistemak 47 estatistika-kategoria kalkulatzen ditu: izen errepikatuena, debutatzen edo desagertzen diren izenak, ikastetxe bakoitzaren bilakaera, besteak beste. Izen errepikatuena lortzeko, nahikoa da lehen izen bakoitza zenbat aldiz agertzen den zenbatzea ondo interpretatutako erregistroen artean eta ordenatzea; berdinketa badago, ordena alfabetikoan, emaitza beti berbera izan dadin.
Historia osoaren mende dauden estatistikak daude. Izen bat «berria» da aurreko edizioetan agertu ez bada bakarrik, eta ikastetxe bat «beteranoa» da azken edizio ia guztietan parte hartu badu. Horregatik, 2013ko datu bat zuzentzen bada, 2013tik gaur arte birkalkulatu behar da, eta urte guztien estatistika ere bai.
Lana ez errepikatzeko, datuetan egindako aldaketa bakoitzak unitate bat gehitzen dio kaltetutako urteko kontagailuari, eta sistemak azken argitalpenekoarekin bat ez datorren kontagailua duten urteak bakarrik birkalkulatzen ditu. Gainerakoei ez zaie ukitzen: haien bertsio argitaratuak zerbitzatzen jarraitzen du. Aldatzen direnak osorik birkalkulatzen dira, hutsetik; ez dira adabakitzen.
Nahita utzitako hutsuneak ere badaude. Lehen edizioak ez du «izen berririk», dena berria litzatekeelako, eta bost edizioko historia behar da ikastetxe beteranoez hitz egiteko. Kategorien artean (47), urte batek 20 eta 29 artean argitaratzen ditu, eskura dagoen historiaren arabera, eta urte guztien multzoak 37 argitaratzen ditu. Falta den kategoriak «ezin da bermeekin kalkulatu» esan nahi du; kategoria hutsak, «kalkulatua, eta ez dago ezer zenbatzekorik».
Inoiz erdizka ikus ez dadin
Imajinatu sistema estatistika guztiak birkalkulatzen hasten dela eta zati bat bakarrik amaitu duenean gelditzen dela. Webguneak emaitza bakoitza kalkulatu ahala erakutsiko balu, bisitari batek aldi berean zifra berriak eta zaharrak ikusiko lituzke: gaurko izenen sailkapena eta aurreko asteko ikastetxeen zerrenda.
Izenen sailkapena birkalkulatzen da
ArgitaratuaIkastetxeen zerrenda birkalkulatzen da
ArgitaratuaUrteen araberako bilakaeraren kalkuluak huts egiten du
ErroreaWebguneak zifra berriak eta zaharrak batera erakusten ditu
ErdizkaInork ez daki orriaren zein zati den gaurkoa eta zein aurreko astekoa.
Bertsio berri bat kalkulatzen da, alde batean
Bitartean, aurreko bertsioa da ikusgai dagoen bakarra.
Prest dagoela egiaztatzen da
Kalkulua akatsik gabe amaitu dela eta bitartean datuak aldatu ez direla.
Webgunea bertsio berrira pasatzen da, denetan batera
ArgitaratuaAldaketa bakarra da. Aurreko bertsioa artxibatu egiten da; ez da ezabatzen.
Aurretik zerbaitek huts egiten badu, ez da ezer aldatzen
Eraginik gabeBisitariak aurreko bertsioa ikusten jarraitzen du, osorik eta koherenteki.
Liburu baten edizio berri bat aurrekoaren ondoan inprimatzea bezala da, eta, amaituta eta berrikusita dagoenean, liburutegiak apalean jartzen duen aleaz aldatzea. Inork ez du inoiz erdi inprimatutako libururik ikusten.
Egiaztapena itxura baino apalagoa da. Sistemak kalkulua akatsik gabe amaitu dela eta datuak kalkulatzen ari zen bitartean aldatu ez direla egiaztatzen du (aldatu badira, argitalpena baztertzen du). Ez du emaitza «egon beharko lukeenaren» zerrenda batekin konparatzen, ezta zifra bitxiak bilatzen ere: osotasuna dator edozein akatsek kalkulua gelditzen duelako.
Eta bigarren sarraila bat dago datu-basean bertan: webguneak aldi bakoitzeko bertsio argitaratua bakarrik irakur dezake, webguneko kodeak huts egingo balu ere.
Jakitea komeni den muga bat: argitalpena aldi bakoitzeko pieza batena da, ez gune osoarena denetan batera. Datu zahar bat zuzentzen bada eta hainbat aldi birkalkulatu behar badira, denbora batez webguneak urte batzuk eguneratuta eta beste batzuk oraindik eguneratu gabe erakutsi ditzake. Eta kalkulu batek huts egiten badu, webguneak aurreko bertsioa zerbitzatzen jarraitzen du hurrengo exekuzio programatuan berriro saiatu arte.
Lan egiten dugun datu-basean 17 aldi daude (16 edizio eta guztien multzoa), bakoitza argitaratutako bertsio batekin eta bat ere zain gabe.
Zenbakiak ere azaldu behar direnean
Zenbaki bat kalkulatzea eta ulergarri egitea ez da gauza bera. Horregatik, Tamborradatak estatistikei hizkuntza-eredu batek idatzitako laburpen txikiak gehitzen dizkie: hemen bai, adimen artifizial sortzailea, izenen sistemaren familia desberdin batekoa. Ez du ezer kalkulatzen, idatzi egiten du bakarrik. Eta hor arazo berri bat sortzen da: zehatza ez den zerbait ziurtasun osoz idatz dezake.
Ereduak ez du kalkulu-orririk jasotzen. Estatistika bakoitza tresna baten bidez eskatzen du, bere ataleko estatistikak bakarrik, eta zenbakiak agertu behar duten bezala idatzita heltzen zaizkio, kalkulatu beharrean kopia ditzan. Joeraren norabidea (gora, behera edo berdin) programak erabakitzen du, ez ereduak: egonkortzat hartzen da aldaketa % 5 baino txikiagoa bada.
Xehetasun batek arazo asko saihesten ditu: ereduak ez du inoiz ikastetxe baten izena idazten. Barne-erreferentzia bat idazten du, eta webgunea da norbaitek orria irekitzen duenean uneko izenaz ordezkatzen duena. Txantiloi-gutun baten antzekoa da («Jaun-andre agurgarri…»), non idazten duenak ez baitu inoiz helbide-liburua ikusten.
Honek hiru abantaila praktiko ditu. Ereduak ezin du ikastetxe baten izena gaizki idatzi, ez beste batekin nahastu. Itzulpenak erreferentzia osorik mantentzen du (berberak direla eta ordena berean daudela egiaztatzen da). Eta ikastetxe baten izena aldatzen bada, testuak baliozkoa izaten jarraitzen du, izena erakusteko unean bilatzen delako. Erreferentzia bat ebatzi ezin bada, laburpen hori ez da erakusten eta orriak berak gabe funtzionatzen jarraitzen du.
Laburpenak lehenik ingelesez idazten dira. Gaztelaniazko eta euskarazko bertsioak dagoeneko balidatutako testu horretatik ateratzen dira.
Zer egiaztatzen den eta zer ez jakitea komeni da. Sistemak egiaztatzen du testuak ez duela urtea errepikatzen behar ez denean, erreferentzia bakoitzak existitzen den ikastetxe bati seinalatzen diola eta itzulpenek erreferentzia berberak mantentzen dituztela. Ez du egiaztatzen testuko zifra bakoitza datuekin bat datorrenik, ez formatua zuzena denik, ez itzulpenak izen propioak errespetatzen dituenik. Ezta argitaratu aurretik giza berrikuspen-urratsik ere.
Kontrol faltak zer uzten duen igarotzen erakusten duten adibide errealak daude: 2026ko laburpen batek itxi gabeko enfasi bat dauka (hiru hizkuntzetan berbera), eta itzulpen batean «Inigo» «Íñigo» bihurtu zen.
Laburpen baten sorrerak huts egiten badu, ez du estatistiken argitalpena blokeatzen: orria testu hori gabe ateratzen da, eta exekuzio bakoitzaren hasieran konponketa-prozesu batek huts egin zutenak berriro saiatzen ditu.
Lan egiten dugun datu-basean 390 laburpen argitaratu daude (hizkuntza bakoitzeko 130), bat ere huts egin gabe edo zain gabe. Hizkuntza bakoitzean, 28 laburpenek ikastetxeei buruzko erreferentziak dituzte: 66 erreferentzia, 18 ikastetxe desberdini seinalatzen dietenak, denak ebatziak.
Zer kalitate dute datuek?
Aurreko guztia kontrolak dira. Galdera zintzoa da zer esaten duten datuen benetako kalitateari buruz. Hau da datu-basea aurrean dugula baieztatu dezakeguna.
71.624 erregistroren artean 71.345: sistemak izena abizenetatik bereiztea lortu zuen.
Datu-baseak ez du eskuzko berrikuspenik gordetzen, beraz ezin dugu zehaztasunik eman, ebazpen-tasa bat bakarrik.
Komeni da ez nahastea. Erregistro bat «ebatzita» agertzeak sistemak bereizketa posible bat aurkitu duela esan nahi du, ez inork zuzena dela egiaztatu duenik. Eta sistemak gordetzen duen «konfiantzak» hitz bakoitza alde batera zenbat makurtzen den neurtzen du, ez asmatzeko probabilitatea.
Estaldurak hutsuneak ere baditu. 2009ko eta 2010eko daturik ez dago, eta 2021ean ez zen Danborradarik egon. 2012ko eta 2022ko zerrendek 25 ikastetxe inguru biltzen dituzte, ondoko edizioetako 40 eta 45 artekoen aldean: edizio osatu gabeak dira.
Eta datu publiko guztiak ez daude garbi. Zenbait gauza ezin dira kalkulatu jatorritik horrela datozelako, eta ez dago bere kabuz antzematen dituen algoritmorik. 2026ko zerrendetan «Lbai» edo «Lrati» bezalako hitzak daude, ziurrenik «Ibai» eta «Irati» izenen akatsak. Sistemarentzat gutxi ikusitako izenak dira, eta halaxe zenbatzen ditu.
Edizio berean 578 izen oso errepikatu daude, beti ikastetxe desberdinetan: soberako errenkaden % 0,82. Ez dakigu omonimoak diren, bi zerrendatan apuntatutako haurrak diren ala iturriko bikoizketak.
Garbi ateratzen dena: egin ditugun osotasun-egiaztapenek ez dituzte aurkitzen errenkada umezurtzik, parte-hartzailerik gabeko ikastetxerik, ez argitaratutako estatistiketan azalpenik gabeko hutsunerik.
Datuen kalitatea ez da perfekzioa agintzea. Akatsak non egon daitezkeen jakitea da, kontrolak jarri ahal diren tokian jartzea eta oraindik bermatu ezin dena argi esatea.
Izen-zerrenda bat ez da estatistika bat
Izen-zerrenda baten eta estatistika baten artean bide luzea dago: izenak abizenetatik bereiztea, izen ugari dituzten ikastetxeak ezagutzea, aldatu ez dena ez birkalkulatzea, erdizka ez argitaratzea eta zenbakiak asmatu gabe azaltzea. Urrats horietako bakar bat ere ez da perfektua, eta ia guztiek komeni den muga bat dute.
Artikulu osoa zeharkatzen duen ideia bat dago: parte-hartzaileen zerrenda zerrenda bat baino askoz gehiago da. Izenak, urteak, ikastetxeak… ditu. Eta datu horiek bi gauzatarako balio dute aldi berean. Alde batetik, sistema bera aberasten dute: zerrendatik abiatuta, Tamborradatak eredu probabilistiko bat eraikitzen du, izenak eta abizenak interpretatzeko ebidentziak pilatzen dituena. Bestetik, zerrenda horrek berak elikatzen ditu Haurren Danborradan desfilatu dutenen istorioa kontatzen duten estatistikak.
Estatistika fidagarria ez da inoiz huts egiten ez duena, non huts egin dezakeen dakiena baizik.