/config/stopWords.js`. * Only the languages with published stop word lists are included here. */ final class LanguageResources { /** * Fetch stop words map for a language. * * @param string $language Language code (lowercase). * @return array Map of stop words for O(1) lookups. */ public static function stop_words( string $language ): array { $list = self::list_for( strtolower( $language ) ); if ( empty( $list ) ) { return array(); } $normalized = array_map( static function ( string $word ): string { if ( function_exists( 'mb_strtolower' ) ) { return (string) mb_strtolower( $word, 'UTF-8' ); } return strtolower( $word ); }, $list ); return array_fill_keys( $normalized, true ); } /** * Raw stop word list for known languages. * * @param string $language Language code. * @return array */ public static function list_for( string $language ): array { switch ( $language ) { case 'en': // Merge Yoast set with common stop words we previously used for English TF extraction. return array_merge( array( 'to', 'which', 'who', 'whom', 'that', 'whose', 'after', 'although', 'as', 'because', 'before', 'even if', 'even though', 'if', 'in order that', 'inasmuch', 'lest', 'once', 'provided', 'since', 'so that', 'than', 'though', 'till', 'unless', 'until', 'when', 'whenever', 'where', 'whereas', 'wherever', 'whether', 'while', 'why', 'by the time', 'supposing', 'no matter', 'how', 'what', "won't", 'do', 'does', '–', 'and', 'but', 'or', ), array( 'a', 'an', 'the', 'if', 'then', 'else', 'when', 'while', 'of', 'at', 'by', 'for', 'with', 'about', 'against', 'between', 'into', 'through', 'during', 'before', 'after', 'above', 'below', 'from', 'up', 'down', 'in', 'out', 'on', 'off', 'over', 'under', 'again', 'further', 'once', 'here', 'there', 'all', 'any', 'both', 'each', 'few', 'more', 'most', 'other', 'some', 'such', 'no', 'nor', 'not', 'only', 'own', 'same', 'so', 'than', 'too', 'very', 'can', 'will', 'just', 'don', 'should', 'now', 'is', 'are', 'was', 'were', 'be', 'been', 'being', 'do', 'does', 'did', 'doing', 'have', 'has', 'had', 'having', 'am', 'as', 'until', 'this', 'that', 'these', 'those', 'i', 'you', 'he', 'she', 'it', 'we', 'they', 'me', 'him', 'her', 'them', 'my', 'your', 'his', 'its', 'our', 'their', 'ours', 'yours', 'theirs', 'myself', 'yourself', 'himself', 'herself', 'itself', 'ourselves', 'yourselves', 'themselves', 'often', 'always', 'never', 'rarely', 'seldom', ) ); case 'es': return array_merge( array( 'pero', 'ora', 'aunque', 'aun', 'mientras', 'porque', 'apenas', 'si', 'antes', 'después', 'cómo', 'como', 'empero', 'que', 'cuanto', 'cuando', 'cual', 'cuales', 'quién', 'quien', 'quienes', 'dónde', 'adónde', 'cuyo', 'cuyos', 'cuya', 'cuyas', ), array( 'y', 'o', 'u', 'ni', 'de', 'del', 'la', 'el', 'los', 'las', 'un', 'una', 'unos', 'unas', 'en', 'con', 'por', 'para', 'al', 'su', 'sus', 'suya', 'suyo', 'sus', 'muy', 'más', 'menos', 'ya', 'no', 'sí', 'también', 'tambien', 'lo', 'le', 'les', 'se', 'es', 'son', 'fue', 'fueron', 'era', 'eran', 'ser', 'estar', 'está', 'están', 'estaba', 'estaban', 'este', 'esta', 'estos', 'estas', 'eso', 'esa', 'esos', 'esas', 'a', 'que', ) ); case 'fr': return array_merge( array( 'et', 'ou', 'car', 'or', 'puisque', "puisqu'il", "puisqu'ils", "puisqu'elle", "puisqu'elles", "puisqu'un", "puisqu'une", "puisqu'on", 'quand', 'lorsque', "lorsqu'il", "lorsqu'elle", "lorsqu'ils", "lorsqu'elles", "lorsqu'on", "lorsqu'un", "lorsqu'une", 'quoique', "quoiqu'il", "quoiqu'ils", "quoiqu'elle", "quoiqu'elles", "quoiqu'on", "quoiqu'un", "quoiqu'une", "qu'elle", "qu'il", "qu'ils", "qu'elles", "qu'on", "qu'un", "qu'une", 'si', "s'ils", "s'il", 'quand bien même', 'pourquoi', 'après', 'avant', 'afin de', 'compte tenu de', 'pour ne pas dire', 'sinon', 'une fois', 'sitôt', 'dont', 'lequel', 'laquelle', 'lesquels', 'lesquelles', 'auquel', 'auxquels', 'auxquelles', 'duquel', 'desquels', 'desquelles', 'qui', 'où', "d'où", ':', 'allé', 'entré', 'resté', 'retombé', 'apparu', 'réapparu', 'devenu', 'redevenu', 'intervenu', 'provenu', 'resurvenu', 'survenu', 'allés', 'entrés', 'restés', 'retombés', 'apparus', 'réapparus', 'devenus', 'redevenus', 'intervenus', 'provenus', 'resurvenus', 'survenus', 'allée', 'entrée', 'restée', 'retombée', 'apparue', 'réapparue', 'devenue', 'redevenue', 'intervenue', 'provenue', 'resurvenue', 'survenue', 'allées', 'entrées', 'restées', 'retombées', 'apparues', 'réapparues', 'devenues', 'redevenues', 'intervenues', 'provenues', 'resurvenues', 'survenues', ), array( 'le', 'la', 'les', 'de', 'des', 'du', 'un', 'une', 'en', 'au', 'aux', 'et', 'que', 'qui', 'quoi', 'avec', 'pour', 'par', 'dans', 'sur', 'sous', 'à', 'au', 'ils', 'elles', 'il', 'elle', 'nous', 'vous', 'je', 'tu', 'on', 'se', 'ses', 'son', 'sa', 'leurs', 'leur', 'mes', 'tes', 'vos', 'nos', 'pas', 'ne', 'non', 'oui', 'très', 'tres', 'plus', 'moins', 'être', 'etes', 'sont', 'sommes', 'ete', 'etait', 'suis', 'est', 'été', 'sera', 'seront', ) ); case 'de': return array_merge( array( ':', 'aber', 'als', 'bevor', 'bis', 'da', 'damit', 'daß', 'dass', 'denn', 'doch', 'ehe', 'falls', 'gleichwohl', 'indem', 'indes', 'indessen', 'insofern', 'insoweit', 'nachdem', 'nun', 'ob', 'obgleich', 'obschon', 'obwohl', 'obzwar', 'oder', 'seitdem', 'sobald', 'sodass', 'sofern', 'solange', 'sondern', 'sooft', 'soviel', 'soweit', 'sowie', 'trotz', 'und', 'ungeachtet', 'waehrend', 'während', 'weil', 'welche', 'welchem', 'welchen', 'welcher', 'welches', 'wem', 'wen', 'wenn', 'wenngleich', 'wennschon', 'wer', 'wes', 'wessen', 'wie', 'wiewohl', 'wohingegen', 'zumal', ), // Additional common stop words to align TF output with expected top terms. array( 'der', 'die', 'das', 'des', 'dem', 'den', 'ein', 'eine', 'einer', 'einem', 'einen', 'er', 'sie', 'es', 'wir', 'ihr', 'ihnen', 'ihm', 'ihn', 'mich', 'dich', 'mir', 'dir', 'mein', 'dein', 'sein', 'ihr', 'unser', 'euer', 'sich', 'man', 'du', 'ich', 'ist', 'sind', 'war', 'waren', 'wird', 'werden', 'sein', 'seid', 'bin', 'bist', 'habt', 'hat', 'haben', 'hatte', 'hatten', 'nicht', 'keine', 'kein', 'noch', 'auch', 'sehr', 'mehr', 'weniger', 'bei', ) ); case 'it': return array_merge( array( 'a condizione che', 'a meno che non', 'a patto che', 'a seconda che', 'acché', 'affinché', 'al fine di', 'allorché', 'allorquando', 'anche se', 'anziché', 'avvegnaché', 'basta que', 'benché', 'beninteso que', 'chi', 'cui', 'dal momento che', 'dopo che', 'dove', 'finché non', 'fintantoché', 'i quali', 'il quale', 'in caso', 'in modo che', 'la quale', 'le quali', 'malgrado', 'mentre', 'nel caso in cui', 'nel eventualità che', 'nonostante che', 'ogni volta che', 'per il fatto che', 'perché', 'piuttosto che', 'piuttosto di', 'poiche', 'prima che', 'purché', 'qualora', 'quando', 'quantunque', 'quello che', 'sebbene', 'senza che', 'siccome', 'tranne che', 'una volta che', ), array( 'e', 'o', 'ma', 'anche', 'se', 'per', 'con', 'senza', 'di', 'da', 'a', 'al', 'allo', 'alla', 'ad', 'le', 'lo', 'la', 'il', 'un', 'una', 'uno', 'dei', 'degli', 'delle', 'del', 'della', 'sono', 'sei', 'è', 'era', 'erano', 'sarà', 'saranno', 'essere', 'io', 'tu', 'lui', 'lei', 'noi', 'voi', 'loro', 'mi', 'ti', 'ci', 'vi', 'si', 'non', 'sì', 'più', 'meno', 'molto', 'poco', ) ); case 'pt': return array_merge( array( 'que ', 'como', 'e', 'nem', 'se', 'caso', 'conforme', 'consoante', 'porque', 'pois', 'segundo ', 'enquanto', 'embora', 'conquanto', 'quanto menos', 'quanto mais', 'quando', 'mal ', 'apenas', 'ora', 'seja', 'quer', 'já', 'logo', 'portanto', 'por isso', 'pois', 'рог conseguinte', 'ou seja ', 'isto é', 'quer dizer', 'a saber', 'ou melhor', 'mas', 'também', 'sim', 'porém', 'contudo', 'senão', 'todavia', 'mas ainda', 'no entanto', 'entretanto', ), array( 'o', 'a', 'os', 'as', 'um', 'uma', 'uns', 'umas', 'de', 'da', 'do', 'das', 'dos', 'em', 'no', 'na', 'nos', 'nas', 'por', 'para', 'com', 'sem', 'sob', 'entre', 'ele', 'ela', 'eles', 'elas', 'você', 'vocês', 'eu', 'tu', 'nós', 'vós', 'me', 'te', 'se', 'nos', 'vos', 'lhe', 'lhes', 'é', 'são', 'era', 'eram', 'foi', 'foram', 'ser', 'estar', 'está', 'estão', 'não', 'sim', 'mais', 'menos', 'muito', 'pouco', ) ); case 'nl': return array_merge( array( 'alhoewel', 'als', 'dan', 'doordat', 'hoewel', 'hoezeer', 'indien', 'mits', 'naargelang', 'naarmate', 'nadat', 'ofschoon', 'omdat', 'opdat', 'tenzij', 'toen', 'voordat', 'voorzover', 'wanneer', 'zoals', 'zodat', 'zodra', 'zolang', 'wie', 'wiens', 'wier', 'welke', 'welk', ), array( 'en', 'bij', 'zijn', 'ze', 'de', 'het', 'een', 'of', 'op', 'in', 'te', 'van', 'voor', 'met', 'zonder', ) ); case 'ru': // Yoast does not provide stopWords.js for ru; add a minimal set to reduce noise. return array( 'и', 'в', 'во', 'не', 'что', 'он', 'она', 'они', 'мы', 'вы', 'я', 'к', 'ко', 'со', 'на', 'но', 'а', 'как', 'же', 'то', 'это', 'того', 'этого', 'этих', 'эти', 'тот', 'та', 'те', 'быть', 'есть', 'был', 'были', 'будет', 'будут', 'нет', 'да', 'ли', 'у', 'о', 'от', 'для', 'по', 'над', 'под', 'при', ); case 'id': // Basic Indonesian stop words (not provided by Yoast). return array( 'dan', 'atau', 'yang', 'dengan', 'untuk', 'dari', 'pada', 'di', 'ke', 'ada', 'tidak', 'ini', 'itu', 'ia', 'dia', 'mereka', 'kami', 'kita', 'saya', 'aku', 'anda', 'kamu', 'bukan', 'jadi', 'karena', 'sebagai', 'seperti', 'akan', 'juga', 'lebih', 'kurang', ); case 'nb': return array( 'dette', 'at', 'disse', 'på', 'unntatt', 'for', 'fra', 'i', 'om', 'ovenfor', 'på tvers', 'etter', 'mot', 'blant', 'rundt', 'som', 'på', 'før', 'bak', 'nedenfor', 'under', 'siden', 'mellom', 'utover', 'men', 'av', 'når', 'da', 'som', 'fordi ', 'ikke', 'og', ); case 'cs': return array( 'protože', 'když', 'sbohem', 'sotva', 'kdo', 'co', 'kde', 'odkud', 'kdy', 'odkdy', 'ačkoli', 'navzdory', 'ačkoli', 'když', 'kde', 'aby', 'pořádku', 'kdyby', 'jak', 'do', 'že', 'jako', 'přesně', 'jako', 'než', 'aby', 'kdo', 'kde', 'kdo', 'koho', 'kde', 'kolik', 'odkud', 'proč', 'kolik', 'nebo', ); case 'hu': return array( 'a', 'ahogy', 'ahol', 'aki', 'akik', 'akkor', 'alatt', 'által', 'általában', 'amely', 'amelyek', 'amelyekben', 'amelyeket', 'amelyet', 'amelynek', 'ami', 'amit', 'amolyan', 'amíg', 'amikor', 'át', 'abban', 'ahhoz', 'annak', 'arra', 'arról', 'az', 'azok', 'azon', 'azt', 'azzal', 'azért', 'aztán', 'azután', 'azonban', 'bár', 'be', 'belül', 'benne', 'cikk', 'cikkek', 'cikkeket', 'csak', 'de', 'e', 'eddig', 'egész', 'egy', 'egyes', 'egyetlen', 'egyéb', 'egyik', 'egyre', 'ekkor', 'el', 'elég', 'ellen', 'elé', 'először', 'előtt', 'első', 'én', 'éppen', 'ebben', 'ehhez', 'emilyen', 'ennek', 'erre', 'ez', 'ezt', 'ezek', 'ezen', 'ezzel', 'ezért', 'és', 'fel', 'felé', 'hanem', 'hiszen', 'hogy', 'hogyan', 'igen', 'így', 'illetve', 'ill.', 'ill', 'ilyen', 'ilyenkor', 'ismét', 'itt', 'jó', 'jól', 'jobban', 'kell', 'kellett', 'keresztül', 'keressünk', 'ki', 'kívül', 'között', 'közül', 'legalább', 'lehet', 'lehetett', 'legyen', 'lenne', 'lenni', 'lesz', 'lett', 'maga', 'magát', 'majd', 'majd', 'már', 'más', 'másik', 'meg', 'még', 'mellett', 'mert', 'mely', 'melyek', 'mi', 'mit', 'míg', 'miért', 'milyen', 'mikor', 'minden', 'mindent', 'mindenki', 'mindig', 'mint', 'mintha', 'mivel', 'most', 'nagy', 'nagyobb', 'nagyon', 'ne', 'néha', 'nekem', 'neki', 'nem', 'néhány', 'nélkül', 'nincs', 'olyan', 'ott', 'össze', 'ő', 'ők', 'őket', 'pedig', 'persze', 'rá', 's', 'saját', 'sem', 'semmi', 'sok', 'sokat', 'sokkal', 'számára', 'szemben', 'szerint', 'szinte', 'talán', 'tehát', 'teljes', 'tovább', 'továbbá', 'több', 'úgy', 'ugyanis', 'új', 'újabb', 'újra', 'után', 'utána', 'utolsó', 'vagy', 'vagyis', 'valaki', 'valami', 'valamint', 'való', 'vissza', 'viszont', ); case 'pl': return array( 'a', 'aby', 'albo', 'albowiem', 'ale', 'bo', 'bowiem', 'czy', 'gdy', 'gdyby', 'gdyż', 'iż', 'jeśli', 'jeżeli', 'lub', 'ponieważ', 'zanim', 'żeby', 'który', 'która', 'które', 'którzy', 'którego', 'której', 'których', 'któremu', 'którym', 'którą', 'którymi', 'że', ); case 'sk': return array( 'ktorí', 'ktorých', 'ktorými', 'ktorá', 'ktorého', 'ktorému', 'ktorom', 'ktorým', 'ktorý', 'ktoré', 'ktorej', 'ktorou', 'ktorú', 'lebo', 'keby', 'že', 'aby', 'alebo', 'keďže', 'kedže', 'lenže', 'ale', 'nakoľko', 'pretože', 'či', 'ak', 'kedy', ); } return array(); } }