#649729 uniq: merges obscure Cyrillic characters

Package:
coreutils
Source:
coreutils
Description:
GNU core utilities
Submitter:
Falk Hueffner
Date:
2025-07-13 13:01:03 UTC
Severity:
normal
Tags:
#649729#5
Date:
2011-11-23 14:25:36 UTC
From:
To:
falk@ab19:~$ locale
LANG=en_US.UTF-8
LANGUAGE=en_US:en
LC_CTYPE="en_US.UTF-8"
LC_NUMERIC="en_US.UTF-8"
LC_TIME="en_US.UTF-8"
LC_COLLATE="en_US.UTF-8"
LC_MONETARY="en_US.UTF-8"
LC_MESSAGES="en_US.UTF-8"
LC_PAPER="en_US.UTF-8"
LC_NAME="en_US.UTF-8"
LC_ADDRESS="en_US.UTF-8"
LC_TELEPHONE="en_US.UTF-8"
LC_MEASUREMENT="en_US.UTF-8"
LC_IDENTIFICATION="en_US.UTF-8"
LC_ALL=
falk@ab19:~$ python3 -c 'print("\u046e\n\u047A\n\u0472")'
Ѯ
Ѻ
Ѳ
falk@ab19:~$ python3 -c 'print("\u046e\n\u047A\n\u0472")' | uniq
Ѯ
falk@ab19:~$

#649729#10
Date:
2012-02-03 06:28:10 UTC
From:
To:
The problem is in strcoll/strxfrm as described in:

http://unix.stackexchange.com/questions/17198/where-has-my-uniq-or-sort-u-line-gone-with-some-unicode-characters

$ LANG=en_US.UTF-8 perl -C255 -MPOSIX -le 'print "$_ ", unpack("h*",
strxfrm($_)) foreach @ARGV' a b c А В Г Ѯ Ѻ Ѳ
a c010801020
b d010801020
c e010801020
А 2cbb10801090
В 2cdb10801090
Г 2ceb10801090
Ѯ 101010102c6b102c6b
Ѻ 101010102c6b102c6b
Ѳ 101010102c6b102c6b

The latin and common cyrillic chars all have different values,
but the rare characters all convert to the same collation element.
It also does this for Japanese kana, but not kanji.

As the link states, it's pretty clearly a bug - the correct behavior
would be to sort the unknown characters after all known characters
and consider them distinct.  As a workaround, adding values for
all characters to every locale file in /usr/share/i18n/locales/ should
work.

#649729#13
Date:
2012-02-03 06:47:45 UTC
From:
To:
forcemerge 139861 649729
thanks

Alex Shinn wrote:

See also this issue:

http://bugs.debian.org/cgi-bin/bugreport.cgi?bug=139861

It is a known deficiency in coreutils that the utilities are not
multibyte aware.  The following can be found in the upstream source
package TODO file.

  Adapt tools like wc, tr, fmt, etc. (most of the textutils) to be
    multibyte aware.  The problem is that I want to avoid duplicating
    significant blocks of logic, yet I also want to incur only minimal
    (preferably `no') cost when operating in single-byte mode.

Some vendors have hacked in patches to make the utilities multibyte
aware but none of those patches have been considered clean enough to
incorporate into the upstream source yet.  Debian's maintainer has
stated that he does not want to diverge from upstream this radically.
The patches are very messy and incomplete.  The best course of action
would be to get this resolved upstream with the functionally properly
integrated.  Until then this remains a known deficiency.

Bob

#649729#24
Date:
2018-02-15 07:26:52 UTC
From:
To:
Laba diena,


Noriu Jus informuoti apie šių metų pasikeitimą dėl atnaujintos visos Lietuvos įmonių bazės 2018 metų sausio vidurio.
Visi juridiniai asmenys pateikti bazėje yra veikiantys, realiai vykdantys veiklą, turintys įdarbintų darbuotojų. Duomenys pagal Sodrą, Registrų centrą.

Bazėje nurodoma ir apyvarta, darbuotojų atlyginimai, darbuotojų skaičius, transporto skaičius ir daug kitų duomenų, kuriuos matysite pavyzdyje.

Duomenis galima filtruoti pagal veiklas, miestus ir kitus duomenis.


Šią bazę verta turėti visoms įmonėms. Pateiksiu priežastis:

1) Kontaktai pateikti bazėje direktorių ir kitų atsakingų asmenų, didelė tikimybė Jums surasti naujų klientų, partnerių, tiekėjų, kai tiesiogiai bendrausite su direktoriais, komercijos vadovais.

2) Konkurentų analizavimas, tiekėjų atsirinkimas pagal Jums reikalingus kriterijus, galite atsifiltruoti pagal įmonės dydį, bazėje nurodoma kiek įmonės skolingos Sodrai.

3) Lengva, greita ir patogu dirbti su šia baze, elektroninius pašto adresus galite importuoti į elektroninių laiškų siuntimo programas ar sistemas iš kurių siunčiate elektroninius laiškus.
Taip pat galite importuoti mobiliųjų telefonų numerius į SMS siuntimo programas.


Išsirinkite iš "Veiklų sąrašo" veiklas kurių Jums reikia.
( Sąrašas prisegtas laiške excel faile )

Parašykite, kurias veiklas išsirinkote
ir atsiųsime pavyzdį ir pasiūlymą su sąlygomis įmonių bazei įsigyti



Pagarbiai,
Tadas Giedraitis
Tel. nr. +37067881041

#649729#29
Date:
2018-02-27 11:47:54 UTC
From:
To:
Sveiki,



Ar Jums reikia bendrijų bazės?



Daugiabučių, gyvenamųjų namų, sodų bendrijų bazė su pirmininkų kontaktais



Bazėje nurodomi šie duomenys



Bendrijos pavadinimas

Bendrijos kodas

SD kodas

Įregistravimo data

Darbuotojų skaičius

Elektroninio pašto adresas

Mobilus telefonas

Bendrijos adresas

Miestas

Pašto kodas

Bendrijos pirmininko vardas pavardė



Visos bendrijos veikiančios su pirmininkų kontaktais



Bendrijų bazę galima filtruoti pagal miestus, registracijos datą



Ši bazė gali būti naudinga ieškant klientų



Ar Jums atsiųsti bendrijų bazės pavyzdį su pasiūlymu?



Turime ir asociacijų, valstybinių institucijų, įmonių, ūkininkų bazių.

Kokių Jums dar reikia bazių?



Taip pat siunčiame naujienlaiškius

Išrašome sąskaitą faktūrą





Pagarbiai,

Egidijus Stanaitis

+370 603 160 22

teraditas@gmail.com