Французский математик Фабрис Беллар (Fabrice Bellard), основавший в своё время проекты QEMU и FFmpeg, опубликовал формат кодирования звука TSAC и связанный с ним инструментарий для сжатия и распаковки звуковых файлов. Формат ориентирован на передачу данных с очень низким битрейтом, например, 5.5 kb/s для моно и 7.5 kb/s для стерео, при сохранении приемлемого качества музыки и речи. Использование TSAC позволяет упаковать музыкальную композицию, длительностью 3.5 минут и с частотой дискретизации 44.1 kHz (стерео), в файл размером 192 КБ, который будет почти неотличим от оригинала на слух неискушённого обывателя. Код проекта распространяется под лицензией MIT...Подробнее: https://www.opennet.dev/opennews/art.shtml?num=61113
Беллар просто слоняра IT и математики
По факту чел
Но нам же говорили, что без святых корпораций сообщество ничего не может, а тем более одиночка. И тут же какой-то ботаник выкатывает кодек с качеством не хуже коммерческих аналогов, только лицензии на которые стоят миллионы. Выходит, нам врали.
> Но нам же говорили, что без святых корпораций сообщество ничего не может,
> а тем более одиночка. И тут же какой-то ботаник выкатывает кодек с качеством
> не хуже коммерческих аналогов, только лицензии на которые стоят миллионы. Выходит,
> нам врали.Эту мантру продвигают унылые корпоративные наймиты, которые как раз ничего из себя не представляют - зато рады стараться помочь вляпаться в д@рьмо, во благо своего кармана конечно.
Ботаник выкатывает бесполезную игрушку, делится результатами развлечений и мб за одно намекает толстосумам на возможность выделения ему гранта для дальнейших игр.
Это немного не так работает :-). Сделать открытие, прорыв, как и раньше, может одиночка. Но для оттачивания результата, доведения до ума нужны люди и бабки.Как говорится, пробить стену может и одиночки, а собрать осколки проще коллективу.
Тащит! Красавчик!
>который будет почти неотличим от оригинала на слух неискушённого обывателя. Код проекта распространяется под лицензией MIT.хотя, там нет исходников
> хотя, там нет исходниковТак это... я конечно повторяюсь, но "лицензия позволяет!". Расслабьтесь и наслаждайтесь дадеными вам свободами.
Песенки лучше в песенковом зале воспринимать. Как есть, без сжатия.
Особенно когда на пробежку вышел и огород на даче перекапываешь. В смокинге и с бабочкой. Или живешь в деревне Зажопино Мухосранского району - тогда будешь, по заветам анонима опеннета про "песенковый", только в бывшем колхозном клубе оперы Верди слушать в исполнении тети Глаши.
Какие верди в Зажопино? Брага и гармошка. Обычная.
Обычная брага или гармошка?
> Код проекта распространяется под лицензией MIT.Двоичный код. Это фриварь с бинарником под MIT, не открытое и не свободное ПО (из-за закрытости кода, хотя лицензия MIT может смутить). Ещё копирайт Descript'а почему-то перебит, а не дополнен.
"MIT License ... Copyright (c) 2023-present, Descript ... The above copyright notice ... shall be included in all ... substantial portions of the Software."
===>
"Copyright (c) 2023-2024 Fabrice Bellard ..."Удолите новость, зачем она тут.
возможно, исходники забыл опубликовать... Но, или же потерял. Дизассемблер в помощь...
А вот не надо этого цинизьму. Надо просто удалить новость (или покаяться в её исправлении: неуместно для сайта, но поздно удалять), а не пропускать проприетарь* от деятелей опенсорса, приглянувшихся автору.Возможно, автор думал, что Беллар питается святым духом, но это не так.
The LibNC library is free to use as a binary shared library.
Contact the author if access to its source code is required.
https://bellard.org/libnc/libnc.html#LicenseThe free version is released as binary code...
https://bellard.org/ts_server* да, GNU классифицирует такое как проприетарное: https://www.gnu.org/philosophy/categories.en.html
> Proprietary software is another name for nonfree software
> Nonfree software is any software that is not free
> Free software is software that ... In particular, this means that source code must be available.
> да, GNU классифицирует такое как проприетарное:Их религиозные проблемы.
Нет, отрицание этого - твоя личная проблема."Proprietary software, software developed by an individual or company that chooses not to publicly share the program’s source code" - https://www.britannica.com/technology/proprietary-software
Напомнило, как здесь анон доказывал, что PNG - это lossy-формат. Кто не согласен - тот начитавшийся википедии неуч. Создатели спецификации PNG - тоже из этих, начитались википедии до её появления. А теперь ты шутки про windows.ru/closednet.ru воплощаешь в реальность.
> Бинарный блоб.Мы только прошли бэкдор в бинарнике xz. А тут аж 200 МБ бинарного файла, туда что захочешь спрятать можно. Ещё и поди скачивается автоматически по отдельному каналу без хеш-сумм.
Ну и чем это отличается от прориетаршины? Почему новость о программе исходники которой недоступны появляются на сайте об открытом программном обеспечении.
PaTSAC должен носить TSAC
И радоваться!
А Паваротти нейросеть по телефону напеть может?
Скорее Энрико Палаццо
> А Паваротти нейросеть по телефону напеть может?Пока только Рабинович пробовал, при том Битлов. Ну и гадость же эти ваши Битлы!
Вот что бывает, когда за дело берутся настоящие специалисты. И никаких нейронок и прочих смузи недотехнологий сжатия.
А, не, ошибся, тут тоже нейронка.
Неудобно вышло
Да, настоящие специалисты размещают ценную информацию на сайте, который при открытии выдаетWebsites prove their identity via certificates. Firefox does not trust this site because it uses a certificate that is not valid for www.bellard.org. The certificate is only valid for bellard.org.
Error code: SSL_ERROR_BAD_CERT_DOMAIN
Так убери www. Из названия хз кто додумался дописать ввв автор опеннета на столько стар что везде это дописывает и думает что всё будет работать.
ну а через какой зад лепили настройки адресации, что ввв оно не поддерживает ?
Омг какой ещё адресации. Автор что должен угадывать куда тебя вести когда ты сам выдумал адрес? Это тебе в битву экстрасенсов а не в IT.
> Омг какой ещё адресации. Автор что должен угадывать куда тебя вести когда
> ты сам выдумал адрес? Это тебе в битву экстрасенсов а не
> в IT.двер^W настройку адресации мне запили!!11
www частично такой стандарт, особенно раньше.
Лолчто? Человек просто не парился насчет WWW и все, не он один. Сейчас многие сайты ВНЕЗАПНО не только работают без www, но некоторые даже не поддерживают\перенаправляют с www на версию без него.
Зачем он это сделал?
Очень далеко в космос передать/принять... к примеру
Передавать туда пока нечего, а принять есть чего, но для этого, внезапно, нужна целая видюха. А в космосе купить 4090 легально и с гарантией пока негде
Я думаю Илон Маск может себе позволить купить,
а то что в Роскосмосе это уже секретная информация.
Полезно будет для радиовещания на средних и коротких волнах, а также для уплотнения FM диапазона: https://ru.wikipedia.org/wiki/Digital_Radio_Mondiale
Но есть нюанс... в виде 200 МБ каких-то моделей и адской грелки.
Радиопередатчик будет еще и греть так нехило...
200 Мб приложение на Electron - ни кого не смущает.
200 Мб ИИ-модель, приносящая реальную пользу - сразу дикий вой на болотах.
>Модель занимает около 200 МБ в сжатом виде и оформлена в детерминированной представлении, которое гарантирует получение одинакового результата независимо от используемых CPU/GPU и числа задействованных при вычислениях потоков.на 4090 запустится или апгрейд нужен?
Написано же> На системе с GPU RTX 4090 производительность сжатия составляет примерно 1 MB/s.
Не тянет)
На 4090 шустренько жмёт, 3 минуты секунд за 7-8.
Это, получается, encoder весит 200 МБ?
Какие-то проблемы со стерео у этого кодека. Слушаешь оригинал - нормально, 7кб/с стерео - дискомфорт, что-то не так. Моно - опять нормально. 2,99кб/с стерео - звук как-то туда-сюда из канала в канал плавает, в правом канале какое-то кваканье.
Оно втупую стерео как две независимые дорожки жмет, там где тихие звуки вырезает все и делает полную тишину, вместо того чтобы отдельно работать с только стерео звуками и только моно (мид сайд), как в мп3 и других кодеках. Ибо нейронка не пожмет сайд составляющую, там звуки мало на что похожи от моно моделей на которых она натренерована.
By default, stereo files are encoded using joint stereo coding in order
to get the highest compression. The "-s" option disables joint stereo
and encodes each channel separately.
Все это от лично звучит на специально подготовленных и предобработанных данных. Когда дело доходит до реального применения к звуку записанному с обычного микрофона, без фильтров то ни одного слова разобрать невозможно.
Попробуй просто фоновый шум срезать. С запасиком, даже небольшие искажения приемлемы. Со срезанным шумом на голос заходит вполне себе.
А какие ресурсы необходимы для декодирования, известно?
учёные ещё не доказали
И никаких Gstreamer облегчаюего кодеру жизнь.Все брутально с FFmpeg.
> И никаких Gstreamer облегчаюего кодеру жизнь.Все брутально с FFmpeg.Сколько кодеков эти, облегченные, за свою жизнь написали? А, ну вот то-то и оно...
Всё правильно, gst-libav подхватит
Что-то стремное оно все, прослушать отсюда нельзя - кнопки не нажмаются, ни readme ни сайт не посмотреть - ошибки SSL (это точно такой крутой математик, что не знает как обновить Letsencrypt или заплатить за хостинг, где за него это сделают)?Осадочек остается, однако.. в 2024 на левые сайты с левыми некорректными сертификатами не очень хочется ходить.
Поздравляю, вы жертва маркетинга безопасности.В реале никакая крипта не нужна пока вы там аутинтифицироватся не станете для авторизации каких то действий.
В реале тебе встроят пачку майнеров и стилеров на каждую страницу без https.
Вы из принципа не блокируете вообще всё кроме html, когда на новый для вас сайт заходите?
Umatrix блокирует все обращения к левым сайтам, этого в принципе достаточно. Не помогает, когда малварь встраивают прямо в код. Тут дело в другом: заходишь на привычный сайт по нешифрованному соединению, а там тебе напихали "партнёрской" малвари.
Да, и они сразу смайнят у вас из дома всё электричество и украдут все деньги из банка, потому нужно посещать только сайты которые гугель одобрил зелёным цветом!
Как мы только жили, когда не было никакого https зато был flash player в котором каждую неделю было по 3 новых способа запускать бинарник без пользовательского участия?
Раньше трафик не прослушивался и не модифицировался, как сегодня. Порог входа уменьшился, опять же. Дело не в гугле.
У вас проблемы не технического характера, и TLS тут не поможет :)
Гугол огородил свою поляну, свою личную и своих майоров, для их всеобщего блага.Я просто в ФФ завёл два профиля:
- для доверенных сайтов, где история, куки, юматрикс, восстановление вкладок
- амнезийный в вечно приватном режиме, без юматрикса, который всё забывает после перезапускаАмнезийный для поиска инфы и всяких ссылок из месенгеров.
Правда у нас ещё дома фильтрация по DNS всякого мусора. Но когда что то пролезает - меня не колышет.
Трафик всегда прослушивался, но Google стал продвигать HTTPS только тогда, когда провайдеры начали замещать их рекламу своей. Но это наверное сопадение.
А слушать примеры можно только из под Линэкс? У меня на Андроиде не открывается ничего. Даже original.
Всё открывается. Хромиум.
У тебя в Андроиде тоже внезапно Линекс.
> У тебя в Андроиде тоже внезапно Линекс.Нет.
Как в его хроме не вебкит, так и в его андроиде - не линукс.
Ну "так себе" практическое применение.
Попытался сжать 1.5 Мб файлик чистого ASCII-шного текста.
За 4 минуты сжатия выдал прогресс завершенного в 2 процента.
За 6 минут - 3%.
За 8 минут - 4%.
Экстраполировать дальнейшее, надеюсь, сможете самостоятельно.i7 10700 CPU 2.90GHz \ 32 GB RAM \ данные положены на SSD.
>> опубликовал звуковой кодек TSAC
>> ЗВУКОВОЙ
> Попытался сжать 1.5 Мб файлик чистого ASCII-шного текста.Ты вообще статью читал?
Что-то аноны с пенька меня в последнее время совсем расстраивают((
Но ведь получилось же! Целых 4% уже! Так рождаются инновации анонимов с opennet.
Мало кто до конца может текстик прочесть, как видно.(Там в конце про обычный компрессор для текста, показан пример сжатия википедии и исходников ядра линукса)
Новость не читай, сразу отвечай.
A GPU is necessary for fast operation. CPU only is also supported but
slower.1) Installation
---------------In order to get reasonable speed, you need an Nvidia Ampere, ADA or
Hopper GPU (e.g. RTX 3090, RTX 4090, RTX A6000, A100 or H100) with
cuda >= 12.x. At least 4 GB memory should be available on the GPU.x86 CPUs are supported too but the program is much slower. The CPU
must support the AVX2 instruction set in order to run the program.The FFmpeg utility is required to convert input files to raw
format.
Важно иметь не производительный CPU, а важно иметь производительный GPU.
лол:C:\Temp\test>ts_zip.exe c text.txt text.ts_zip
Your CPU does not support AVX2+FMA - exiting
>Важно иметь не производительный CPU, а важно иметь производительный GPU.Так я же не против!
Сгоняй, купи мне производительный GPU, для кодирования этого...
А кто сказал, что у ts_zip оно есть? Раньше чтобы у PAQ'ов появилось практическое применение, пришлось создать ZPAQ. ts_zip ближе к рекордным кодекам для выигрывания соревнований: http://prize.hutter1.net/Но до победителей далеко. ts_zip: enwik9 ужато до 135'443'237 байт (без размера декодера), fx-cmix: 112'578'322 байт (включая размер декодера). Надо подметить, что в соревнованиях размер декодера прибавляется к размеру сжатых данных. Это и на TSAC можно перенести: аудиофайлы 6 кбит/с - это совсем не то, что аудиофайлы 6 кбит/с плюс 257 МиБ моделей.
---
> А кто сказал, что у ts_zip оно есть?А, сам Беллар на это намекнул, сравнив его с xz, а с не с рекордными кодеками. Что ж, зря он это сделал.
> Но до победителей далекоТочнее, его NNCP обходит fx-cmix и держит рекорд в бенчмарке [1], но не проходит по потреблению ресурсов на премию Хаттера.
Для сравнения ts_zip с таблицей на mattmahoney.net:
"up to 1 MB/s on a RTX 4090" ==> 1000 ns/byte
135'443'237 байт без учёта декомпрессора ==> ~295'000'000 байт с декомпрессором
решил сам проверить и сравнить с LZMA:
26.08.2021 21:43 4 439 381 oui.txt
05.05.2024 14:50 814 110 oui.txt.7z
05.05.2024 11:20 963 885 oui.txt.tszрезультаты говорят сами за себя.
при этом 7z отработал за секунду.
Он что издевается? Это же слишком высокие системные требования. OPUS, GSM, AAC, MPEG на обычных компах работают.
Применение для звукового кодека - голосовые звонки во всяких ватсапах. Примение для текста - сжимать исходники болоших дистрибутивов
Ага, подключи невидию 4090 к своему тапку с камерой и экономь себе на трафике!
В то время как каждый веб сайт тащит по 20мб javascript мусора они реально экономят на спичках.
не тащит, если стоят блокировщики в браузере и по dnsна мнение биомассы, у которой сайты грузят по 20 мб, имхо пофиг, если лично ты на них не зарабатываешь
Если на спутниковом ... с защитой от пеленгации ... то может быть и дешевле.
там все ресурсы уже на телеметрию просраны
Да нет применения, это экономия на спичках в замен сжигания дома. Так-то не секрет, что если упороться и потребовать для сжатия кучу памяти и CPU, то сжимать можно лучше простых компрессоров
А вот скажите, а если словарь сделать не 200 МБ, а скажем 2 ГБ можно будет сжать быстрее?
Наоборот медленне будет. но сожмет лучше.
Что то оно на мои mp3:> corrupted double-linked list
> Aborted
Попробовал на нескольких композициях.
Для смартфонных превьюх может быть забавно, когда надо слышать что-то схожее с реальным музлом, прежде чем качнуть/купить.
Очень заметно, что нейросеть - вместо оригинала лепит совершеннейшую херню из звуков, похоже, но не похоже.
это же не для музыки, это помещение топить тем, кому не нравится майнить
И да, в качестве голосового кодека для совсем узких каналов должно заходить пристойненько. Вот только ресурсов жрёт столько, что вряд ли выстрелит и в этой области.
Купи RTX A6000 чтобы сэкономинь на жестком диске!
если в алгоритме нейронка, которая допишет того чего не было, то это так себе кодек
В идеале должна работать квантовая запутанность и по ней надо отгадывать сообщение которое пытаются передать. Мысленно конечно же.
дебилизм, могли бы просто sha512 дать
Нейронка во время сжатия поправит баги в коде
Сжать сжал, а чем воспроизвести?
Это только для хранения, чтоб прослушать надо распаковать обратно
./tsac --cuda d myfile.tsac output.wav
Воспроизвести будет в следующей мажорной версии :)
Для распаковки нужна эта 200-мегабайтная модель?
Интересно, что на его битрейтах Opus "ломается" и звучит даже хуже MP3. Кто-нибудь сравнивал TSAC с xHE-AAC (он же USAC)[1][2]?[1] Как я понимаю, сам формат кодирования называется USAC, xHE-AAC - это HE-AAC v2 плюс USAC. Но xHE-AAC - это автогипоним, так что во втором значении он должен означать только USAC (как HE-AAC включает в себя AAC-LC, но может противопоставляться ему).
[2] Ужасное название. Его даже мысленно хочется произнести как ххе-аац, а не правильно: экс-эйч-и-...
Это выглядит как midi нового поколения. Там тоже треки килобайты занимают, но звуковые шрифты могут занимать гигабайты.Хотя технология выглядит довольно круто.
Сто лет назад придумали mmf, даже на телефонах самсунг использовался.https://en.wikipedia.org/wiki/Synthetic_music_mobile_applica...
Ещё был какой-то rmi, где мелодия шла со звуком, напоминающим слова.
Это придумали на ...цать лет раньше - и называлось это трекерная музыка (.mod, .it, .s3m, .xm, ...). Смысл в том что есть структура типа миди-файла, с нотами - но кроме нее есть еще и samples (waveform'ы того или иного инструмента). RMI - это Midi до которого дошла та же идея, так что к нему тоже стали подшивать "сэмплы инструментов", и обозвали - вот этим.Компьютеру так то похрен что в сэмплах. Может бабах по тарелке или нота пианино быть. А может и чья-то фраза. Ну вот такая "нота" странная. Компьютеру то похрен, сказано - играть сие вот тут и вот тут, он и играет. А что там внутри - на усмотрение автора.
https://ru.wikipedia.org/wiki/Трекерная_музыка
легальный способ достучаться до вашего видика и поиметь его.
> на слух неискушённого обывателя.Тому, кому медведь на ухо наступил и кто даже mp3 от flac не отличает.
Я слышу огромную разницу между оригиналом и сжатием.Для передачи голоса по месенджеру сошло бы, но требование к видеокарте для сжатия звука ... нет, даже тут opus вне конкуренции.
Не могу предположить где это даже теоретически могло бы использоваться.
>Не могу предположить где это даже теоретически могло бы использоваться.Мне приходит в голову вариант, когда надо кучу записей(например разговоров по телефону), хранить 100500 лет, а прослушивать 1-2 записи в год. Тогда не важно сколько у тебя занимает декодирование и какой размер модели, хоть 100Гб можно, всё равно даст хороший профит. Так что ставим сервер с 4090 на АТС(можно и офисную), делаем автоматическую компрессию при сохранении, а для декодирования простой веб-интерфейс, когда сервер декодирует по запросу и можешь послушать.
Если записей куча, то, значит, их много прибывает одновременно ==> "ставим тыщу серверов с 4090 для кодирования".Если тыщ одновременных записей нет - их не наберётся на кучу, потому что на этих битрейтах один жёсткий диск вместит порядка тысячи лет звука (калькулятор с единицами измерения в гуглопоиске прекрасен, хочется такой же, только оффлайн).
Такой кодек даже марсианским колонистам не продать после тестирования лазерного Deep Space Optical Communications на 25 Мбит/с.
> Если записей куча, то, значит, их много прибывает одновременно ==> "ставим тыщу
> серверов с 4090 для кодирования".Думаешь РКН или АНБ не осилят столько серверов? Ну и то что сейчас 4090, то через 5-7 лет будет любая встройка осиливать. Математика же не устареет.
> Думаешь РКН или АНБ не осилят столько серверов? Ну и то что
> сейчас 4090, то через 5-7 лет будет любая встройка осиливать. Математика
> же не устареет.SSD-ки или даже HDD-ки в raid5 гораздо "осиляемее", дешевле, надёжнее и экономичнее чем 4090.
- У РКН и АНБ противоположный сценарий вот этому: "прослушивать 1-2 записи в год". Они скорее захотят обработать все записи за все годы ради улучшенного распознавания речи/интонации/фоновых звуков. Плюс если им нужно хранить примерно столько же видео, то вес аудио уже не важен.
- Зачем им превозмогать, если они могут не превозмогать? Твой предыдущий коммент - кодек может найти применение, если надо много хранить и редко получать доступ. Этот коммент - раз придётся много кодировать, всё равно пусть раскошелятся. Зачем?
- Со временем дешевеет и хранение. Вместо "4090 сейчас, встройка через 5 лет" (плюс всё те же "At least 4 GB memory") лучше иметь со стандартным кодеком "X долларов за хранение датасета сейчас, X/k долларов через 5 лет".
- В конечном счёте кодек должен удешевить систему. А тут известно, что он вычислительно адски дорогой, а битрейт экономит неизвестно как, где-то в несколько раз?
> вычислительно адски дорогойНа CPU он у меня кодирует медленнее Opus'а в 200 раз и декодирует медленнее в 3000 раз.
>> Если записей куча, то, значит, их много прибывает одновременно ==> "ставим тыщу
>> серверов с 4090 для кодирования".
> Думаешь РКН или АНБ не осилят столько серверов? Ну и то что
> сейчас 4090, то через 5-7 лет будет любая встройка осиливать. Математика
> же не устареет.А РКН у себя ничего и не хранит, они это всё скинули на провайдеров, которые должны покупать всё за свои деньги :-).
По сути с этим кодеком мы возвращаемся в эпоху трекерной музыки и чиптюн музыки из кейгенов. Где размер был необычайно малый а качество звука поражало воображение. А так же переосмыслению форматов музыки MOD и других музыкальных форматов трекерной музыки. Так же хочется вспомнить музыку с пк ZX Spectrum и других.
Вот пример чиптюн трекерной музыки размер 1.68 килобайт а длительность 2.22 мин:https://events.retroscene.org/mf2017/8bit_music/1157
Или вот 150 килобайт 4 минуты:
https://modarchive.org/index.php?request=view_player&query=5...
Такими темпами создадут скоро нейронку коя сможет генерить демосцены размером 50 килобайт с качеством графики как в 1 гигабайте. Ибо если раньше могли в 00ые и раньше на пентиуме создавать демосцены то сча даже условная RTX 4060 TI имеет мощи в миллионы раз больше чем тогда когда все эти форматы трекерной музыки и игр только зарождались.
Как говорится всё новое хорошо забытое старое!
Я насчитал слово "трекерной" 4 раза
Увы, даже сей кодек - очередное подтверждение, что "нейронки" ничего, кроме шума, генерить не способны.
Любителей шума много, но шум - это шум, результат сжатия-разжатия от оригинала очень далёк.
Дизеринг во все поля!
Теория хаоса в действии...
Вторая мелодия от группы, типа французской Space 1980-x :)
>Формат ориентирован на передачу данных с очень низким битрейтом, например, 5.5 kb/s для моноЯ уж подумал, что пригоден для использования в рациях с протоколом FreeDV, уж хотел сравнить качество с Codec2. А тут вона чё - машинное обучение. Такое в трансивер не вопхнёшь.
ML требует много ресурсов для обучения, но уже обученная нейросеть может быть достаточно легкой, в зависимости от задачи, ее можно даже запускать на микроконтроллерах. Недостаток - никто не понимает, что там внутри и как это работает.
> Такое в трансивер не вопхнёшь.Коробочку с 4090 рядом :)
Понадобится рюкзак с 4090 с БП к ней и еще два баула с аккамуляторами.