Új hozzászólás Aktív témák
-
DarkByte
addikt
válasz
Zizi123 #1593 üzenetére
Tessék, Deepseek R1 671B egy Raspberry Pi 5-ön (a Linux mmap-ot tudja használni az Ollama, így folyamatosan újra meg újraolvassa az egész modellt a futtatás során).
3 óra / prompt, de megy végülis -
válasz
S_x96x_S #1623 üzenetére
Nem teljesen, a Jetson sorozat az elektronikai iparnak szól, gyakorlatilag embedded computing. Pl. a járműipartól kezdve (régebben a Tesla is használt Jetsont, ha minden igaz) a szórakoztatóelektronikáig bármibe tehető, mert vannak egész kicsik is (nekem pl. Jetson Orin Nano-val volt/van munkám). A linkelt változat egy devkit, fejlesztők használják, hogy tudjanak úgy dolgozni, tesztelni, prototípust fejleszteni, hogy ne kelljen forrasztani, vagy a "nyers" Jetson compute modul köré interfészeket és egyéb elektronikákat építeni. Persze nyilván azért van bennük GPU meg unified memory, mert itt is minden az AI-ról szól, de kicsit más a fókusz.
A project Digits is fejlesztőknek szól, de kifejezetten AI modellekhez, asztalra. Külön termékvonal lesz, gyakorlatilag egy új, a Jetsontól független piac az Nvidianak. Mondjuk attól félek kicsit, hogy ettől még a Jetpack OS-üket fogja futtatni ez is, ami nem a kedvencem
[ Szerkesztve ]
-
válasz
S_x96x_S #1618 üzenetére
itt most olyan projektről van szó, ami videó/filmgyártási igényt fed le, magyarán filmkészítés. nem egész estés hálivúd, hanem bármi, reklám, oktatás, self-promo stb. tehát az ide kapcsolódó AI modellek használata (és nem csak a runway/sora/kling hármasra gondolok, meg 3D modellezés is stb.).
ne csüggedj, ha egy kapu bezáródik: máshol nyílik egy új. sérvkapu.
-
S_x96x_S
addikt
Amúgy jelenleg is lehet kapni
NVIDIA® Jetson AGX Orin™ 64GB -t
- €2,199.00
- AI Performance: 275 TOPS
- GPU: 2048-core NVIDIA Ampere architecture GPU with 64 Tensor Cores
- CPU : 12-core Arm® Cortex®-A78AE v8.2 64-bit CPU3MB L2 + 6MB L3
- DL accelerator: 2x NVDLA v2.0
- Memory : 64GB 256-bit LPDDR5 204.8GB/s
- Storage: 64GB eMMC 5.1
- Power: 15W - 60Wés a Digits - **szerintem** ennek az utódja lesz.
csak 20 arm maggal , Blackwell architektúrával ( FP4 ) , M.2 SSD-vel , ConnectX® networking -él és hasonlóan 4 csatornás LPDDR5 memóriával ( 128 GB - ~ 260 Gb/s)
a $3000 -ból - itthon lehet 4000 EUR.
és ez már közelit a ~2x a 64Gb -os Jetson AGX Orin - árához.Mottó: "A verseny jó!"
-
S_x96x_S
addikt
válasz
Mp3Pintyo #1619 üzenetére
(Digits)
> és mit fog tudni:az NVIDIA GTC 2025, March 17–21 -en több infó lesz.
" At GTC, you’ll get the chance to learn more about:
- Project DIGITS hardware specification and software stack
- Key workflows and use cases
- How to get your own Project DIGITS system
"Mottó: "A verseny jó!"
-
Mp3Pintyo
aktív tag
válasz
Zizi123 #1616 üzenetére
Ezt várja mindenki, hogy mikor jelenik meg és mit fog tudni:
NVIDIA Project DIGITS
A Grace Blackwell AI Supercomputer on your desk.
128GB of unified memoryhttps://www.youtube.com/mp3pintyo AI, Mesterséges Intelligencia, Képkészítés tutorialok, bemutatók
-
S_x96x_S
addikt
> AI film
jó téma - de ez azért elég tág fogalom;
a filmes forgatókönyvek-től kezdve ( ami creative writing )
a filmes ajánló-rendszerekig
a teljes mozifilmek generálásáig ( ami vizuális ) sok minden beletartozik.
És ott van még a film szinkronizálás is.Persze a cégek bármire adnak pénzt - ha annak az eredménye --> költségcsökkentés.
Sony Pictures to Use AI to Produce Movies and Shows In “More Efficient Ways”Amúgy vannak érdekes trendek a jövőre:
[ Automated direction / Virtual actors / Interactive movies / ... ]Mottó: "A verseny jó!"
-
válasz
Zizi123 #1616 üzenetére
azért erre most van igény, úgyhogy jönnek majd dolgok. unified memory-s gépek stb. és persze nem lesz olcsó, ha lesz, aki megvegye drágán. meglátjuk. szerintem ilyen 3000 usd környékén egyre jobb cuccok lesznek minden évben.
ne csüggedj, ha egy kapu bezáródik: máshol nyílik egy új. sérvkapu.
-
Zizi123
senior tag
-
ahoi, srácok! beköszönök, érdeklődéssel figyelem a topikot, engem is kezd beszippantani az ai-láz
annyira, hogy grundolódik egy startup körülöttem, AI filmes vonalon. nem tudom, hogy van-e köztetek olyan, akinek van ilyen érdeklődése és esetleg még ideje, energiája is, de ha igen, mindenképp írjatok rám privátban.
amúgy meg én is épp gépet építek, nyilván "szegén ember ai vasát", szóval am4-es összetarhált cuccok, és egy 3090 rtx lesz a lelke az egésznek. érzésre a hardveripar most szépen rá fog fordulni az új feladatra, szóval jönnek majd pár évig a világverő vasak, hamar el fog avulni minden régebbi.
ne csüggedj, ha egy kapu bezáródik: máshol nyílik egy új. sérvkapu.
-
S_x96x_S
addikt
4TB VRAM ....
"SanDisk's new High Bandwidth Flash memory enables 4TB of VRAM on GPUs, matches HBM bandwidth at higher capacity"
Equipping AI GPUs with 4TB of memory.
https://www.tomshardware.com/pc-components/dram/sandisks-new-hbf-memory-enables-up-to-4tb-of-vram-on-gpus-matches-hbm-bandwidth-at-higher-capacityMottó: "A verseny jó!"
-
5leteseN
senior tag
válasz
Zizi123 #1612 üzenetére
Én a cég részére történő (kb felesleges ? : lehet, hogy már van egy előre meghozott döntés, szóval ezen)keresés közben összeszednék a helyedben annyi infót a lehetséges költséghatékony hw/sw megoldásokról amennyit lehet! Ha ezt némi otthoni érdeklődéssel, "munkával" kiegészíted, akkor jól megbecsülhetően a kb 1, azaz egy hét intenzív és célirányos munkáddal (a Net-en) nagyon-nagyon jól eladható, friss-naprakész tudásod lesz!
Ebből a tudásból meg akár jobb állásod, saját céged?
...de: ahogy látod!
-
Zizi123
senior tag
válasz
5leteseN #1611 üzenetére
Ez senkit nem érdekel sajnos. Se a költsége, se a fenntartása, se az üzemeltetése se semmi. A lényeg, hogy a pénz el legyen verve.
Persze megy a sírás folyamatosan, hogy nincs pénz.Mai új ötlet:
20mFt-ért SolidWorks workstation WTF?????
1TB RAM !!!! A létező legelvetemültebb konfiguráló cég sem rakott még bele 128GB-nál többet. Jellemzően 32GB, vagy max 64GB RAM-ot javasolnak.
De nem értem meg, hogy csak ezen tudnak dolgozni????[ Szerkesztve ]
-
5leteseN
senior tag
válasz
Zizi123 #1610 üzenetére
Én is azt javasolnám, hogy(ha vannak ilyen variációk), akkor a tervezett 2-3-4 hardvert futtatnám szolgáltatónál, és ezt megmutatnám döntés előtt!
És én nem terveznék a 600GB-os LLM-mel: Mp3pintyó videója mutatta, hogy a legnagyobb teljesített a leggyengébben.
Szerintem heteken belül kijon egy felezett és jobb teljesítményű modell.
Egy LLM-hez összerakott, rugalmatlan, nehezen bővíthető és változtatható "vas" a legnagyobb bukta egy ilyen gyors fejlődés alatt álló területen!
A jó megoldás egy kisebb LLM, +szakterületes-RAG/-LoRA kiegészítés a megoldás.
Ehhez sejthető feladathoz a Watt-égető CPU-s megoldások durva pénzkidobás. Vásárláskor is, üzemeltetéskor is.
Az azonos fejlettségi szintű, azonos-elégséges memóriás rendszerek összevetésében a GPU-s megoldások 6-20-szoros teljesítményt tudnak, kb 50-100% Watt-ból.Több szempontos gyors összevetés.
-
Zizi123
senior tag
válasz
5leteseN #1609 üzenetére
A DeepSeek 671B Q4 404GB
Eddig is volt kisebb pl. LLama 3.1 ami benchmark %-ban, tudásában alig marad el a V3 -tól.
De az nekünk már nem jó, mert elavult, az R1 az igazi...Mondjuk azt nem teljesen értettem amikor magyarázták, hogy miért is kell nekünk a Reasoning amikor dokumentumokban akarunk kerestetni konkrét adatokat. Miért is kell az érvelés.
Amikor mondtam nekik, hogy akkor kb az kell nekünk mint a NotebookLM, csak lokálisan, és a DeepSeek LLM-el, akkor azt mondták, hogy "Igen, feldolgozott dokumentum halmazon célzott rövid kérdések (nem RAG hanem a teljes dokumentumon értelmezett kérdés).[ Szerkesztve ]
-
5leteseN
senior tag
válasz
consono #1606 üzenetére
Jogos, én is a linkeltnél egyel magasabb generációra utaltam, a P40-kkel, amik azért négyen már 96GB-al szállnak be a "buliba".
Ezt pedig azért gondoltam elégnek, mert korábban ZiZi említette a kisebb(vmi 400GB) körüli, egy számmal kisebb LLM-et is.
Ez kb a 4-5-ös kvantálással már szerintem belefér.
Most hirtelen nem találom ez mekkora lenne.
Mekkora?Szerintem egyébként gőzerővel készül a kisebb kínai LLM-is!
Mire megépül a rendszer, addigra ki fog jönni!
Pezsgő? -
5leteseN
senior tag
válasz
Zizi123 #1603 üzenetére
Én a helyedben(ha lennék) egy olyan "átlagos", AMD-CPU-s szervert raknék össze, ami sok-csatornás DDR5 RAM-ot használ, és minél több VGA-ja van a későbbi (több-VGA-s
) fejleszthetőség lehetőségét megteremtve.
Ha egy CPU-val nem elég=>megfizethető összegű CPU "miatt" maradt és a +1 "átlagos" szerver CPU-val lesz egy immár duál rendszered, aminél, ha jól vetted a RAM-okat, akkor nem kell további, csak átcsoportosítasz!
Ha ez sem elég, akkor én vennék a már 250$ körüli-"filléres" TESLA P40-eket, amiket egymással össze lehet kötni: 24GB/db!
A számítási teljesítményük grafikás AI-MI-hez már nem elég, de linkeltem ide a forrást, ahol "azt dobta a Gép" az egyik értelmes elemzőnek, hogy szöveges LLM-ekhez belépő szintre elég!
Az Egy P40! ...a 24GB-tal!
Neked meg lesz egy szervered legkevesebb 4 VGA hellyel!
...és(szerintem) a 3-4 TESLA P40, az összegzett 3-4x24GB-jával szöveges LLM-hez már bőven elég, és szerintem a 3-4x250W-ból bőven leveri a keretedből megfizethető csak dupla-Th-tripper-es rendszereket is.
kb ezért, még mindig: A rendszer-RAM-ok (GPU-VRAM-okhoz képest)viszonylagosan lassú sebessége miatt az átlagos AMD-CPU-kat sem fogja a lehetséges maximumra kihajtani.
Az elavultnak tűnő P40-ekkel épített rendszer szerintem bőven veri a csúcs-AMD-s duál szervert is, és a CPU-ár különbözetből bőven ki is jön a P4q "farm"!A "belépős" P40-ekhez: Szerintem fél-egy éven belül legrosszabb esetben féláron eladható, és 2-3-4 szintén összeköthető nVidia-s 4000-es RTX-re lehet váltani, kb bőven megtripázva a GPU számítási szintet, alig kevesebb RAM-okból(24GB helyett "csak" 16GB-ok/darab=>4x16GB=64GB).
Így szerintem jól skálázható egyre feljebb a rendszer, lesz pénz a következő szinthez, és teljesen költséghatékony kb minden szintnél!
A magam egyéni-hobbi szintjén én is ilyet tervezek-csinálok!
[ Szerkesztve ]
-
-
Zizi123
senior tag
-
Zizi123
senior tag
Minél többet olvasok annál bizonytalanabb vagyok.
"I have 2x 9684X + 24x 64G DDR5 4800
unsloth/DeepSeek-R1-Q4_K_M quantised model
3.5 tokens per second when I pin 12 threads to one CPU (one thread per CCD) using latest llama.cpp,"Az tuti, hogy itt a CPU nem korlátozó. És ez csak Q4
-----------------------------------------------------------------
"Paradoxically, LLM more likely to be faster with one CPU vs few CPUs because of NUMA.
NUMA bandwidth between CPUs is usually 15% - 50% the RAM bandwidth."Szuper mire azt hittem, hogy tuti dual CPU kell.....
------------------------------------------------------------------https://www.reddit.com/r/LocalLLaMA/comments/1ilzcwm/671b_deepseekr1v3q4_on_a_single_machine_2_xeon/?rdt=55198
Erre olvasom ezt ahol meg már hybrid rendszer a tuti, de csakis Xeon-okkal az AMX utasításkészlet miatt
-
Mp3Pintyo
aktív tag
válasz
Zizi123 #1589 üzenetére
Ha nagyobb projekt akkor nem értem a CPU-t.
Egyszerűen használhatatlanul lassú egy GPU-hoz képest.
a 2b modellek persze elérnek valamekkora sebességet de akkor is nincs értelme.
Főleg ha az egy reasoning modell, ott aztán tényleg előjön a sebesség különbség.
Mac Mx-et nem lehet a projekter használni? mert az is sokkal gyorsabb mint egy CPU.https://www.youtube.com/mp3pintyo AI, Mesterséges Intelligencia, Képkészítés tutorialok, bemutatók
-
consono
nagyúr
válasz
S_x96x_S #1597 üzenetére
No, mértem gyorsan egyet, kicsi modellel, hogy ne a memória legyen a lényeges (gemma2:2b), meg ez belefér a 4GB-s RTX3050-embe a notin
Ryzen Controllerrel állítottam a CPU TDP-t. A kérdésem a jó öreg "Why is the sky blue?" volt. Ez jött ki:
RTX3050 20W TDP
total duration: 7.6621896s
load duration: 31.8506ms
prompt eval count: 15 token(s)
prompt eval duration: 670ms
prompt eval rate: 22.39 tokens/s
eval count: 245 token(s)
eval duration: 6.956s
eval rate: 35.22 tokens/s
RTX3060 45W TDP
total duration: 7.905915s
load duration: 33.1591ms
prompt eval count: 15 token(s)
prompt eval duration: 187ms
prompt eval rate: 80.21 tokens/s
eval count: 270 token(s)
eval duration: 7.684s
eval rate: 35.14 tokens/s
5600H 20W TDP
total duration: 20.0323558s
load duration: 2.1782538s
prompt eval count: 15 token(s)
prompt eval duration: 386ms
prompt eval rate: 38.86 tokens/s
eval count: 284 token(s)
eval duration: 17.465s
eval rate: 16.26 tokens/s
5600H 45W TDP
total duration: 11.6120709s
load duration: 29.8466ms
prompt eval count: 15 token(s)
prompt eval duration: 49ms
prompt eval rate: 306.12 tokens/s
eval count: 220 token(s)
eval duration: 11.532s
eval rate: 19.08 tokens/sJa, a GPU-t a "/set parameter num_gpu 0"-val tiltottam ollama-n belülről, ellenőriztem a task managerben, tényleg nem használta a VRAM-ot. Minden futtatás után kiléptem az ollama-ból, hogy ne legyen keveredés. Ezek alapján nekem az jön le, bár lehet, hogy kellene még máshogy is tesztelni, de igen is számít a CPU teljesítménye, nem csak a RAM, ha CPU-n futtatunk.
[ Szerkesztve ]
"Mechazilla has caught the booster."
-
S_x96x_S
addikt
válasz
consono #1595 üzenetére
> kisebb modelleket AMD CPU-n,
A "Minisforum UM790 Pro 7940HS" a teszt gépemen
( gyári 32GB DDR5 5600-al + Samsung 990 PRO 2TB )
a legfrissebb ollama ( 0.5.7 ) ; ubuntu 24.10 linux -on ( friss kernel )és mivel a 32 GB a limit :
( a >=31 GB -osak nem futnak - csak swap -elve és lassan futnak )
A swap miatt nem árt valami RAID0 - Gen5 M.2 diszkekből.
egy nagyobb modell ( deepseek-r1:32b - 19GB ) már csak 0.54 tokens/s
# ollama list deepseek-r1:32b
NAME ID SIZE MODIFIED
deepseek-r1:32b 38056bbcbb2d 19 GB 54 minutes ago
# ollama run deepseek-r1:32b --verbose
>>> kérek 3 magyar mesehős nevet ( és csak a nevet ) !
<think>
Alright, the user is asking for three Hungarian fairy tale characters
and just their names.
I should make sure to provide well-known ones.
First, Boldog Kori is a classic figure, known as Happy Kori.
Then there's Fánk Vályi, the clever shoemaker.
Finally, Csibesz from Pusztavárhegy is a famous trickster.
I'll list these names clearly for the user.
</think>
1. Boldog Kori
2. Fánk Vályi
3. Csibesz
total duration: 4m20.499323036s
load duration: 21.344012ms
prompt eval count: 27 token(s)
prompt eval duration: 46.799s
prompt eval rate: 0.58 tokens/s
eval count: 116 token(s)
eval duration: 3m33.677s
eval rate: 0.54 tokens/s[ Szerkesztve ]
Mottó: "A verseny jó!"
-
S_x96x_S
addikt
válasz
consono #1595 üzenetére
> Nem a kínai SDK-ban a bizalom a kérdés, hanem a kínai AI modelben
> Nálunk betiltották CEO szintről a használatát...( az én megértésem szerint
)
A kínai AI modellel - saját - vagy nyugati hardverrel futtatva -
--szerintem--- nincs probléma;
Ráadásul elérhető az AWS-en és az Azure -on is.
- DeepSeek-R1 models now available on AWS
- DeepSeek R1 is now available on Azure AI Foundry and GitHubA probléma a https://chat.deepseek.com -el van, ( egy kínai Inference szolgáltatás )
ami gyűjt(heti) a kérdéseket és az adatokat, ami átfolyik rajta.Ha meg a saját hardveren lokálisan futattja bárki
akkor meg minden párbeszéd házon belül marad.De ez az én privát véleményem - és a bürokráciával nem vitatkozok.
------
Amúgy ha vitatkozni akarnék magammal ... akkor ...PRO - deepseek:
Egy Kínai AI modell ( qwen, deepseek ) - saját hardverrel - Ollama -val futtatva - hogyan tudna hazatelefonálni kínába ?
CON - deepseek:
Humán effektus ... vagyis a probléma egy másik nézőpontból az lehet, hogy sokan nem látják az apró különbséget - és céges szinten tényleg racionális lehet egy szigorú tiltás - amolyan heurisztikai ökölszabályként.
Mert ha 100 emberből - 5 rosszul értelmezi - és a kínai chat.deepseek.com -en futtatja végig a bizalmas anyagot - akkor az nagyobb kár , mint a 95 előnye a deepseek-el.
A deepseek egy éles kés - és egy cégben a leggyengébb láncszem úgyis megvágja magát vele.Mottó: "A verseny jó!"
-
consono
nagyúr
válasz
S_x96x_S #1594 üzenetére
Nem a kínai SDK-ban a bizalom a kérdés, hanem a kínai AI modelben
Nálunk betiltották CEO szintről a használatát...
A CPU-ra visszatérve én is futtatott kisebb modelleket AMD CPU-n, az a tapasztalatom, mint neked (ugyan úgy ollama, csak Windows alatt). Szerintem ha nincs GPU számít a proci sebessége is, nagyon, de nem mértem semmit. Délelőtt majd kipróbálom valahogy, lehet, hogy a privát notimon, bár ott van GPU is, de tudom változtatni könnyedén mennyit egyen a proci
"Mechazilla has caught the booster."
-
S_x96x_S
addikt
válasz
Zizi123 #1588 üzenetére
> DeepSeek 761B Q8 (720GB) vagy Q4 (404GB) futtatása lenne a feladat.
jó feladat .
Mivel mindenképpen lesz tanulópénz
és ha ezt limitálni szeretnéd,
akkor felhőben
( ahol lehet bérelni 1TB -os memóriás CPU -t is 1-2 órát kifizeve )
érdemes demózni a megrendelőnek, hogy mi várható,
főleg akkor - hogyha több párhuzamos kérés is vanÉn például Adatbázis + LLM integrálással ( is ) foglalkozom / érdekel / tanulom / etc.
és sok mindent újra kellett gondolnom.
Feltételezem, hogy a következő lépés nálatok is
a céges dokumentumokra valamilyen RAG ráültetése.Vagyis mielőtt összeraksz egy konfigot - teszteld felhőben
és akkor a megrendelőt nem éri meglepetés.------------
ha alapos akarsz lenni,
akkor pár napot rá kell szánni, hogy át-túrod a
https://www.reddit.com/r/LocalLLaMA/ -tami azt jelenti, hogy az idei összes poszt címét átolvasod.
( vagy csak rákeresel a :
cpu + deepseek / Xeon + deepseek / Epyc + Deepseek / -re ; stb ..)$6,000 computer to run Deepseek R1 670B Q8 locally at 6-8 tokens/sec
DeepSeek R1 671B over 2 tok/sec *without* GPU on local gaming rig!
Epyc Turin (9355P) + 256 GB / 5600 mhz - Some CPU Inference Numbers
etc.
persze SSD-vel is kísérleteznek sokan
Running Deepseek R1 IQ2XXS (200GB) from SSD actually worksvagy hybrid megoldással is.
"My DeepSeek R1 671B @ Home plan: CPU+GPU hybrid, 4xGen5 NVMe offload"--------------
A legelterjedtebb megoldások:- több - 2-4 db : M2 Ultra 192GB -al
( de 128 GB M4 MAX .. ) és TB 4 / 5 -el összekapcsolva.- bármi amit az https://github.com/exo-explore/exo ; https://github.com/zml/zml
támogat - vagyis több szerver , gpu - összekapcsolása egy mesh hálózatba.Sok új hardver is várható,
- NVidia Digits : A GTC konf ( March 17–21, 2025. ) után több infó is
várható és valószínűleg a Deepseek 671B -vel is lesz demózva,
most még csak annyit tudunk - hogy májustól + $3000 USD -tól és össze is lehet kapcsolni.
"Each Project Digits system comes equipped with 128GB of unified, coherent memory — by comparison, a good laptop might have 16GB or 32GB of RAM — and up to 4TB of NVMe storage. For even more demanding applications, two Project Digits systems can be linked together to handle models with up to 405 billion parameters (Meta’s best model, Llama 3.1, has 405 billion parameters).- AMD Strix HaLO mini -pc -k ( 128GB 4 csatornás RAM ) - összekapcsolva.
HP Z2 Mini G1a is a workstation-class mini PC with AMD Strix Halo and up to 96GB graphics memory
Szerintem az nVidia Digits -nél olcsóbb lehet.- "Orange Pi AI Studio Pro mini PC with 408GB/s bandwidth"
https://www.androidpimp.com/embedded/orange-pi-ai-studio-pro/
( Ascend 310s ; 352 TOP ; 96GB/192GB LPDDR4X ) mivel kínai proci - olcsó lesz - de egy magyar cég nem biztos, hogy kínai SDK -ban ... megbízik. )----
Ha CPU -s szervert állítasz össze, akkor legyen jövőálló.
-és ki lehessen tömni olcsó 32GB -os Radeon RT -vel
ami hybrid megoldás esetén sokat tud gyorsítani.
Vagyis nem árt sok - PCIe Gen5 - sáv a GPU -CPU kommunikációhozés AVX-512 -is hasznos lehet:
"Ollama will now use AVX-512 instructions where available for additional CPU acceleration"Az Intel AMX ( CPU utasításkészlet ) sötét ló ,
ígéretes - de nem sok Open Source-os sw támogatja.
"Why NuPIC on Intel® Xeon® Processors Makes CPUs Ideal for AI Inference
Numenta and Intel are opening a new chapter in this narrative, making it possible to deploy LLMs at scale on CPUs in a cost-effective manner.
Here are a few reasons why.
Performance: 17x Faster Than NVIDIA* A100 Tensor Core GPUs"
https://www.intel.com/content/www/us/en/developer/articles/technical/usher-in-a-new-era-of-accelerated-ai-on-cpus.html-------------
[ Szerkesztve ]
Mottó: "A verseny jó!"
-
Zizi123
senior tag
Próbáltam utána nézni, de nem sokan vetemedtek ilyenre, hogy ekkora modell-t CPU-n futtasson.
Azért vicces volt, hogy a DeepSeek R1 Q4 azon a nagyon bonyolult kérdésen, hogy hány "r" betű van a "strawberry" szóban elgondolkodott vagy 1,5 percet.(5 tokenes sebességgel válaszolt)..Mindezt ha jól rémlik Dual Xeon + 768GB RAM mellett....
Volt olyan kérdés ugyanezen a gépen, ami 1 tokenes válasz alá esett.
Az egyik fórumozó azt írta, hogy ugyanez a feladat H100-as konfigon 4100+ tokenElég jelentős különbségnek mondható
De majd ha semmire nem lesz jó, akkor elmondhatom, hogy "Én megmondtam...."
-
5leteseN
senior tag
válasz
Zizi123 #1591 üzenetére
... és arról sem szabad elfeledkezned, hogy a két CPU dupla RAM-sebességet tesz lehetővé!
Ez pedig nagyon kell a CPU-knak AZ AI-MI-ben. Ezért tippeltem azt, hogy a két gyengébb CPU az összességében kb dupla memória teljesítménnyel (szerintem) jobb AI-MI teljesítményt hoz, mint az egy(de feleslegesen erősebb)CPU, mert a felezett adatmozgatások miatt nem tudja kihasználni az emiatt felesleges számítási kapacitását.
A RAM-sebesség többet számít, mint a CPU számítási teljesítmény!Nem pontosak az idézett számok, de íme egy VGA RAM(DDR5, DDR6. ...) sebesség és teljesítmény táblázat:
Én az E5-2680 V4-es XEON-ból 4-csatornásan, 2.400MHz-en, alig tudok kifacsarni egy kicsit 41.000 MBps RAM-teljesítmény, ami a fenti táblázathoz átváltva és felkerekítve is csak 42GBps!
Két csatornával a fele a memória teljesítmény és mint írtam, 30-50-??kal kevesebb volt a CPU-s AI-MI teljesítmény!A fenti XEON CPU-m az INTEL laborban tud max 77BGps-ot.
A már elég lepukkant, és MI-re csak belépő szinten alkalmaz RADEON VEGA 56(=>64) VGA-m(jobb alsó sarok:...tud kb 410GBps-ot! Opszi...
A RAM-Témában most írta az egyik tag, hogy a csúcs Ryen-je a csúcs DDR5 RAM-okkal tud 2-csatornásan 150GBps-ot."Jó" feladatot kaptál!
[ Szerkesztve ]
-
Zizi123
senior tag
válasz
5leteseN #1590 üzenetére
Hááát igen, ezek a nagy kérdések.
Én is azt tapasztaltam, és olvastam, hogy a dual CPU közel sem 2x sebesség, arról nem beszélve, hogy drágább is maga a rendszer. Már a CPU is, de utána az alaplap a ház, valószínűleg a táp is...
A kérdés, hogy nekem szükségem van-e rá.
Mert ha 1db 64 mag 128 szálas CPU kiszolgálja bőven, akkor nem szórakozok 2x32 maggal drágábban.[ Szerkesztve ]
-
5leteseN
senior tag
válasz
Zizi123 #1588 üzenetére
Pont az AI-MI-re nem tudom a választ az 1-CPU kontra 2-CPU kérdésben, de CAD-CAM feladatoknál 1-2 éve az E5-26xx-sorozatoknál tartósan, átlagban a duál processzoros munkaállomás csak 1,4-1,7-es teljesítményt tudott az azonos, de csak 1-CPU-s összeállításhoz képest.
Ez itt most más terület, mert az adatmozgatás is nagyon sokat számít, és dupla CPU dupla memória-sebességet jelent. Nem CPU-k számítása főleg a szűk keresztmetszet az AI-MI-ben(ha jól látom), hanem jóval ennek a számolási szűk keresztmetszetnek a belépése előtt már a RAM-ok miatt satu-fék van.Ezeket az infókat összeadva Én egy "nem-csúcs-processzoros, két-CPU-s" rendszert raknák össze, a lehetséges leggyorsabb RAM-okkal, lehetséges legtöbb memória-csatornás üzemmódot használva.
A neten nézelődve, és korábbi ismereteimet összerakva dobja ezt a "Gép"!Érdekelne majd egy teszt!
Jut eszembe a végére: E5-2680V4 XEON, 64GB DDR4 RAM/4-csatornás üzemmódban a Geekbench 6. az AI teszt alatt 5.200 körüli pontot hozott!
Ugyanez a gép, de csak 32GB RAM/2-csatornás üzemmódban alig több, mint 4000 pontot.
Ez saját mérés volt, nem egy "hallottam, vkitől, aki hallotta..." infó!Azt viszont nem tudom, (mert erre nem mértem akkor), hogy a különbséget befolyásolta-e, hogy az egyik esetben 64GB volt az azonos MHz-es RAM(de 4-csatornán), míg a másik esetben csak 32GB(két csatornán).
"Sorry!"
-
Zizi123
senior tag
válasz
S_x96x_S #1582 üzenetére
DeepSeek 761B Q8 (720GB) vagy Q4 (404GB) futtatása lenne a feladat.
12 csatornás EPYC-re gondoltam. Minden porcikám tiltakozik ellene, de ez a kiadott feladat.
Mivel pénz nem sok van (mert ha sok lenne, akkor volna GPU-ra is)
A kérdés pl arra irányult volna, hogy van-e tapasztalat, hogy a CPU-t mennyire kell kimaxolni.
Csak mert ha a memória sávszélesség lesz a szűk keresztmetszet, akkor teljesen mindegy, hogy 2x 64 magos EPYC van benne, vagy csak 2x 32 esetleg 2x 16.
Ahogy nézem a szóba jöhető CPU-k a AMD EPYC™ 9005 széria lehet a 6000Mhz-es RAM-ok miatt.
2x Epyc 9135
2x Epyc 9355
esetleg iszonyatosan indokolt esetben 2x Epyc 9555.De az is kérdés, hogy egyáltalán a dual CPU előny-e, mert tesztekben panaszkodtak, hogy az LLM modellel való dolgozáskor is meglévő jelenség, hogy a 2 CPU terheltsége nincs szinkronban.
Tehát lehet, hogy jobban járnék 1db 64GB core-os CPU-val, mint 2x32 Core-al?Esetleg erre tapasztalat?
-
Mp3Pintyo
aktív tag
válasz
Zizi123 #1581 üzenetére
Iszonyatosan lassú tud lenni egy rendes GPU-hoz képest.
Válaszd meg nagyon jól a modellt amit használni akarsz. Ahogy csökkented a paraméterszámot úgy növekszik a sebesség is általában.
Az egyes modellek között is vannak sebesség különbségek azonos paraméterszám esetén.
Próbáld ki az LM Studio-t. Ott nagyon jól tudod finomhangolni a hardveredre a modell működését.Amúgy egy méretesebb modell Nvidia 3090-es videókártya esetén 40token/sec.
[ Szerkesztve ]
https://www.youtube.com/mp3pintyo AI, Mesterséges Intelligencia, Képkészítés tutorialok, bemutatók
-
-
5leteseN
senior tag
válasz
S_x96x_S #1582 üzenetére
Nekem ey>
...a laposom(DELL Latitude 3500, DDR4/2400MHz, két-csatornás RAM) ennyit tud a "winsat mem" parancsra: 25.521MBps.
Nálad mennyi RAM, hány csatornán megy, hogy megvan a kb 4 token/s?Lehet, hogy lemérem én is W11-alatt(a tied Linux-os).
Milyen llama és melyik LLM?
...csak hogy ugyanazok legyenek, a jó összehasonlítás alapjaként!
Érdekel, hogy vajon mennyi lesz a különbség és kinek a javára:
L : W ?[ Szerkesztve ]
-
S_x96x_S
addikt
válasz
Zizi123 #1581 üzenetére
(LLM + CPU)
attól függ. Pl. egy extrém nagy modell ha nem fér bele a GPU - memóriájába
akkor lassabb lehet, mint egy 8 csatornás szerver 1 TB RAM -al.--------
1.) CPU -nál is a rendszermemória sávszélessége a döntő.
Vagyis egy 4, 8 netalán 12 mem csatornás szerveren sokkal gyorsabb.
valamint ha van avx2, avx512 - az is hasznos tud lenni. ( legalábbis majd az új ollama verzió hatékonyabban tud futni )2.) A Mixture of expert modelleknek kisebb a hw igénye.
3.) Simán el lehet kezdeni a próbálkozást bármilyen gépen.
csak az elején kis modellekkel kell kezdeni
és folyamatosan lehet növelni.én CPU-val az https://ollama.com/ -t használom ( linux )
de biztos van sok más alternativa.Például egy 4.7GB méretű - nem magyar nyelvre optimalizált modell
kb 4 token/s - on fut az egyik lassú 8250u procis laptopomon."""
$ ollama list qwen2.5:7b
NAME ID SIZE MODIFIED
qwen2.5:7b 845dbda0ea48 4.7 GB 3 weeks ago$ ollama run qwen2.5:7b --verbose
>>> kérek 3 magyar mesehős nevet ( és csak a nevet ) !
Kolos Kiss
Pihenő Pista
Balogh Béla
total duration: 11.26544795s
load duration: 46.268931ms
prompt eval count: 50 token(s)
prompt eval duration: 5.426s
prompt eval rate: 9.21 tokens/s
eval count: 19 token(s)
eval duration: 4.825s
eval rate: 3.94 tokens/s
"""[ Szerkesztve ]
Mottó: "A verseny jó!"
-
Zizi123
senior tag
Sziasztok, esetleg van valakinek tapasztalata LLM csak CPU-n való futtatásával?
Mennyivel lassabb, mint ha GPU-n futtatnám. Köszönöm. -
Feketelaszlo
senior tag
Ez mondjuk pont úgy hangzik, mint egy Solver mintafeladat. LLM chatprogramokra nem érdemes lineáris programozást bízni.
[ Szerkesztve ]
-
seredy
tag
Sziasztok, a munkahelyen a következő heti beosztást én szoktam elkészíteni, a csapattagokat különféle service-ekbe kell betennem (chatelés, telefon, bejövő ticketek routolása). Van erre egy Excel-táblázat, ahol a kollégák előzetesen megadják, ki milyen sávokban érhető el, meg ahol a szabizók is jelzik előre, hogy adott napon nem elérhetőek. A feltételek megadásával az Excel-template-et feltöltve melyik AI tudná generálni a beosztást? (Nyilván szenzitív adatokat eleve kiszedném, a lényeg, hogy gyártson le egy beosztást.) Simán ChatGPT vagy van valami hatékonyabb? Heti szinten 3 órám minimum elmegy azzal, hogy kisakkozzam, hogy kéne lefedni a service-eket.
[ Szerkesztve ]
-
freddirty
senior tag
válasz
aprokaroka87 #1576 üzenetére
Akkor az már eléggé pöpec AI. A legtöbb mindenféle hülyeséget hord össze a földbe döngölve így a megbízhatóságát. Nagyjából itt van ma a határa az AI-nak az alkalmazások nagy részénél. Ha kérdezek és a válasz nem 100%-osan jó akkor inkább nem is kérdezek. Mondjuk egy programrészletet a válaszban ki tudok javítani a használat során (mert időt spórol nekem az ai nem szakértelmet), de ha egzakt 100%os válaszokat akarok mert a tudásom nem elegendő akkor ma még nem megoldás az AI.
fred
-
attiati
veterán
válasz
aprokaroka87 #1576 üzenetére
még mindig jobb, mint amikor majd azt mondja, hogy az "adott feladat meghaladja a képességeidet"
-
aprokaroka87
nagyúr
Nincs is annál jobb érzés amikor az AI közli veled hogy az Adott feladat meghaladja a képességeit 😁
-
consono
nagyúr
válasz
Rodzser Mór #1571 üzenetére
Ha megvan a szabvány, akkor pl. a Google féle NotebookLM sokat tud segíteni, lehet kérdezni, állít össze kérdéssort, összefoglalót, stb.
Ellenben ha nincs meg a szabvány és te a vásárlás helyett az MI-ből akarod kiszedni, akkor sok sikert hozzá..."Mechazilla has caught the booster."
-
S_x96x_S
addikt
válasz
Rodzser Mór #1571 üzenetére
> Leírja nekem a MI a teljes szabványt? (pl angolul, az eredeti nyelven íródva)
> Melyik MI-t lehet / érdemes erről kérdezni?Az általános MI-nél - általában meg kell adni a PDF-t
( ami lehet egy tudományos kutatás vagy egy szabvány )
és akkor lehet kérdezni tőle,
vagy megkérni, hogy magyarázza el.
Minden más esetben hallucinál.Természetesen létezhetnek speciális szakmai standerdekkel foglalkozó adatbázisok, amelyektől MI-vel kérdezhetsz,
pl. ---> https://chatgpt.com/gpts keresés :
"iso standards" -ból van sok alternative de ezeknek utána kell nézni.Az első találat:
ISO Standards Regulatory Assistant
By Vitalijs Canajevs
Built with access to over 15'000 ISO regulatory documents
https://chatgpt.com/g/g-3mp5A9THt-iso-standards-regulatory-assistant----------
Amúgy léteznek kockázatok is.
"The Risks of Using AI Tools like ChatGPT in ISO 27001 Compliance: What To Look Out For" --> https://archive.md/P29Cg
[ Szerkesztve ]
Mottó: "A verseny jó!"
-
hiperFizikus
senior tag
válasz
Rodzser Mór #1571 üzenetére
"Melyik most a legfejlettebb MI?"
Amit én épen most programozok le !
De biztosan nem ugyanazt értjük az MI fogalom alatt ♥
Ti röviden mit értetek alatta !
A gázt is és a féket is egyszerre nyomni nem menő dolog !
-
Rodzser Mór
senior tag
Helló!
Melyik most a legfejlettebb MI?
Teljes szabványokat szeretnék (letölteni), amik egyébként fizetősek, elég komoly összegeket kérnek érte.
Leírja nekem a MI a teljes szabványt? (pl angolul, az eredeti nyelven íródva)
Melyik MI-t lehet / érdemes erről kérdezni? Kipróbálnám magam, csak nem ismerem ezeket a MI weboldalakat. A ChatGPT-ről hallottam már, de nem használtam, azt sem tudom, hol keressem
-
5leteseN
senior tag
Lehet, hogy gyorsan le kellene tölteni a Huginface-ről amíg-lehet/amíg-hagyják DeepSeek és a Qwen LLM-eket, "de-gyorsan"?
Óvatosan a mesterséges intelligenciával, új szabályozás érkezett, és nagy büntetések jönnek(Index)
Egy Tik Tok kizárására emlékeztető forgatókönyvet látok a háttérben, az üzlet-rontó "kici-kínai" megoldással szemben, ismét.
Elvégre: MekkelMenteniA Világot/-demokráciát/...
[ Szerkesztve ]
-
nincsnév007
őstag
válasz
hiperFizikus #1568 üzenetére
Viccen kívül, sokszor jól jönne mert akkor nem kell egyesével le fényképezni neki pl tanulássnál, meg az aktív képernyő megosztas is. De azt megtudtam hogy ezek a plusz elofizetéssben vannak, meg sajnos itthon még nem működik, de egyre több uniós országban igen.
-
hiperFizikus
senior tag
válasz
nincsnév007 #1565 üzenetére
És akkor tisztíthatom utánuk a ragacsos billentyűzetemet, mi ?
A gázt is és a féket is egyszerre nyomni nem menő dolog !
-
Mp3Pintyo
aktív tag
válasz
freddirty #1566 üzenetére
A videósorozat első részében láthatod, hogy egy ai starter kit kerül fel ami egy olyan dockeres telepítés ami több mindent tartalmaz. Többek között a postgrest is. Tehát nem kell vele külön foglalkoznod. De a qdrant is jó ha azt jobban szereted. Az is a része.
https://www.youtube.com/mp3pintyo AI, Mesterséges Intelligencia, Képkészítés tutorialok, bemutatók
-
freddirty
senior tag
@Mp3Pintyo: Láttam a videóidban hogy postgres vector adatbázist használsz RAG-hoz.
Idáig az anythingllm és webui RAG funkcióit próbálgattam és egyszerűbb inputokkal hasonlóan működnek mint mondjuk a Te Rejtős példád az n8n használatával.
De komolyabb doksiknál már megfekszik az AI, halucinál, kevés valóságtartalommal, hülye válaszokkal jön vissza. /több száz oldalas IT specifikációk/
Megpróbálnám az n8n-el is, hátha. Nálam picit más az IT környezet, homelab szerver amin a konténerek/szolgáltatások futnak, az egyetlen lokális a desktopomon az ollama mert ugye a videokártya a gaming gépben van
Na de a kérdés, hogy milyen postgres szerver kell a RAG-hoz n8n mögé? Van egy rakat konténer amit rá tudok tenni a szerverre, kböző verziók, official/non official image-ek.fred
-
nincsnév007
őstag
válasz
hiperFizikus #1563 üzenetére
aktív képernyőmegosztás
mondjuk az is nagyon jó.
-
hiperFizikus
senior tag
válasz
nincsnév007 #1562 üzenetére
mi jöhet még ezután ?
A gázt is és a féket is egyszerre nyomni nem menő dolog !
-
nincsnév007
őstag
Sziasztok. Akinek van chatgpt elofizetése az megnézné hogy megjelent e már hogy videóban is lehet vele beszélni?
-
consono
nagyúr
válasz
lockdown90 #1560 üzenetére
Nem, nyilván
De én segítségnek használom, Stackoverflow helyett, nem arra, hogy dolgozzon helyettem
"Mechazilla has caught the booster."
-
Azt értem hogy át tudjátok állítani, de az nem jelenti azt, hogy egy ChatGPT llm-et kaptok, annak a megszokott szolgáltatásaival, és műkődési jellegével. A modell válasza fel van dolgozva, egy kibővített keresőmotorként működik, példa linkekkel, képekkel, találatokkal, vagy akár a témához tartozó aktuális hírekkel. Ez ki van egészítve szöveges magyarázattal, továbbfinomítási lehetőséggel. Nem igazán beszélgetésre való, vagy problémák megoldására, kódolására, hiába ugyanaz a modell dolgozik mögötte. Ez egy llm alapú webes keresőmotor, mint a Bing, csak szteroidokon. A képgenerálás ugyanez: a találatra (az aktuális context window tartalmára) generál egy képet, ennyit lehet tőle kérni. Finomítani, paraméterezni nem lehet.
Nem bántani akarom, tényleg jó cucc, ingyen meg pláne, de nem egy frontier llm modell szolgáltatásait adja, hanem egy arra ráhúzott célfeladatot teljesít, és azt elég jól.
[ Szerkesztve ]
-
Mp3Pintyo
aktív tag
válasz
Pitti11 #1550 üzenetére
Az olyan oldalakon ahol sokféle modellt érsze el API-n keresztül használod ezeket a modelleket.
1. Nem feltétlenül fogod megkapni azonnal az új modelleket amik mondjuk a ChatGPT felületén megjelennek.
2. de a legfájóbb, hogy azokat a szolgáltatásokat amiket ezeken a felületeken elérhetsz nem tudod kihasználni.
ChatGPt esetén: task, canvas, custom gpt, projektek, stb...https://www.youtube.com/mp3pintyo AI, Mesterséges Intelligencia, Képkészítés tutorialok, bemutatók
-
-
Pitti11
tag
chatgpt.com-on sajnos elértem a free limitet most már csak a 4o minivel tudok diskurálni
Gondoltam előfizetek a plus csomagra ami $20/hó. Viszont chatbotapp.ai felületen $40/3hó vagy $60/év valamint több AI között választhatok gpt 4o, deepseek, stb...
Hol van a buktató? Mit javasoltok?
-
Mp3Pintyo
aktív tag
válasz
d.janos #1548 üzenetére
igen, van.
Jelenleg ez az egyik legjobb:
Automata feliratkészítés minden eddiginél gyorsabban a saját számítógépünkön teljesen ingyenesenhttps://www.youtube.com/mp3pintyo AI, Mesterséges Intelligencia, Képkészítés tutorialok, bemutatók
-
d.janos
csendes tag
Van olyan program, a legjobb ha offline, ami MP3 vagy wav fájlokat szöveggé alakít de mindezt korlátlanul, hosszban és mennyiségben? Vagy ezek csak fizetősek?
-
WiZARD
addikt
vicces gyerek ez a deepseek
Soha ne vitatkozz idiótákkal! Lesüllyedsz az ő szintjükre és legyőznek a rutinjukkal. * phenomestraps.com *
-
Dyingsoul
veterán
Sziasztok!
Tudnátok ajánlani valami olcsóbb alternatívát, mint a pika, runwayml, képből mozgókép készítésére? (Igen, konkrétan videó.
)
Kísérletezgettem még az immersity Ai-al, de az nem az igazi... Cliptalk egész jó, de az is drága. Én valahogy azt látom, hogy kb az összes AI azonos vagy nagyon hasonló árban van, gondolom amiatt, hogy kb ugyanazokat a fizetős API-kat kötik be maguk mögé...
Premiere Pro-val nem lehet valahogy animálni a képeket? Ezt is kutatom most...Egyébként Suno-val készítek számokat és azokhoz szeretnék visual-t készíteni, ezért kérdezem. Midjourney-vel meg képeket, de a kép uncsi a számhoz visual-nka.
[ Szerkesztve ]
- Szakmai kérdésekre privátban nem válaszolok, mivel másoknak is hasznos lehet. Erre való a szakmai fórum! -- YT: youtube.com/dyingsoulgaming -- FB: facebook.com/DyingsoulGaming/ Stream: http://twitch.tv/dyingsoul
-
Winner_hun
félisten
A geminit van aki magyar nyelvű androidos készüléken "Ok google" vagy "Hey google" paranccsal indítja el? Ha elindítom a geminit akkor lehet vele társalogni, de a parancsszavakra nem indul el, pontosabban nem nyílik meg és nem reagál, de valami történik, mert a fenti állapotsoron pár mp-re megjelenik egy mikrofon ikon. Android 15, OnePlus 11, nem rootolt. Droid 14-gyel se ment rendesen. Minden be van állítva és engedélyezve van elvileg.
► "Kicsit olyan webcaritas" ◄ ヅ
-
Zizi123
senior tag
Hamár ennyire belemerültetek a fordítás / beszéd felismerés témakörbe, akkor volna olyan kérdésem, hogy van-e már olyan szoftver amivel pl Discordon amikor játék közben random játékosokkal játszok, akkor tudjak velük "bármilyen" nyelven "beszélgetni".
Bármilyen nyelv: jellemzően angol, orosz, német
Beszélgetni: FPS játékok, tehát szerintem kb 20 szóban kimerül egyébként a beszélgetésTehát én magyarul mondom ők adott nyelven hallják kvázi tolmács progi.
[ Szerkesztve ]
-
válasz
Komplikato #1541 üzenetére
A Piper csak text2speech, igen. Ehhez kell egy speech2text komponens (ami valamelyik Whisper modellt futtatja), és valamilyen llm a kettő közé, így tudna felépülni egy localban futtatott hangasszisztens. Nagyon leegyszerűsítve: mikrofon -> whisper -> llm -> piper -> hangszóró.
Ezer+1 project épül a téma köré. Pl. nyilván érdemes valamilyen "wake wordot" használni, mert senki nem szeretné, hogy folyamatosan maxon pörögjenek a vasak + válaszolgasson a kimeneten a modell. Aztán az sem rossz, ha nem a man cave sarkában levő all-in-one teszt hw-be dugott mikrofon/hangfal az egyetlen input/output, hanem van valamiféle multiroom megoldás, "áramvonalas", de megfelelően erős hardverekkel. Ebben és egyéb másban is segít pl. a Wyoming Protocol. és az egyéb Wyoming toolok (ugyanaz a fejlesztője mint a Pipernek).
Én néhány éve összekalapáltam egy ilyet, de nagyon kezdetlegesnek, esetlegesnek éreztem, pláne magyar nyelven. Most egy kicsit jobban körbejárva, és a fent is említett újabb modelleket használva teszek vele egy újabb próbát.
Amúgy az ember azt gondolná, hogy néhány doksival és yt tutoriállal megtámogatva ez egy viszonylag egyszerű dolog, de marhára nem az. A hw nagyon fontos, legyen kicsi (sőt, kicsik, mert itt adott esetben több eszközről beszélünk), fogyasszon keveset, de közben azért fusson rajtuk egy jó minőségű modell mindegyik kategóriából (tts, stt, llm). Az se lenne baj, ha a wake wordot már eszköz szinten tudnák kezelni a satellite komponensek (pl. Respeaker, Atom Echo jó cuccok ebből a szempontból, az előbbiből rendelek majd be párat).
[ Szerkesztve ]
-
Komplikato
veterán
Van egy ilyen szoftver, hogy Piper. Majdnem egy éve töltöttem le, hogy kipróbáljam, csak hát nem jött még össze. Eredetileg ezt Raspberry Pi3-hoz fejlesztették anno, olyanoknak akik csinálni akartak olyan kütyüt amin megy az összes hang asszisztens program, amik akkoriban menőnek számítottak és/vagy olyan embereknek, akik sajátot szerettek volna készíteni. Tehát kicsi a CPU terhelése.
Na persze én valamilyen AI videókban láttam ezt már használni, de mai napig nem világos, hogy ez most rendesen kétirányú vagy csak text-to-speech? Van hozzá három magyar TTS is, Anna, Berta és Imre megnevezéssel, amit nyilván magyar jó munkás ember készített.
(Az mondjuk nekem nem tiszta, hogy ezekből van japán és angol képes verzió is, de azokhoz van high minőség, a magyarhoz meg csak Low és Mid.
Ezt, már ha megy Speech-to-Text módban is, próbálta valaki offline, azaz lokál AI-val? Gondolom csak magyarul tudó AI lenne jó hozzá, mint az a bizonyos buherált Lama 2.1-es?"Figyelj arra, aki keresi az igazságot és őrizkedj attól, aki hirdeti: megtalálta." - (André Gide)
-
Mp3Pintyo
aktív tag
válasz
consono #1536 üzenetére
Az F5-TTS-t próbáld ki.
Készítettem hozzá magyar modellt de Árpi szakavatottabb ismerője ezeknek és jóval nagyobb adathalmazon finomhangolt egy még sokkal jobb magyar modellt.
https://youtu.be/qzIJsh7hHOshttps://www.youtube.com/mp3pintyo AI, Mesterséges Intelligencia, Képkészítés tutorialok, bemutatók
-
Mp3Pintyo
aktív tag
Árpi munkásságát mindenféleképpen érdemes követni!
Az F5-TTS-hez is készített modellt.
Ha szeretnél vele beszélgetni ilyenekről akkor gyere fel az mp3pintyo Discord szerverre. Ott megtalálod a tts részbenhttps://www.youtube.com/mp3pintyo AI, Mesterséges Intelligencia, Képkészítés tutorialok, bemutatók
-
Tegnap még sokat keresgéltem, teszteltem. Ha valaki hasonlót keres (kisebb beágyazott rendszerekhez, hangutasításokhoz), akkor érdemes ránézni erre: https://huggingface.co/sarpba/whisper-hu-tiny-finetuned-V2
Hosszabb szöveggel sok hibát vét, arra egyáltalán nem tudom ajánlani, de fél, vagy egy mondatos rövid utasításokra nekem eddig semmi nem adott ilyen eredményt, pláne nem ebben a méretben (a kis python tesztkódommal 700Mbyte vmem-et használt kb.). Komolyabb benchmarknak nem vetettem alá, de az input beküldése után kb. 1-2 sec-es válaszidőket hozott az Orin Nanon (512 core, 16 tensor core, 20TOPS, 5-10W fogyasztás). Ha hibázik is, akkor azt úgy teszi, hogy az llm modell - amit majd etetni fogok ezzel az output-al - simán meg fog tudni érteni (hiányzik egy betű, szavak összecsúsznak, stb..).
Ha esetleg jelen van a készítő, innét is gratulálok neki, szép munka. Van egyébként több magyarra fine tune-olt whisper modellje is, nagyobbak is, de nekem a kívánt feladatra ezen a mini vason ez tűnik perpill a legjobbnak.
[ Szerkesztve ]
-
@Mp3Pintyo, 5letesen: köszönöm! Egy NV Jetson Orin Nano-n (4GB unified memory) szeretnék futtatni magyar->magyar speech2text-et. Sajnos már a Whisper medium modell sem fér el, a small meg elég sokat hibázik. Még próbálom optimalizálni a ram használatot, nem sok híja van, de szerintem nem fog elférni, kellene a 8GB-s Orin Nano. Home Assistant-hoz lenne stt service egyébként. Faster_whisper-re ránézek.
[ Szerkesztve ]
-
5leteseN
senior tag
A Megszólított által készített vió alapján telepítettem a Faster-Whisper-t, ami bő egy éve is egész jól végezte a dolgát angolról(szinte bármiről) magyarra. Azóta az újabb verzoókat is gyűrőm, mikor szükség van rá, jobbak lettek.
Saját tapasztalat alapján javaslom a Faster-Whisper-t
Gyorsan egyszerűen telepíthető(volt, amikor kb fél éve felraktam az aktuális verziót, nem hiszem, hogy rosszabb lenne, +remélem).
[ Szerkesztve ]
-
Mp3Pintyo
aktív tag
Automata feliratkészítés minden eddiginél gyorsabban a saját számítógépünkön teljesen ingyenesen
https://youtu.be/fG56FlIz85sV3 turbo nagyon gyors de 1-2% pluszban a rontások aránya a v2-höz képest
https://www.youtube.com/mp3pintyo AI, Mesterséges Intelligencia, Képkészítés tutorialok, bemutatók
-
hiperFizikus
senior tag
#14
Paradigma váltásom a mesterséges intelligenciában !
Ettől mindenki köhögni és prüszkölni fog egy ideig?
A gázt is és a féket is egyszerre nyomni nem menő dolog !
-
User_2
tag
válasz
Mp3Pintyo #1526 üzenetére
mert akkor ingyen átadnák a hang + szöveg adatbázisukat az AI versenytársaknak, mint egy rosetta követ.
ezért gagyi az automatikus feliratozás is, nyilván lehetne jobb is, de inkább valószínű, hogy szándékkal hagyják meg még humán szemlélő számára érthetőnek, de gépek számára már kihívást jelentőnek. -
Mp3Pintyo
aktív tag
Borzasztó a magyar hangsáv
Szeretem hallgatni a koreai nyelvet (sorozatok stb eredeti nyelven) úgyhogy biztosan nem fogom ezt átváltani még jó ideig.
A Google meg menjen a jó..... Mi a fenéért nem engedélyezi a saját hangsáv feltöltését? Mindenféle szart bejelent minden héten a csatornát üzemeltetőknek de a tényleg hasznos eszközök elmaradnak.
1. thumbnail adott nyelvekhez
2. saját hangsáv adott nyelvekhez (nem kell, hogy ők generálják. majd megcsinálom én és feltöltöm.) Most ami van az kizárólag a nagyoknak van és korlátozott nyelvekhez.[ Szerkesztve ]
https://www.youtube.com/mp3pintyo AI, Mesterséges Intelligencia, Képkészítés tutorialok, bemutatók
-
totron
addikt
[link] Saját hangból szintetizált AI-narrálás.
-
S_x96x_S
addikt
> egy témában kérdezek a ChatGPT-től,
Több különböző modell van - és a minőség nagyon eltérő.
Pontosan melyikkel próbálkoztál ?
[ "gpt-4o" , "o1" "o1-mini" , "GPT-4o mini", "GPT-4" ]
Az "o1 Pro"-talán csak a 200USD -s előfizetésben érhető el.> Szóval, nekem eddig a ChatGPT jött be leginkább, mint MI segítség.
Én az esetek
~60% -ban Claude Sonett 3.5 -at használok ;
a maradék ~ 40%-ban OpenAI-s "gpt-4o" , "o1" -t[ Szerkesztve ]
Mottó: "A verseny jó!"
-
5leteseN
senior tag
Nálam is a telefonon a ChatGPT a nyerő. A többi az elsö válasz után elveszi a kedvem a folytatástól. Már csak kéthetente nézek rájuk, hónapok óta sokkal bénábbak, mint a ChatGPT.
Nagyon spec témákat nem kérdezek, de általában jól nyomja. összefüggő szövegeket is jól fogalmaz, angolul is magyarul is. A fordításokban sokkal jobb mint a többi fordító program.
...nálam-nekem. -
niof
veterán
Sziasztok!
Én egyelőre csak 3 "beszélgetős" MI-t próbáltam, Copilot-ot böngészőben, Gemini-t és ChatGPT-t főleg telón, de utóbbit böngészőben is. A Gemini eddig óriási csalódás. Sokszor teljesen hibásan fogalmaz, idegen kifejezések maradnak a szövegben, rosszul ragoz, rosszul fordít. A ChatGPT bár néha nem érti, hogy pontosan mit szeretnék, de ha pontosítom a kérdést, tökéletes nyelvhelyességgel válaszol. A Copilot meg mintha a kettő keveréke lenne. Bár általában jól fogalmaz, azért néha be-becsúszik egy rosszul fordított kifejezés.
Azt vettem észre, ha egy témában kérdezek a ChatGPT-től, akkor a válaszoknak utánajárva, meglepően kevés a "hallucináció", vagy a nem pontos információ. Illetve felhívja a figyelmet, hogy bár nem pont az van a válaszban, amit konkrétan keresek, de nagyon hasonló, érdemes utánanézni.
Na ilyet a Copilot nem csinál. Simán azt mondja, hogy a Softube Tape az egy PWM kompresszor... Nem az, de még csak nem is helyezi kontextusba, hogy bár nem az, de a glueing hatás miatt szeretik használni.
Szóval, nekem eddig a ChatGPT jött be leginkább, mint MI segítség.
Ki mire esküszik?Egyelőre nem szelem fel az almát egyenlőre.
-
-
bb0t
senior tag
Sziasztok!
Megjelent chatgpt-ben a task funkció, ezt össze lehet kötni külső rendszerekkel? pl. Clickup, google naptarTalán azoknak való leginkább a hatalom, akik nem vágynak rá. Azoknak, akiket (...) a sors állít az élre, akik szükségből öltik fel a palástot, s aztán maguk is meglepődnek rajta, mennyire jól illik a vállukra.
-
S_x96x_S
addikt
Alex Cheema ( Exolabs ) elmélkedése
( Project Digits vs. M4 vs. RTX 5070 )
https://x.com/alexocheema/status/1876676954549620961""""
While Apple has been positioning M4 chips for local AI inference with their unified memory architecture, NVIDIA just undercut them massively.
Stacking Project Digits personal computers is now the most affordable way to run frontier LLMs locally.
The 1 petaflop headline feels like marketing hyperbole, but otherwise this is a huge deal:
Project Digits: 128GB @ 512GB/s, 250 TFLOPS (fp16), $3,000
M4 Pro Mac Mini: 64GB @ 273GB/s, 17 TFLOPS (fp16), $2,200
M4 Max MacBook Pro: 128GB @ 546GB/s, 34 TFLOPS (fp16), $4,700Project Digits has 2x the memory bandwidth of the M4 Pro with 14x the compute!
Project Digits can run Llama 3.3 70B (fp8) at 8 tok/sec (reading speed).Single request (batch_size=1) inference is bottlenecked by memory and memory bandwidth. This was always the constraint with the RTX 4090 and why a gaming PC can't compete on tokens per second at batch_size=1. The whole model can't fit into an RTX 4090 (24GB) so needs be loaded into the GPU from system RAM, bottlenecked by the GPU's PCIe 4.0 link of 64GB/s.
You will also start to see builds with multiple 5070 GPUs. The upgrade to PCIe 5.0 means a 2 x 5070 machine could support 256GB/s bandwidth from system RAM to GPU. I estimate this build to be ~$6,000 (supporting full x16/x16 PCIe 5.0 is expensive) in total, then cost of two Project Digits PC's.
Congrats NVIDIA, you just found yourself a new market.
""""Mottó: "A verseny jó!"
-
S_x96x_S
addikt
válasz
Komplikato #1511 üzenetére
> DIGITS ; hanem egy kis fogyasztású Petaflops teljesítményű AI szerver.
1.) Local - LLM -re a memória sebesség lesz döntő
és a DIGITS -re én 256 GB/s körüli mem sebességet feltételezek.
( Elméletileg a "The wide memory subsystem in Grace delivers up to 500GB/s of bandwidth" ) - persze ez a CPU -s rész.2.) A marketinges "Petaflops" -ot pedig vissza kell konvertálni
https://www.reddit.com/r/LocalLLaMA/comments/1hvjjri/comment/m5uuvdx/NVIDIA GB10 DIGITS : ~ 250 INT8 TOPS ÉS (?? 256GB/s or 512GB/s)
AMD AI Max Plus 395: ~ 60 INT8 TOPS(GPU) ÉS 256 GB/s
Apple M4 Max : ~ 34 INT8 TOPS(GPU) ÉS 546 GB/sAz új M4 Ultra ( Mac Studio?) is a DIGITS megjelenése körül jelenik meg;
és ott már 820 - 1092 GB/s várható.
https://github.com/ggerganov/llama.cpp/discussions/4167Lehet, hogy érdemes lesz megvárni a nyarat a beruházással - mert lesz pár alternativa.
Mottó: "A verseny jó!"
-
Komplikato
veterán
válasz
S_x96x_S #1510 üzenetére
És egymásra pakolva ezeket összeadódik a teljesítmény, így pl. 2db már elbír egy 405B LLM-el is. A bemutatóban nem igazán hangzott el, hogy hányat lehet így összekapcsolni. Mondjuk engem megleptek, hogy a Mediatek/NVidia kooperációs chip nem a lepkefing Snapdragon X konkurenciája lett, hanem egy kis fogyasztású Petaflops teljesítményű AI szerver.
[ Szerkesztve ]
"Figyelj arra, aki keresi az igazságot és őrizkedj attól, aki hirdeti: megtalálta." - (André Gide)
-
S_x96x_S
addikt
(friss CES infó)
Az nVidiának lesz 128GB VRAM -os ARM-es kütyüje
~ május körül
és az árak >$3000 -nél kezdődnek. ( ~1.5x az RTX 5090 ára )
komoly StrixHalo; M2/M4 Ultra ; ... - alternativa lehet.NVIDIA Puts Grace Blackwell on Every Desk and at Every AI Developer’s Fingertips
NVIDIA Project DIGITS With New GB10 Superchip Debuts as World’s Smallest AI Supercomputer Capable of Running 200B-Parameter Models
https://nvidianews.nvidia.com/news/nvidia-puts-grace-blackwell-on-every-desk-and-at-every-ai-developers-fingertips“AI will be mainstream in every application for every industry. With Project DIGITS, the Grace Blackwell Superchip comes to millions of developers,” said Jensen Huang, founder and CEO of NVIDIA. “Placing an AI supercomputer on the desks of every data scientist, AI researcher and student empowers them to engage and shape the age of AI.”
GB10 Superchip Provides a Petaflop of Power-Efficient AI Performance
The GB10 Superchip is a system-on-a-chip (SoC) based on the NVIDIA Grace Blackwell architecture and delivers up to 1 petaflop of AI performance at FP4 precision.
GB10 features an NVIDIA Blackwell GPU with latest-generation CUDA® cores and fifth-generation Tensor Cores, connected via NVLink®-C2C chip-to-chip interconnect to a high-performance NVIDIA Grace™ CPU, which includes 20 power-efficient cores built with the Arm architecture. MediaTek, a market leader in Arm-based SoC designs, collaborated on the design of GB10, contributing to its best-in-class power efficiency, performance and connectivity.
The GB10 Superchip enables Project DIGITS to deliver powerful performance using only a standard electrical outlet. Each Project DIGITS features 128GB of unified, coherent memory and up to 4TB of NVMe storage. With the supercomputer, developers can run up to 200-billion-parameter large language models to supercharge AI innovation. In addition, using NVIDIA ConnectX® networking, two Project DIGITS AI supercomputers can be linked to run up to 405-billion-parameter models.
"[ Szerkesztve ]
Mottó: "A verseny jó!"
-
S_x96x_S
addikt
válasz
moseras #1508 üzenetére
> Szerintetek ez jó lehetne Mac Mini helyett ?
Igen.
Az MLX kivétel ( ami Apple Silicon ) jó lehet;A Mac Mini M4 PRO - maximum 64 GB egyesített memória -t tud;
és e körül már egy sokkal gyorsabb Mac Studio ( M2 Max; 400Gb/s ) sokkal ideálisabb.Ha meg az új DeepSeekV3 -t akarod futtatni, akkor több M2 Ultra ( 192 GB ) kell. Minimum kettő .. de ha még több. az még jobb.
"DeepSeek v3 in 3-bit runs pretty fast (~17 toks/sec) on 2 M2 Ultras with mlx-lm and mlx.core.distributed. Model is 671B params (!) with 37B active:"
https://x.com/awnihannun/status/1875976286474289345Mottó: "A verseny jó!"
-
moseras
tag
-
ajaxon
csendes tag
válasz
phrenetiX #1505 üzenetére
A Fooocust egyszer próbáltam, de aztán offline képgeneráláshoz a Forge maradt.
Abban van lehetőség animációk készítésére, de a fentebb említett új modellekhez hasonlítani olyan mint az ökrös szekeret egy forma1-hez.
Szerintem ilyen minőségi videokat offline még egy darabig nem lehet csinálni.
Tévedés jogát fenttartom. -
válasz
Mp3Pintyo #1503 üzenetére
cursorban is szoktam ott is hasonlo a szituácio egy idő után .
ott kijelzi , hogy mi a változtatás és , hogy akarom e lecserélni .
DE néha van hogy az IDE miatt is bonyolodik a helyzet. Ezért szoktam a cGPT ben van egy phyton addon ami csak programozásra tanitottak és a sima pyton IDE-be bemásolni , eddig ez a kombo jobban bejött. Csak mig a cursorba korlátlan lenne a használat, addig a CGPT egy idő után nem enged irni.
DE lényegében mindegy is melyiket használom, mert a cursornál is egy idő után csak megy a mokuskerék a hiba kijavitására tett kisérletekkel amivel nem haladok elöre.
Pedig azt gondolná az ember, hogy ha elsore megir egy akár több 100 soros kodot ami le is fordul hiba nélkül és azt csinálja amit kérek ,akkro utána csak egy kis részére kéne koncentrálnia a többiet meg változatlanul hagyni ami mukodik.
Főleg mert megirom neki, hogy class-okban OOP alapn irja a kodot, igy valamenynire átláthatóbb és elkülönitett kodot kapok ahol csak egy egy funkciot egy classba kell csinálni , de még igy se jo. -
Mp3Pintyo
aktív tag
Ha programozáshoz akarod használni akkor mindenféleképpen használj hozzá egy fejlesztő környezetet amiben sokkal jobban dolgozik.
1.
A Visual Studio Code a legjobb erre.
Ehhez rengeteg plugint találsz ami segíti a kódolást a nyelvi modellek segítségével.
2.
De akár kipróbálhatod a Windsurf, Cursor IDE-k bármelyikét is.
3.
A másik lehetőség, hogy készíts egy chatgpt projektet Ezen belül pedig kérd meg hogy canvasban dolgozzon. Sokkal jobban átlátható lesz neked és az AI-nak is. Itt pl könnyedén vissza tudsz lépkedni az előző verziókhoz ha valami rosszul sikerült és folytathatod onnan a munkát.https://www.youtube.com/mp3pintyo AI, Mesterséges Intelligencia, Képkészítés tutorialok, bemutatók
-
válasz
Mp3Pintyo #1500 üzenetére
Még mindig programozás phyton,
Amugy köszi a weblapos leirást igen pont ilyesmi a helyzet mint ez a hálál völgy. Csak ugye aki ért a dolgokhoz annak könynebb mert kijavitja a hibát és továblép az AI val egy másik szintre és amig nem jön egy másik megoldhato feladat.
DE nekem aki nem ért a programozhoz, olykor azt is nehéz kitalálnom, hogy amikor csak egy részkodot ir az AI akkor azt hova is kéne másolnom, vagy felul kell e iratni a régit vagy csak mellé tenni.
Van, hogy csak az nem tetszik neki, hogy nem jo helyen van a bekezdés.DE ahért lassacskán haladok, már egy programot nagy nehezen megcsináltattam vele, még mindig vannak amiket finomitanék rajta meg böviteném, de legalább hiba nélkül megy és müködik minden ahogy kell.
DE még van pár amivel szenvedek.
DE legalább már arra rájöttem, hogy oda irom , hogy ne változtasson a meglévő kodon , hogy minden funkcio maradjon meg csak a hibát javitsa ki, igy egy kicsit jobban mukodik. -
ajaxon
csendes tag
válasz
phrenetiX #1495 üzenetére
Szia!
Van több oldal is, de én ezt próbáltam:
[link]
Sima regisztráció kell, amiért kapsz 380 tokent (vagy valamannyit, nem emléxem),
kép generálás 1-5 token, 5mp video 20token.
Azt azért tudni kell hogy free módban kb. 3 óra egy 5mp video legenerálása, valamint pár funkció nem elérhetó.
Nyilván mivel online számol, nem kell az oldalon maradni amig végez.
Van txt-video és img-video lehetőség is.[ Szerkesztve ]