Hirdetés

  2. Fórumok
  3. Infotech
  4. Mesterséges intelligencia topik
Keresés

Új hozzászólás Aktív témák

  • #1587 Mp3Pintyo aktív tag Zizi123 #1581
    Új Válasz #1587
    Új hozzászólás
    Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra
    Privát üzenet küldése

    Mp3Pintyo

    aktív tag

    válasz Zizi123 #1581 üzenetére

    Iszonyatosan lassú tud lenni egy rendes GPU-hoz képest.
    Válaszd meg nagyon jól a modellt amit használni akarsz. Ahogy csökkented a paraméterszámot úgy növekszik a sebesség is általában.
    Az egyes modellek között is vannak sebesség különbségek azonos paraméterszám esetén.
    Próbáld ki az LM Studio-t. Ott nagyon jól tudod finomhangolni a hardveredre a modell működését.

    Amúgy egy méretesebb modell Nvidia 3090-es videókártya esetén 40token/sec.

    [ Szerkesztve ]

  • #1582 S_x96x_S addikt Zizi123 #1581
    Új Válasz #1582
    Új hozzászólás
    Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra
    Privát üzenet küldése

    S_x96x_S

    addikt

    válasz Zizi123 #1581 üzenetére

    (LLM + CPU)

    attól függ. Pl. egy extrém nagy modell ha nem fér bele a GPU - memóriájába
    akkor lassabb lehet, mint egy 8 csatornás szerver 1 TB RAM -al.

    --------

    1.) CPU -nál is a rendszermemória sávszélessége a döntő.
    Vagyis egy 4, 8 netalán 12 mem csatornás szerveren sokkal gyorsabb.
    valamint ha van avx2, avx512 - az is hasznos tud lenni. ( legalábbis majd az új ollama verzió hatékonyabban tud futni )

    2.) A Mixture of expert modelleknek kisebb a hw igénye.

    3.) Simán el lehet kezdeni a próbálkozást bármilyen gépen.
    csak az elején kis modellekkel kell kezdeni
    és folyamatosan lehet növelni.

    én CPU-val az https://ollama.com/ -t használom ( linux )
    de biztos van sok más alternativa.

    Például egy 4.7GB méretű - nem magyar nyelvre optimalizált modell
    kb 4 token/s - on fut az egyik lassú 8250u procis laptopomon.

    """
    $ ollama list qwen2.5:7b
    NAME ID SIZE MODIFIED
    qwen2.5:7b 845dbda0ea48 4.7 GB 3 weeks ago

    $ ollama run qwen2.5:7b --verbose
    >>> kérek 3 magyar mesehős nevet ( és csak a nevet ) !
    Kolos Kiss
    Pihenő Pista
    Balogh Béla
    total duration: 11.26544795s
    load duration: 46.268931ms
    prompt eval count: 50 token(s)
    prompt eval duration: 5.426s
    prompt eval rate: 9.21 tokens/s
    eval count: 19 token(s)
    eval duration: 4.825s
    eval rate: 3.94 tokens/s
    """

    [ Szerkesztve ]

Új hozzászólás Aktív témák