These dedicated neural accelerators in each core lead to that 4x speedup of compute! In compute heavy parts of LLMs, like the pre-fill stage (the processing that happens during the time to first token) this should lead to massive speed-ups in performance! The decode, generating each token, should be accelerated by the memory bandwidth improvementsweiterlesen

ElevenLabs baut spannende KI-Modelle für Sprachsynthese. 11ai verknüpft Stimmen mit Actions. Damit lässt sich etwa eine Perplexity-Websuche in eine Notion-Datenbank schreiben und anschließend ein Kalendereintrag anlegen. Und das alles wohlgemerkt über eine Webseite, keine App. (Vimeo / YouTube) Im Gegensatz dazu hat der ElevenReader die öffentliche Beta-Phase verlassen; die Vorlese-App kann man nun bezahlen (Referral-Linkweiterlesen

Ergänzend zu „lokale LLM-Sprachmodelle auch unterwegs“: On-Device AI beinhaltet direkt einen Server Mode, der eure (An-)Fragen vom iPhone auf dem eigenen Mac rechnet – gleichermaßen ein privates „Private Cloud Compute“. Dort laufen leistungsfähigere Modelle, die auf mehr Arbeitsspeicher zugreifen und die den Stromverbrauch nicht interessieren. Mit Tailscale (+ Exit Node) klappt das von überall aus, solangeweiterlesen

Quelle: Augustinas Malinauskas Ollama installiert auf eurem Mac ein lokales (Offline-/Open-Source-)LLM – von Mistral, über Llama bis DeepSeek. Über ngrok wird die lokale Adresse („localhost:11434“) außerhalb des eigenen Netzwerks erreichbar. Hinterlegt ihr die euch temporär zugeteilte „Forwarding URL“ in der App-Store-App Enchanted (GitHub), benutzt ihr das iPhone um eure Fragen an die lokalen Sprachmodelle auszuführen undweiterlesen