Praten met je eigen AI in de auto — wat kan, en wat is de beste weg?

Onderzoek door 3 agents parallel: (1) officiële Gemini Live docs, (2) hoe developers het oplossen, (3) in de auto zónder bellen. Hieronder de kern + een advies. Links zijn geverifieerd (echt bekeken).

Kort antwoord op jouw vraag

Ja, er is een manier zónder een nummer te bellen — maar elke route heeft een prijs:

Geen bellen, werkt vandaag, jouw eigen AI: een Siri-Shortcut → je eigen AI. Handsfree via de stuurknop of "Hey Siri". Nadeel: het gaat stap-voor-stap (opnemen → wachten → voorlezen), dus niet vloeiend/realtime zoals ChatGPT-voice.
Geen bellen, vloeiend, maar NIET je eigen AI: sinds iOS 26.4 (maart 2026) kun je de Gemini-, Claude- of ChatGPT-app handsfree in CarPlay als spraak-app gebruiken. Werkt direct, maar het is dan niet jóuw AI/prompt/data.
Bellen (wat jij irritant vindt), maar wél vloeiend + jouw eigen AI: het Gemini Live belnummer-plan. Echt realtime, werkt overal, geen Apple-goedkeuring nodig.
Het mooiste (geen bellen + vloeiend + eigen AI) = een eigen CarPlay-spraakapp. Technisch kan het, maar Apple geeft daar een speciale toestemming (entitlement) voor die tot nu toe alleen de grote partijen (OpenAI, Google) krijgen — voor een eigen app vrijwel dicht.

1. Gemini Live — wat kan het (officiële docs)

Realtime, tweerichtings-spraak via een WebSocket. Je kunt het model onderbreken (barge-in) terwijl het praat.
Nederlands? JA. nl staat in de officiële talen-tabel — spraak in én uit. Het kan zelfs midden in een gesprek van taal wisselen.
Stemmen: o.a. Charon, Puck, Kore, Aoede, Leda, Zephyr (8 in de snelle modus) tot 30 stemmen in de native-audio-modus. (Charon = de stem die jij mooi vond.)
Modellen (nu): gemini-live-2.5-flash-native-audio (stabielst) of gemini-3.1-flash-live-preview (nieuwste). De oude gemini-2.0-flash-live is dood — niet gebruiken.
Snelheid: na de eerste beurt ~300–500 ms (snel). Let op: de eerste beurt heeft ~3 sec opstart (op te lossen met een truc).
Limiet: een spraaksessie is max 15 minuten (langer = automatisch verlengen via een techniek).
Kosten: audio-uit ~$12 per miljoen tokens, ofwel ~$1 per uur bellen — 7 tot 12× goedkoper dan OpenAI of ElevenLabs.

Bron: Live API overview · Capabilities · Modellen · Prijzen

2. Hoe lossen developers het bellen op (de bridge)

Voor het belnummer-plan (Rinkel → Twilio → AI) bouw je een audio-bridge: Twilio stuurt je stem live (μ-law 8kHz) → server zet om naar PCM 16kHz → Gemini Live → antwoord (PCM 24kHz) → terug naar Twilio.

Kant-en-klare voorbeelden (geverifieerd):
- ZackAkil/gemini-live-api-twilio-phone — meest geciteerde startpunt (FastAPI + Twilio + Gemini, op Cloud Run).
- google-gemini/gemini-live-api-examples — officiële Google-voorbeelden.
- Google AI tutorial: telephony + Twilio — meest complete recept.
- Sneller pad zonder zelf alles te bouwen: Pipecat + Twilio (framework dat het bridgen + onderbreken voor je regelt).

Eerlijke valkuilen die developers melden (uit echte GitHub-issues):
- ~3 sec stilte bij de eerste beurt (oplosbaar met een "filler").
- Onderbreken stopt niet altijd netjes — staart van het vorige antwoord lekt 2–3 sec door.
- Soms ongewenste taalswitch (bv. naar Spaans bij een Spaanse naam).
- Audio-omzetting (8kHz ↔ 16/24kHz) moet kloppen, anders geen geluid.

Kortom: de techniek bestaat en is goedkoop, maar de audio-finesse kost echt bouwwerk — daarom stelde ik een focus-sessie voor.

Bron: cookbook issue #1197 (productie-ervaringen) · vergelijking Gemini/OpenAI/ElevenLabs

3. In de auto zónder bellen — de opties op een rij

Optie	Handsfree in CarPlay?	Echt realtime?	Moet je bellen?	Bouw-moeite	Belangrijkste haakje
Siri-Shortcut → eigen AI	Ja (stuurknop/Hey Siri)	Nee (stap-voor-stap)	Nee	Laag	Hokkerig, niet vloeiend
Eigen CarPlay-spraakapp	Ja	Ja	Nee	Zeer hoog	Apple-entitlement (vrijwel dicht voor eigen app)
Bellen (Gemini Live)	Ja (native)	Ja	Ja	Midden	Je belt een nummer
Gemini/Claude-app in CarPlay	Ja (eerst aantikken)	Ja	Nee	Geen	Niet je eigen AI

Belangrijk nieuw feit: sinds iOS 26.4 bestaat er een CarPlay-categorie voor "spraak-gesprek-apps". Daardoor draaien ChatGPT/Gemini/Claude er nu handsfree. Maar een eigen app daarin krijgen vereist Apple's goedkeuring die ze (nog) niet aan kleine partijen geven.

Bron: MacRumors — ChatGPT in CarPlay · AppleInsider — AI-agents in CarPlay (entitlement-gated) · ChatGPT-Siri Shortcut (eigen API)

Advies (3 routes, jij kiest)

Route 1 — Snel + geen bellen (vandaag te doen): een Siri-Shortcut die naar je eigen AI wijst. Handsfree via de stuurknop. Accepteer dat het niet zo vloeiend is. Goedkoopste/snelste manier om te starten en te voelen of het bevalt.

Route 2 — Vloeiend + jouw eigen AI, maar bellen: de Gemini Live bridge (Rinkel → Twilio → Gemini Live). Echt realtime, jouw assistent, goedkoop. Nadeel: je belt een nummer + het is een echte bouw (focus-sessie).

Route 3 — Het mooist, maar onzeker: eigen CarPlay-spraakapp. Alleen zinvol als je bereid bent Apple-goedkeuring aan te vragen (onzeker voor een eigen app).

Mijn voorstel: begin met Route 1 (Siri-Shortcut, gratis test deze week). Bevalt het concept maar wil je vloeiender? Dan bouwen we Route 2 (Gemini Live bel-bridge) als focus-project. Zo verspillen we geen bouwtijd voordat je weet of "praten met je AI onderweg" je echt bevalt.

Onzekerheden: exacte latency-cijfers staan niet hard in de officiële docs; de Apple-entitlement-naam en of een eigen app 'm ooit krijgt is niet 100% bevestigd (alle signalen: alleen grote partijen). Reddit gaf weinig; de beste praktijkervaringen zaten in GitHub-issues + dev-blogs.

🎙️ Bespreek met Jarvis