
Lenny's Podcast
Why PMs are suddenly valuable again | Tulsee Doshi (Head of Product, Gemini)
Egy mondatban
A Gemini termékvezetője elmondja, miért maradnak kiszámíthatatlanok a modellek, hogyan ítéld meg őket kis evalokkal és ráérzéssel, és miért kellenek újra az ízléses PM-ek.
Lenny Rachitsky Tulsee Doshival, a Google csúcsmodelljeinek termékvezetőjével beszélget. Szó esik arról, hogyan formálják a modelleket anélkül, hogy pontosan előre látnák az eredményt, a Google teljes stackes stratégiájáról, a monitorozásra épülő biztonságról, a modell személyiségéről mint UX-ről, arról, milyen PM-eket keres, hogyan kezdj evalt írni, a 60/20/20 szabályról, és arról, hogyan tanul a csapata kiégés nélkül.
Kik beszélnek
- Lenny RachitskyMűsorvezető · A Lenny's Podcast házigazdája
- Tulsee DoshiVendég · A Google csúcsmodelljeinek (Gemini) termékvezetője
A beszélőket a beszélgetésből következtettük ki.
A lényeg
- A modellfejlesztésnek vannak céljai és evaljai, de az eredmény mindig tartogat meglepetést; a modell-PM azt vizsgálja, mi jön ki, és arra épít, amiben a modell kiemelkedik.
- A Google stratégiája teljes stack, a hardvertől a milliárdnál több felhasználós termékekig, modellekkel az ár-minőség görbe teljes hosszán.
- A modellnek saját UX-e van: mennyire átlátható, hogyan kommunikál, mit kérdez vissza; a viselkedési specifikációból rubrikák, adat és jutalommodellek lesznek.
- Ha az építés olcsó, az ízlés és a káoszból rendet teremtés teszi értékessé a PM-et.
- A jó eval kicsiben kezdődik, öt-húsz prompttal és veled mint értékelővel, és az eredményre a bíró modell, a kiszolgálás és a szűrők is hatnak.
- A modellek elé építs: a termék nagy része ma működjön, egy része majdnem, egy része pedig a következő modellre várjon.
Fő állítások
A Google-nek 14 terméke van egymilliárdnál több felhasználóval (ő maga mondta, hogy ellenőrizné a számot).
A hatfokú Fitzpatrick-skála egészségügyi célra készült és a világos bőr felé torzít, így nem írja le a világ népességét.
Tech-dolgozók között végzett felmérése szerint a több munkaóra nem jelent több kiégést.
A félresiklást jelző gondolatmenet-monitorok több bizalmat adnak neki a modellek kiadásához.
Idézetek
The model isn't predictable.
— Tulsee Doshi Taste is now really important.
— Tulsee Doshi Start with even just five prompts.
— Tulsee Doshi What you should be providing is the insight. What the model should be providing is the data.
— Tulsee Doshi
Tanulságok
- Írj a héten egy mini evalt: öt prompt, ami érdekel, te értékeled, két modellen futtatod.
- Mielőtt valamit másodszor is megcsinálsz, kérdezd meg, meg tudja-e csinálni egy modell, és ami bevált, oszd meg újrahasználható skillként.
- Minden új modellnél teszteld újra a harnesst; a régi kerülőutak visszafoghatják a jobb modellt.
- AI-jal írt dokumentumokban az adat jöjjön a modelltől, a meglátás tőled.
- Gemini
- Termékmenedzsment
- Evals
- AI-biztonság
- AI-ágensek
- Kiégés