Performance engineer voor AI- en backendsystemen

Ik zoek uit waarom software traag is,
en maak het snel.

Snellere responstijden, minder GPU's, een lagere cloudrekening. Ik vind wat traag is, bewijs het en los het op.

ContactWerkwijzeBeschikbaar voor opdrachten.

Gemeten op een RTX 5090-GPUllama.cpp PR #30077 (opent in een nieuw tabblad)

vóór

Vat de grootste risico's in dit contract van 40 pagina's samen.

na

Vat de grootste risico's in dit contract van 40 pagina's samen.

Tot 2,1x snellere AI-antwoorden

Lange chats antwoorden ongeveer twee keer zo snel, zonder nieuwe hardware.

De winst in llama.cpp en vLLM komt uit fixes in de engines zelf, dus iedereen die ze gebruikt wordt er sneller van. Jouw eigen stack heeft daarbovenop zijn eigen inefficiënties, en daar begin ik.

Ik werk ook in compilers en runtimes van programmeertalen. Het Luau-team van Roblox heeft 7 fixes van mij overgenomen, in de native codegenerator, de registerallocator en de typechecker. De maintainers van Wasmtime namen er nog een (opent in een nieuw tabblad) over, in hun x64-codegenerator, en vermeldden mij als melder van een security advisory (opent in een nieuw tabblad). Bekijk de Luau-fixes (opent in een nieuw tabblad)

Bijgedragen aan
  • LLVM
  • vLLM
  • llama.cpp
  • LuauRoblox
  • WasmtimeBytecode Alliance
  • wabtWebAssembly
  • zstdMeta
  • mruby
  • wgpu
  • tt-metalTenstorrent

Problemen die ik oplos

AI-modellen die trager draaien dan de hardware toelaat

Ik profileer inference-engines zoals llama.cpp en vLLM tot op de GPU-kernels, en los het knelpunt op.

Tot 2,1x sneller decoderen bij 32k context in llama.cpp op een RTX 5090, met een q4_0-cache en CUDA 12.8 (fix in review).

Backends en databases die het niet bijbenen

Trage queries, data die blijft groeien en migraties waarbij onderweg niets verloren mag gaan.

Na mijn herschrijving duurden de queries achter de uurgrafieken van Rolantir 3 tot 8 ms in plaats van 400 tot 900 ms, gemeten in productie. Bij de verhuizing van de database bleef de volledige historie bewaard.

Een cloud- of GPU-rekening die harder groeit dan je aantal gebruikers

Ik meet waar de rekenkracht naartoe gaat, spoor het werk op dat er niet hoort en los het op. Zo heeft hetzelfde verkeer minder hardware nodig.

In mijn voorbeeldaudit paste hetzelfde documentverkeer na één aangepaste instelling op 3 GPU's in plaats van 5.

Code in C, C++ of Rust die onbetrouwbare invoer verwerkt

Ik doorzoek één parser, codec, runtime of VM op de fouten die gemanipuleerde invoer kan uitlokken, en lever elke fout met een reproductie en een fix.

Wasmtime vermeldde mij als melder van een security advisory, en wabt en mruby namen mijn fixes over voor geheugengroottes en stringlengtes die overliepen.

Uitgelichte projecten

Rolantir

medeoprichter

Analytics voor het Roblox-platform. Het volgt meer dan 1 miljoen games in een live database van 24,5 GB. Ik begon het met de backend, de crawler en de gametracker, en verhuisde het live van SQLite naar PostgreSQL met TimescaleDB zonder historie te verliezen.

50x snellere grafiekqueriesgemeten in productie
9,5x kleinere historie35 GB opgeslagen in 3,7 GB
vóór
400 tot 900 ms
na
3 tot 8 ms
Querytijd van de uurgrafieken, gemeten in productie, juni 2026

Lees de case (Engels)rolantir.dev (beta) (opent in een nieuw tabblad)

llama.cpp

upstream fix

Een fix in llama.cpp zelf, voor lange AI-gesprekken op een RTX 5090. De compiler hield een kleine waarde in traag geheugen, en ik heb aangepast hoe de kernel die waarde leest.

2,1x sneller decoderenbij 32k context
Ongeveer 10 regels gewijzigdin twee functies
vóór
65,1 tok/s
na
134,4 tok/s
Decodeersnelheid bij 32k tokens context, RTX 5090, CUDA 12.8.1

Lees de case (Engels)PR #30077 (open) (opent in een nieuw tabblad)

Luau-compiler en -runtime

7 gemerged

Luau is de programmeertaal achter Roblox. De maintainers namen in 2026 7 fixes van mij over, in de native codegenerator, de registerallocator en de typechecker.

Alle gemergede pull requests (opent in een nieuw tabblad)

Artikelen

Hoe ik twee van deze vertragingen vond, stap voor stap, met de cijfers en de doodlopende sporen. De artikelen zijn in het Engels.

Alle artikelen (Engels)

Begin met een onderzoek van twee weken

Eén vaste prijs om te weten wat traag is, waarom, en wat een oplossing waard is. Daarna los ik het op.

1 Onderzoek

2 weken
Introductie, eerste paar klanten

€3.000/ $3.500

Lijstprijs €5.000 / $6.000

Eén workload in één omgeving

  1. Je stuurt wat traag isVertel me wat traag is en waar het draait. Daarna bespreken we het in een kort gesprek.
  2. Ik vind de oorzaakIk doe een nulmeting en herleid de vertraging tot de oorzaak, in welke laag die ook zit.
  3. Je krijgt het rapportOplossingen op volgorde, elk met de verwachte winst, de kosten en hoe zeker ik ben.
  • Een nulmeting
  • Oorzaken met bewijs
  • Oplossingen op volgorde
  • Een vaste prijs voor de oplossing
  • Tot 2 uur overleg

2 De oplossing

Apart geprijsd

Vaste prijsuit het rapport

Je ziet de prijs voordat je beslist.

  1. Ik los het opVoor de vaste prijs uit het rapport, schriftelijk afgesproken voordat ik begin.
  2. Jij beoordeelt de pull requestsElke wijziging gaat door jouw CI, en niets gaat live zonder jouw akkoord.
  3. Ik meet het resultaatTegen dezelfde nulmeting als in het rapport, zodat je ziet wat er veranderd is.

Of je team lost het zelf op met het rapport. Het is zo geschreven dat je engineers ermee aan de slag kunnen.

Gehuurde GPU-tijd reken ik door tegen kostprijs, pas na jouw akkoord. Prijzen zijn exclusief btw.

Of een hardening-sweep van twee weken

Eén onderdeel in C, C++ of Rust dat onbetrouwbare invoer verwerkt, zoals een parser, codec, runtime of VM. Je krijgt de fouten die gemanipuleerde invoer kan uitlokken, elk bevestigd voordat hij in het rapport komt.

  • Alleen bevestigde fouten
  • Een reproductie per fout
  • Een fix per fout

Twee weken. Lijstprijs €6.000 / $7.000, introductieprijs €3.000 / $3.500 voor de eerste paar klanten.

Werken in jouw systemen

  • Ik teken je geheimhoudingsverklaring (NDA).
  • Ik werk op een stagingkopie of met alleen leestoegang tot de metrics van productie.
  • Niets raakt productie zonder jouw akkoord.
  • Wijzigingen komen als gewone pull requests via jouw CI.
  • Wat ik voor je bouw, is van jou zodra het betaald is.

Recente bijdragen aan open source

Ik maak ook code robuuster die onbetrouwbare invoer verwerkt. Voorbeelden zijn bounds checks in de C++-bibliotheek van LLVM, een fix voor een vastloper in zstd bij een gemanipuleerd bestand, en een gemergede fix in mruby voor stringlengtes die bij 2 GiB overliepen.

Pull requests aan andere projecten (71)38 gemerged, 33 open, 21 projecten

Waar ik verder aan bouw

Ulanain ontwikkeling

Compileert WebAssembly naar Luau. Tien echte programma's, waaronder SQLite en QuickJS, geven dezelfde uitvoer als de referentie in wasmtime.

Ganglionin ontwikkeling

Een simulator in Rust en CUDA voor een volledig vliegenbrein, alle 165.122 neuronen, met zelfgeschreven en geoptimaliseerde CPU- en GPU-kernels. Eén gesimuleerde seconde draait in 0,37 s op een videokaart voor consumenten (RTX 3070 Ti).

infdocin ontwikkeling

Een commandlinetool die stille vertragingen opspoort in zelf gehoste LLM-serving. Elke regel komt uit een gemeten praktijkgeval.

Met wie je samenwerkt

Ilyas Mallah

Performance engineer voor AI- en backendsystemen

Ik ben software engineer in Nederland, en ik ben gespecialiseerd in performance. Performanceproblemen vallen vaak tussen wal en schip. Het symptoom is een trage API of een duur AI-model, en de oorzaak zit in een queryplan, een runtime of een GPU-kernel. Ik werk op al die lagen, dus één persoon volgt het probleem van het symptoom tot de oplossing. Dat doe ik in jouw codebase, met jouw tools. vLLM en llama.cpp waren ooit codebases die ik nog nooit had gezien, en duizenden andere specialisten hadden ze al geoptimaliseerd. Toch vond ik in allebei flinke snelheidswinst.

Draait er iets trager dan het zou moeten?

Mail me wat traag is, waar het draait en welk resultaat je wilt, zoals een doel voor latency of kosten. Ken je de technische details niet? Beschrijf dan wat traag is of wat het kost, dan vraag ik de rest.

Ik reageer binnen een paar uur, tussen 9.00 en 21.00 uur Nederlandse tijd.