IT Adviseur – LLM expert

IT Adviseur - LLM expert

Voor onze directe eindklant SURF in Utrecht, waar wij middels een gewonnen aanbesteding preferred supplier zijn, zoeken wij een IT Adviseur - LLM Expert.

• Start: 2 februari 2026
• Eind: 30 september 2026
• Inzet: 8 uur per week
• Tarief: marktconform
• Locatie: hybride

De kandidaat dient rekening te houden met een eventueel gesprek met de opdrachtgever tussen maandag 12 en maandag 26 januari.

Opdrachtomschrijving

Binnen SURF wordt gewerkt aan zowel pretraining als evaluatie van Large Language Models (LLMs). Een bekend probleem met LLMs tegenwoordig is benchmaxxing: het meenemen van benchmarks (of benchmark-achtige data) tijdens pre-training of fine-tuning, wat kan leiden tot vertekende evaluaties.

In deze opdracht wordt onderzocht wat de invloed is van benchmaxxing op LLM-evaluaties, met specifieke aandacht voor onderwijsrelevante benchmarks (bijv. een Nederlandse variant van GSM8K).

Het doel is om inzicht te krijgen in:

• De mate waarin benchmaxxing de gemeten performance van LLMs beïnvloedt.
• Welke benchmarkkenmerken daarbij het meest van invloed zijn (taal, domein, type vraag).

De opdracht resulteert in:

• Kort adviesdocument met aanbevelingen voor benchmarkgebruik binnen SURF voor het pretraining en hosten van LLMs.
• Voorstel voor integratie van de bevindingen in een bestaande SURF-dienst over lokale LLM hosting.
• Kennisoverdracht via één presentatie.
• Publiek deelbare samenvatting (blog of korte rapportage).

Na afronding zal SURF beschikken over concrete handvatten voor betrouwbaardere LLM-evaluatie voor het pretrainen van LLMs als wel het hosten van LLMs.

Functie-eisen

• Je hebt aantoonbare ervaring met LLMs en benchmarks.
• Je hebt het vermogen om state-of-the-art informatie kunnen vergaren, analyseren en integreren.
• Je bent zelfstandig en kan autonoom werken.
• Je bent instaat om in korte tijd kwalitatief hoogwaardige onderzoeksoutput leveren.
• Je bent instaat om gebreken in het state-of-the-art LLM-landschap identificeren.

Interesse?

Graag ontvangen wij van geschikte kandidaten het volledige cv waaruit kennis/ervaring in bovenstaande blijkt. Hoelang wij deze gegevens bewaren en andere aan onze diensten gerelateerde AVG-zaken zijn te lezen in ons privacy statement, voor partners verwijzen we graag naar het statement voor partners.

Uw aanbieding dient VOLLEDIG te zijn en voorzien te zijn van:

• Volledige voor- en achternaam;
• Woonplaats;
• Beschikbaarheidsdatum;
• Hoeveel uur per week;
• Eigen medewerker of freelance;
• Vakantie;
• Uurtarief ex BTW, inclusief reis- en verblijfkosten;
• NEN
  44001-Certificering:
  Ja/Nee.