HTCondor - HTCondor

HTCondor er en åpen kildekode med høy gjennomstrømming for databehandlingsprogramvare for grovkornet distribuert parallellisering av beregningsintensive oppgaver. Den kan brukes til å håndtere arbeidsmengde på en dedikert klynge datamaskiner , eller til å utføre arbeid til inaktiv stasjonære datamaskiner-såkalt syklusopphenting . Htcondor kjører på Linux , Unix , Mac OS X , FreeBSD , og Microsoft Windows operativsystemer . HTCondor kan integrere både dedikerte ressurser (rackmonterte klynger) og ikke-dedikerte stasjonære maskiner (syklusoppsamling) i ett databehandlingsmiljø.

HTCondor er utviklet av HTCondor -teamet ved University of Wisconsin - Madison og er fritt tilgjengelig for bruk. HTCondor følger en åpen kildekode- filosofi og er lisensiert under Apache License 2.0.

Mens HTCondor bruker ubrukt datatid, vil det føre til at energiforbruket og tilhørende kostnader lar datamaskiner være slått på for bruk med HTCondor. Fra versjon 7.1.1 kan HTCondor dvalemodus og vekke maskiner basert på brukerspesifiserte retningslinjer, en funksjon som tidligere bare var tilgjengelig via tredjeparts programvare.

Historie

Utviklingen av HTCondor startet i 1988.

HTCondor var tidligere kjent som Condor; navnet ble endret i oktober 2012 for å løse et varemerkesøksmål.

HTCondor var planleggerprogramvaren som ble brukt til å distribuere jobber for det første utkastet til montering av Human Genome.

Eksempel på bruk

Den NASA Advanced Supercomputing anlegget (NAS) htcondor pool består av ca 350 SGI og Sun arbeidsstasjoner kjøpt og brukt for programvareutvikling, visualisering, e-post, forberedelse av dokumenter og andre oppgaver. Hver arbeidsstasjon kjører en demon som ser på brukerens I/O og CPU -belastning. Når en arbeidsstasjon har vært inaktiv i to timer, blir en jobb fra batchkøen tilordnet arbeidsstasjonen og vil kjøre til demonen oppdager et tastetrykk, musebevegelse eller høy CPU-bruk som ikke er HTCondor. På dette tidspunktet vil jobben bli fjernet fra arbeidsstasjonen og plassert tilbake i batchkøen.

Funksjoner

HTCondor kan kjøre både sekvensielle og parallelle jobber. Sekvensielle jobber kan kjøres i flere forskjellige "universer", inkludert "vanilje" som gir muligheten til å kjøre de fleste "batch-klare" programmene og "standardunivers" der målprogrammet er koblet til HTCondor I/O-biblioteket på nytt som sørger for ekstern jobb I/O og jobbkontroll. HTCondor tilbyr også et "lokalunivers" som gjør at jobber kan kjøres på "send -verten".

I verden av parallelle jobber støtter HTCondor standard Message Passing Interface og Parallel Virtual Machine (Goux, et al. 2000) i tillegg til sitt eget Master Worker "MW" -bibliotek for ekstremt parallelle oppgaver.

HTCondor-G lar HTCondor-jobber bruke ressurser som ikke er under direkte kontroll. Den er mest brukt for å snakke med rutenett og sky ressurser, som pre-WS og WS Globus , NorduGrid ARC , UNICORE og Amazon Elastic Compute Cloud . Men den kan også brukes til å snakke med andre batchsystemer, for eksempel Torque/PBS og LSF . Støtte for Sun Grid Engine er for tiden under utvikling som en del av EGEE -prosjektet.

HTCondor støtter DRMAA jobb -API. Dette gjør at DRMAA -kompatible klienter kan sende inn og overvåke HTCondor -jobber. Den SAGA C ++ referanseimplementering gir en htcondor plug-in (adapter), som gjør htcondor jobbsending og overvåking tilgjengelig via SAGAs Python og C ++ programmeringsgrensesnitt.

Andre HTCondor -funksjoner inkluderer " DAGMan " som gir en mekanisme for å beskrive jobbavhengigheter.

Se også

• Liste over distribuerte databehandlingsprosjekter

Referanser

Eksterne linker

• Offesiell nettside