S. vokste opp på Modum i en barnerik familie i trange kår. Han viste tidlig anlegg for tegning, og i 1869 begynte han sin utdannelse i Christiania med økonomisk støtte av doktor Arnold Thaulow på Modum bad og andre velyndere. På J. F. Eckerbergs malerskole traff han blant annet Erik Werenskiold, Eilif Peterssen og Knud Bergslien, som ble hans venner livet igjennom. På denne tid tok han navnet S. Da Eckersberg døde sommeren 1870, skaffet mesenen kjøpmann Finn Simonsen S. losji hos Vilhelm Kyhn i København, formidlet gjennom professor Vilhelm Marstrand ved Kunstakademiet i København. Kyhn ble også S.' lærer, og med hans anbefaling oppnådde S. friplass de tre årene han var elev ved kunstakademiet. Her ble det utelukkende undervist i tegning, mest på grunnlag av gipsfigurer. Av Kyhn fikk han noe rettledning i bruk av oljemaling, men mest eksperimenterte han på egen hånd. Av de danske malerne S. for øvrig kom i kontakt med, var Joakim Skovgaard den som fikk størst betydning, både som venn og kunstnerkollega. Et lite antall tegninger og studier i olje er bevart fra denne tiden. Et naivt Selvportrett (1872) i akvarell gir et godt inntrykk av den umodne bondegutten. For øvrig var det mest landskap og enkelte figurmotiver som opptok ham. Studiene fra Jyllandsreisen 1871 viser påvirkning fra Kyhns gjennomarbeidede og nøkterne form, mens tegningen av dyssestenene Fra Christiansminde har en friere og mer personlig karakter. Oljemaleriet Sommerlandskap (ca. 1871) viser sikker sans for komposisjon og atmosfærisk virkning. En annen liten studie, Skagen (1872), avbilder stranden med sand og marehalm, i bakgrunnen strekker havet seg ut med hvittoppede bølger. På studieturen i Norge 1874 fant S. flere av de motivene som senere skulle bli hans spesielle område. Et lite landskapsbilde, Fra Hardanger (1874), detaljert beskrevet i Dage og Nætter (1908), viser fjorden omgitt av høye fjell. I en tegning er motivet en ung jente som driver kyrne over elven. Et lignende motiv tegnet han senere samme år i Paris og tok det opp igjen i et oljemaleri i München i 1876. I brev undertegnet S. seg nå dyremaler.
Etter Kyhns og Simonsens råd reiste S. til Paris i 1874. Her deltok han på kveldskurs ledet av Léon Bonnat, men sluttet etter et par måneder, fordi han aldri fikk kontakt med læreren. For øvrig kopierte han i museene og malte etter Morten Müller og August Cappelen. Sistnevntes innflytelse er merkbar i Landskap med furutrær, et stemningsbilde med et ensomt tjern, drivende skyer og rødgyldne solstreif (1877). Camille Corots og J. F. Millets malerier gjorde et visst inntrykk, men sammenlignet med de danske forbildene, blant annet P. C. Skovgaard og J. Th. Lundbye, fant S. de franske uforståelige og urovekkende. Malere etter hans smak var derimot J. G. Gérome og dyremaleren Rosa Bonheur. Av de nordiske kunstnervennene satte han størst pris på Th. Philipsen, som hjalp ham gjennom en vanskelig tid med sykdom og pengesorger.
Etter et halvt år i Norge kom S. med hovedstrømmen av norske malere til München i 1875. S. ble aldri elev på akademiet og hadde ingen fast lærer, men fikk noe veiledning av Heinrich Zügel, som var spesialist på motiver med sauer og kveg. Ellers var han en stor beundrer av Arnold Böcklins symbolladede kunst. Andre kunstnere som fikk betydning for ham, var Piloty-eleven G. C. Max, kjent for sine religiøse komposisjoner, østerrikeren Hans Makart med historiebilder i kolossalformat, og den frodige folkelivsmaleren, düsseldorferen Ludwig Knaus. S.' produksjon de følgende årene var ujevn, og lenge brukte han studietegninger fra Norge som utgangspunkt for sine malerier. Hjemfart fra seteren (1876) er basert på tegninger fra studieturen i Hardanger 1874. Motivet er nasjonalromantisk med fjord og fjell delvis skjult av drivende tåke og en båt fullastet med kyr. Men figurene er malt etter tyske modeller. Bildet er et utpreget atelierarbeide med sterke lysvirkninger og bruk av lokalfarger og malt i en glatt, oljet teknikk. Det samme atelierpreg har Aften på fjellet (1878), et norsk landskap med kuflokk og gjeterjente, som S. stilte ut på Verdensutstillingen i Paris 1878. Maleriet er kjent i fire utgaver, det siste datert 1889 (Bergen Billedgalleri). To landskapsbilder fra samme periode, Landskap med får (1876, Stavanger Kunstforenings Faste Galleri) og Sommernatt på fjellet, viser med sin jevnere lysføring og forsiktige fargebruk en mer nøktern instilling til motivet. S.' produksjon i München-tiden er mer omfattende enn tidligere antatt. I sine beste arbeider viser han betydelig talent. Dette fremgår også av tegningene fra omegn av München, utført som raske skisser av folk og dyr. Gjennom tyske kunstnere og besøk på Salonen i Paris var S. til en viss grad klar over moderne franske tendenser i malerkunsten. I likhet med de fleste norske kunstnere bestemte han seg til å fortsette studiene i Frankrike, men dårlig helse og hjemlengsel drev ham foreløpig hjem til Norge høsten 1878. I 1879 malte han blant annet to store landskapsbilder fra Eggedal, Drottningnuten og Jupsjøen (begge skadet, Sandefjord rådhus, opprinnelig malt for Sandefjord Bad), de første av en rekke bilder med motiv herfra. Motivene er romantiske med fjell og stille vann, foss og bunadkledt jente.
I perioden 1879 - 85 var S. bosatt i Frankrike, avbrutt av sommeropphold i Norge og studiereiser til Spania og Italia. Nå var han kunstnerisk i stand til å verdsette kunstnere som Camille Corot, J. F. Millet og andre moderne, franske malere. Forbausende raskt tilegnet han seg det nye kunstsyn og teknikken, som ingen av de andre nordiske kunstnerne. Omkring 1880 var han angivelig elev av Emil van Marcke de Lummen, som hadde lært av landskaps- og dyremaleren Constant Troyon, hvis bilder S. kjente godt. Marckes innflytelse kan spores i en rekke fredfulle landskapsmalerier med beitende kyr som S. malte i disse årene. Omtrent samtidig fikk S. korreksjon av Léon Bonnat i hans atelier sammen med en rekke andre nordiske kunstnere. Etter et halvt år debuterte S. på Salonen med Snekjøring på Seinen (1880). Motivet viser den strenge vinteren i Paris, med svære arbeidshester som kjører vogner fullastet med snø ut på den islagte Seinen. Bygninger og spir i bakgrunnen tegner seg mot blygrå, snetung luft. Helhetstonen er grålig og spiller over hle registeret fra svart til hvitt. Malingen er pastost pålagt med bred pensel. I sin hverdagsrealisme og nøkterne fargeholdning er maleriet tydelig påvirket av Jules Bastien-Lepage.Ferme à Venoix (1881, Den franske stat, deponert Drammen sykehus 1979) betegnet S.' kunstneriske gjennombrudd og skaffet ham gullmedalje på Salonen. Motivet er fra Normandie, der han oppholdt seg flere somre. S. skildrer en hverdagslig scene med kyr som melkes på tunet i ettermiddagssolen. Komposisjonen og anatomiske detaljer er gjennomarbeidet. Fargene i skyggepartiene viser at S. har tilegnet seg noe av den impresjonistiske fargelæren. Som helhet utstråler bildet ro og harmoni. Tross realismens krav kunne S. aldri fornekte sin romantiske legning. Stadig vendte han tilbake til motiver med følelsesladet innhold, som i Ballade (1881), et av hovedverkene fra de tidlige Frankrike-år. Motivet er basert på en dansk kjempevise S. hadde lært i København ti år tidligere. Den handler om hestene som vender hjem etter slaget med tomme sadler, men birgens porter er boltet og stengt. Maleriet forener på en vellykket måte realistisk teknikk med dramatisk, stemningsmessig innhold. Tre år senere gjentok S. motivet i lengdeformat og en noe endret form (1884, Lillehammer Bys malerisamling). Vinteren 1881 - 82 tilbrakte S. i Spania sammen med Ernst Josephson. Til tross for sykdom og depresjon malte han en rekke småbilder med enkle, hverdagslige motiver som både malerisk og teknisk hører til det beste i hans produksjon. Tilbake i Frankrike fullførte S. Oktobermorgen ved Grez (1881 - 82, Nasjonalgalleriet), som viser et møte ute på markene mellom en gutt til hest og en gjeterjente med saueflokken. Motivet er inspirert både av Millet og Bastien-Lepage, men den lyse helhetstonen er påvirket av det nye friluftsmaleriet. Gresset i forgrunnen er malt på mer konvensjonell fransk manér med en spesiell relieffaktig teknikk som S. ofte benyttet i disse årene. Andre norske malere anvendte tidvis lignende malemåte. I 1881 traff S. Maggie Plathe, angivelig hos familien Gauguin, et hjem som ofte ble besøkt av nordiske kunstnere. Året etter giftet de seg i Bærum. Samme høst reiste de til Italia, der S. under oppholdet i Roma blant annet malte Monte Avention (1882, dansk privat eie, replikk Det Kongelige Slott). Det vinterlige motivet er malt i motlys fra en av broene over Tiberen med Aventinerhøyden i bakgrunnen. Refleksene i vannet er dyktig malt, og helhetsinntrykket er preget av fine grå- og bruntoner, karakteristisk for mange av S.' arbeider i denne tiden. Appelsingutten (1883) med de elegante sortkledte damene til hest i mellomgrunnen, har en for S. uvanlig forenklet og stilisert formbehandling. S. fortsatte å skifte mellom realistiske skildringer i fullt dagslys og kveldsstemninger. Til de siste hører den lille pastellen Sommeraften (1883, Nasjonalgalleriet). Et blågrått månelys hviler over et flatt landskap, der kvinnen med barnet haster hjemover i skumringen. I Norge året etter tok s. opp igjen et lignende stemningsmotiv, denne gang i stort format. I Sommernatt. Måneskinn i Nordmarken (1884) står månen lysende rund over den bratte åsen som speiler seg i vannet. De mørke fargene står i virkningsfull kontrast til friskgrønne trær og blomstrende eng i forgrunnen. Maleriet ble utpekt som publikumsfavoritt på Høstutstillingen samme år. Her viste S. også I september. Motiv fra Stabekk (1884) på hele 1,5 X 3 meter, utstillingens største maleri. Motivet er en hverdagslig scene med en slåttekar som bryner ljåen sin nede ved vannet. Landskapet rundt ham er friskt og frodig, på himmelen seiler letter sommerskyer. Den lyse friluftsatmosfæren er gjennomført i alle detaljer og binder det hele sammen på en overbevisende måte.
S.' malermåte kom gradvis til å forandre seg etter at han slo seg ned for godt i Norge i 1885. Den lyse fargeskalaen opptrer sjeldnere, fargene blir dypere og fyldigere og formbehandlingen mindre følsom. Det hender at hans malerier får et konvensjonelt preg. I Sankthansaften (1886, Statens Museum for Kunst, København) med ungdommer i båten på Dælivannet, er sommeraftenen malt uten de moderne nyvinningene som lar figurer og natur gå opp i en helhetlig atmosfære. Men i det vesentlige er S.' arbeider fra annen halvdel av 1880-årene ennå preget av innflytelsen fra fransk moderne maleri. Motivene er for en stor del fra Bærum, der han bosatte seg på gården Fleskum. Herfra stammer blant annet Gutten på fisketur (1885), friskt og spontant malt med pastos pensel i sommerlig lys. Et vinterlig motiv er Isskjæring på Dælivannet (1889) med isblokkenes kubiske former stablet på isen i kontrast til isskjærerens skråstilte figur. En kald, blålig tone binder detaljene sammen. Lokomobil (1889), den store treskemaskinen som fyller gårdstunet med røk og damp, er usedvanlig friskt og impresjonistisk malt. Et av hovedverkene fra perioden er Gutten med seljefløyten (1889). Fra forgrunnen og skrått innover mot høyre skjærer bekkefaret seg ned mot Dælivannet. Gutten står ved bredden, og bak ham følger skigarden bekkens linjer. Et perfekt samspill mellom diagonale og horisontale elementer skaper sammen med den dempede blågrå atmosfæren ro og harmoni i bildet. Maleriets opprinnelige tittel var "Tonen", som sammen med første vers av Bjørnstjerne Bjørnsons dikt stod skrevet på rammen. De første tegningene til Gutten med seljefløyten går tilbake til 1886, da S. inviterte en gruppe kunstnervenner til å bo på Fleskum om sommeren, Harriet Backer, Kitty Kielland, Gerhard Munthe, Eilif Peterssen og Erik Werenskiold. Flere hovedverk i norsk kunst ble til denne Fleskumsommeren, som vanligvis blir betegnet som innledning til nyromantikken. For S. lå stemningsmotivene hele tiden som undertoner i hans kunst. Interesse for lyrikk og musikk var en naturlig følge av hans romantiske legning. En studietur til Telemark sammen med Anders Kongsrud i 1887 resulterte i to betydningsfulle arbeider, Vinjes barndomshjem, Plassen i Telemark (Nasjonalgalleriet) og Vinje som gjetergutt (begge 1887). Bildene er utpreget "norske" i oppfattelsen av det dempede lyset og de mettede fargene. Et opphold på Korsika den følgende vinter viste hvor reseptiv S. var for sydens sollys. Villa Bacciochi (1888, Louvre) og andre malerier herfra er fylt av intens lyskraft og malt med frie, pastose penselstrøk.
Da nyromantikken slo igjennom for alvor i 1890-årene, kunne S. gi friere utløp for sitt romantiske temperament. Vinteren 1891 - 92 oppholdt han seg i Sør-Frankrike sammen med Edvard Munch. Herfra stammer noen sarte aftenstemninger med blålig lys og delvis utviskede konturer, som for eksempel Aften i St. Jean (1892). I romantikkens kjølvann fulgte interessen for religiøse motiver. S.' viktigste bidrag var Menneskens Søn (1891, Nasjonalgalleriet), malt i Bærum. Bildet viser en mann som kommer vandrende inn på tunet til en norsk bondegård der unge og gamle, noen av dem syke, har møtt fram for å ta imot ham. Bildets tittel angir at den ankomne, som er kledd i samtidens drakt, forestiller Kristus. S. skriver: "Jeg har brudt med traditionen og taget ham som en almindelig Haandværker fra igaar". Denne fremstillingen av et religiøst motiv forårsaket heftig avisdebatt mellom legfolk og teologer. Som bakgrunn for denne type motivfremstilling er det vanlig å peke på innflytelse fra Fritz von Uhde, skjønt denne gav aldri slipp på den tradisjonelle Kristus-typen i sine samtidsskildringer med bibelske motiv. Maleriet, som ble utført i kolossalformat (3,24 X 4,52 meter), er fast komponert med hovedpersonen i sentrum. Det følgende år planla S. flere religiøse arbeider, men de kom aldri lenger enn til skissestadiet. S.' interesse for religiøse og symbolske motiver omkring århundreskiftet må sees på bakgrunn av tidens kunstretning og hans egen livsskjebne. S. var preget av tapet av sitt første barn og den etterfølgende skilsmisse. Den ensomme ridderen Ola Velland (1896 Holmenkollen Turisthotell, 1898, 1914 Oslo bispegård og 1917), Tørstige ridder (1898, flere utgaver) og Munken Vendt, Hamsuns diktning (1905, Nasjonalforeningen for folkehelsen, Oslo) er nærliggende å tolke som bilder på egen livssituasjon. Det siste bildet, "Munken Vendt", er sentrert om det kompliserte forholdet mellom mann og kvinne. Med konkret utgangspunkt i egne erfaringer malte S. to bilder i kolossalformat. I Et dikt om døden (1900) mottas et lite barn av Kristus i paradis, mens foreldrene fortvilet har kastet seg ned ved graven, i maleriets mørke høyre halvdel. Etter lang avisdebatt fikk bildet sin endelige plass i Frogner kirke i Kristiania 1907. Et dikt om livet (1908, første skisse 1903) viser kunstneren i en konfliktsituasjon mellom de to kvinnene i hans liv. Bildet ble senere skåret i stykker og overmalt (i dag restaurert). Kunstnerisk holder de to siste maleriene ikke mål, fordi S. ikke har maktet å underlegge det selvbiografiske innholdet et malerisk helhetssyn. Til symbolismens motivkrets hører blant annet Nymfe speiler seg (1904) og Fiskeren (1905). I flere av disse arbeidene tar symbolikken overhånd på bekostning av den kunstneriske kvalitet. Kolossalbildet Middelalder (1903, 4 X 6 meter) hører til ridderromantikken. Undertittelen: "Der rødmed af Dag over Borgen Da Ridderne droge til Slag", er etter eget sigende laget for anledningen, og griper følgelig ikke tilbake til eldre visediktning som Ballade fra 1881. I det ytre er det likhetspunkter mellom de to komposisjonene, men S. har ikke greid å overføre stemningen fra Ballade til det store lerretet. Direkte knyttet til folkevisetradisjonen er Valdrisvisa (1895, replikk 1896 Nasjonalgalleriet). De fjorten motivene, malt i akvarell, er en blanding av virkelighet og eventyr, fremstilt med en humor og fabulerende evne som er enestående i S.' kunst. En annen av romantikkens inspirasjonskilder var eventyrene. S.' bidrag er til dels influert av hans venn Theodor Kittelsen. Et av dem har tittelen Langt om lenge kom han frem til en gild gard. Interesse for folkemusikk og dans gav ham ideen til En Numedals spillemann, som for øvrig er sterkt påvirket av Halfdan Egedius.
Fra 1894 bodde S. i Eggedal i lange perioder. Da han giftet seg for annen gang i 1898, ble han fastboende og flyttet inn i det lille bruket Hagan, som ble hans hjem resten av livet. I 1898 vant han konkurransen om utsmykningen av taket i foajeen i Nationaltheatret. Bildene har allegoriske motiver, malt i pastellfarget rokokkostil (1899). Allerede i 1897 hadde Th. Laureng og Torstein Torsteinson fått korreksjon av S. På Hagan drev han privat malerskole i 1899, der blant annet elever av Harriet Backer deltok. Hun begrunnet sin anbefaling om et sommeropphold i Hagan med at "ingen forstår naturen som Skredsvig". Det skal ha deltatt cirka 20 unge malere, blant dem Arne Lærum, Søren Onsager og Rudolph Thygesen.
I 1908 debuterte S. som forfatter med "Dage og Nætter blandt Kunstnere". Boken, som er av betydelig litterær verdi, er i det alt vesentlige selvbiografisk, og er basert på barndomserindringer han begynte å skrive ned allerede i Lepaud i 1887. Senere skrev han flere romaner og skuespillere og skuespill, også de delvis biografiske i sitt innhold.
S. fortsatte hele tiden å male. Men til tross for noen reiser til utlandet og kortere og lengre opphold i Kristiania (1904 - 05, 1911 - 14), førte livet i Eggedal til kunstnerisk isolasjon. Rutine kom til å prege mange av Eggedals-motivene med vann og fjell i solnedgang eller måneskinn, med eller uten figurstaffasje. Enkelte har likevel en troverdig stemning og kunstneriske kvaliteter.
