Lar du deg lure på nettet? Vet du hvem som sitter på andre siden av bordet?
Til slutt, tro ikke at data som ligger på en sikker server, som krever innlogging er sikre. Man kan lage en bot som simulerer en bruker. I løpet av minutter eller timer (om du må implementere sleep(rand(x,y)) ; i løkken som stjeler de data du møysammelig har samlet i årevis) kan boten ha samlet alle dine data uten at du merker det. Boten kan maskere seg som en kjent bot eller som en nettleser. Legg aldri sensitive data på en webserver.
Pengespill på nettet øker i omfang og noen er blitt ruinert. Visste du at flere og flere boter eller roboter opererer på slike sider? Visste du at du kan by mot en robot på en nettauksjon og at auksjonssider som ebaY har utviklet verktøy som hjelper deg i arbeidet med å utvikle egen automatisert programvare? Visste du at din konkurrent bruker roboter til å samle inn, tolke og analysere informasjon når vedkommende priser sine produkter? Du kan la roboten handle på dine vegne og roboten kan sende deg en sms tekstmelding eller en epost. Du kan også sende epost til din bot om hva den skal foreta seg på bakgrunn av robotens kommunikasjon med deg. Lager du din egen etiske robot, kan den surfe nettet 24 timer i døgnet 7 dager i uken året rundt. Visste du at din konkurrent kan bruke en eller flere skreddersydde roboter til å analysere trender og forutse fremtidige prisnivåer? Du som spiller poker på nettet. Visste du at noen av dem du spiller mot er roboter som identifiserer andre spilleres handlemåte og reaksjonsmønstre og bruker avanserte statistiske metoder i sitt eget spill? Er du sikker på at nettselskapet du spiller hos ikke har egne boter i aksjon? Hva om du spiller mot en såkalt collusion bot eller rettere sagt et nettverk av roboter? Har du sjans om du spiller mot to eller flere roboter som kjenner hverandres kort og samarbeider? Konklusjonen burde være åpenbar. I det lange løp som ikke trenger å bli så langt har du ikke en sjanse. Forfatteren av denne artikkelen har bakgrunn i matematisk finans og vet at dersom du trader derivater på nettet stilles prisene av roboter. Det er greit nok side prisene er satt ut fra en rettferdig matematisk pris. Men er du sikker på om andre aktører i marked du opererer i ikke er roboter? Roboter er blottet for nerver. De kan opptre høflig uansett tilbakemelding. De kan opptre systematisk og basert på avansert mønstergjenkjenning, nevrale nettverk og objektive statistisk metoder. De kan avdekke svakheter i menneskelig handlemåte. De kan forutsi din handlemåte basert på systematisk innsamlet og analysert informasjon. Tar du umiddelbart sannsyngheten for å få kron (mynt1) + mynt (mynt2)+ 6 øyne i kast med to mynter og en terning? En bot beregner sannsynligheten på millisekunder. Noen ganger raskt 1/2 med en 1/2 med en 1/6, mens andre ikke en gang har mulighet til å forstå hva spørsmålet i dette meget enkle eksemplet dreier seg om. Hva om spørsmålet endres til hva er sannsynligheten for å få kron + mynt + 6 øyne i kast med to mynter og en terning der myntene ikke nummereres? Eneste krav er altså at begger mynter ikke skal vise samme utfall.
Stemmer du på nettet eller er du aktør i en nettavstemning? Er du sikker på at du ikke stemmer mot en stemmebot? Selv om du lager din egen stemmebot, er du sikker på at andre ikke har en bedre robot eller et nettverk av skreddersydde boter som baserer seg på en større database enn din robot benytter seg av? Er du sikker på at din konkurrent ikke maskerer sin identitet eller sikfter farge (les identitet) raskere enn en kamelon?
Noen ganger kan de som har de beste programmererne være de som stikker av med pengene. Er det noen som tror at mafian i ulike land kun bruker tradisjonelle verktøy som nettlesere og generelle søkemotorer? Bruker politiet roboter i sitt arbeide eller skanner de bare nettet's overflate? Hvorfor tror du anti-poker programvare og sider med budskap om å stoppe poker svindlere dukker opp? Her er video av Michael Schrenk, forfatteren av boken "Webbots, Spiders, and Screen Scrapers"
og noen andre lenker som burde interessere deg eller ditt firma:
- How legal is screen scraping?
- What are the legal issues around scraping other website's content
- Start med å lese kapittel 28 i Michael Schrenks bok omtalt ovenfor
- Webmasters, forget browsers and SE's. Make your own ethical WebBots.
- Collusion in Online Poker
- Poker Collusion
- Cyberwatcher - Norsk botdrevet tjeneste
- WebsiteOptimization - botdrevet site
- TrackRates - botdrevet site
- HousingMaps - botdrevet site
- Google alerts
- ebaY developers program
- TOR: Anonymitet online
- Rotate/select random proxies while scraping.
- Always timeout and timeout wisely. The point is to run several instances of the scrapers and scrap different websites in parallel, but not to scrap one website every second.
- Rotate/select random proxies while scraping.
- Strip of scripts and tags from article before saving/posting.
- Find the optimal scraping rate and schedule scrapping.
- Ideas for Webbot Projects
-
Noter implementerings tipsene fra ovennevnte artikkel: (Husk de legale aspektene. Jeg er ikke en jurist, så jeg kan ikke hjelpe deg i retten).
Til slutt, tro ikke at data som ligger på en sikker server, som krever innlogging er sikre. Man kan lage en bot som simulerer en bruker. I løpet av minutter eller timer (om du må implementere sleep(rand(x,y)) ; i løkken som stjeler de data du møysammelig har samlet i årevis) kan boten ha samlet alle dine data uten at du merker det. Boten kan maskere seg som en kjent bot eller som en nettleser. Legg aldri sensitive data på en webserver.
Oppgave (forviss deg om at det du gjør er lovlig):- Bruk Google alerts til å sende deg en ePost når Nokia legger frem resultater.
- Lag en bot som laster ned de siste makro data fra Norges Bank og Statistisk Sentralbyrå og automatisk presenterer data i egnede tabeller på ditt eget nettsted eller din egen blogg hvor data kan sorters og kolonner flyttes for mer fokusert sammenligning. Husk å oppgi data kilde. Programmer boten til å sende en kort melding til din Twitter konto eller annen (andre) sosial(e) media side(r).
- Lagre informasjonen i en database og presenter den som avvik i prognoser for viktige makrostørrelser.
- Pragammer en bot som surfer nettet med elektronisk hastighet til å skanne nyhetsoverskrfter og annen informasjon du anser som viktig.
- Lag en bot som filtrerer informasjon på bolig krakk, boligboble o.l. uttrykk og som sender deg en SMS med kopi til din ePost om sidens adresse.
- Er du en kjent person, lag en bot som skanner nyhetssider på ditt navn og sender deg en ePost om sidens adresse. Send en ePost til roboten om hva den skal foreta seg basert på ulike filtrerings kriterier. Ta gjerne et eller flere kurs i statistikk og informatikk på UIO før konkurrenten din gjør det.
- Driver du et nettsted, lag en bot som overvåker dine egne sider for mistenkelig adferd og som basert på ulike kriterier automatisk blokkerer Ip adressen til agenten inntil du får sjekket agenten nærmere. Et slikt kriterium kan være en robot som ikke respekterer din robots.txt fil eller bruker uforholdsmessig mye båndebredde etc.
- Lag en (et) robot(nettverk) som overvåker virksomheten til andre kjente og ukjente agenter. Blir oppgaven for krevende for din egen Pc's "Windows Task Scheduler" eller din servers kron jobb, let etter tjenester som for eksempel Amazon EC2.
-
Anta at du er gitt i oppgave å lage en robot som sjekker de som registrerer seg på et forum, en blog eller
annedt nettsted. Domenet godtar maks tre signatur lenker uten omdirigering og uten pornografisk innhold
etc. Der finnes uike databaser over Ip adresser,
lenker
(referrer) og epost adresser en Bot kan sjekkes mot. Lag en Bot som
- Sjekker hvilken lenke den som registrer seg kom fra.
- Sjekker hvilken reell Ip adresse den som registrer seg kom fra.
- Man kan dele de som registrerer seg i to grupper. De som registrerer seg ved å bruke OpenID (se neste artikkel nedenfor) og de som ikke gjør det.
- Hvilken ePost server som ble brukt til å bekrefte eposten.
- Om domenets regler ble lest før profilen skrives inn. Hint: ble mappen hvor reglene finnes besøkt og hvor lenge oppholdt vedkommende seg i den mappen. Man kan jo også ha en lite synlig lenke man må klikke på slutten for å bekrefte at domenets regler er lest.
- Om domenets regler ble fulgt når profilen skrives inn.
- Om innholdet på de sidene det lenkes til i profilen inneholder stoff som bryter med domenets regler.
- Andre regler det er viktig å overholde. En annen bot kan for eksempel overvåke aktiviteten til (ulike grupper av) brukerne. Dette bør det opplyses om i domenets regler. For eksempel at det er gjort av resurshensyn og at man ikke manuelt kan overvåker all aktivitet på domenet. Dette må brukere som registrerer seg da godkjenne før de blir aktive på domenet.
Det mangler ikke informasjon på internett. Problemet er å finne den riktige.
OpenID har vært i bruk noen år. I februar 2008 har denne teknologien fått et løft ettersom noen store internasjonale selskaper har anerkjent den.
Her kan du se hvor lett det er å manipulere en utvalgsundersøkelse på nettet. Som den fagmannen Lee Odden er, stoppet han pollen umiddelbart, da han ble gjort oppmerksom på hvor lett det var å manipulere undersøkelsen. Sitter du i et klasserom eller på et bibliotek med Pc'er på unike IP-er, kan du gå fra PC til PC å stemme. Registreres avstemingen med informasjonskapsler som legges på din Pc, er det bare å slette dem og stemme på nytt. Godta aldri en automatisk avstemning på nettet. En brukbar løsning på dette problemet er at de som stemmer, må identifisere seg med en digital identitet. OpenID har vært i bruk noen år. I februar 2008 har denne teknologien fått et løft ettersom noen store internasjonale selskaper har anerkjent den. Les mer under overskriften "Autenthication using OpenID". Norge har nå innført en egen digital Id, MinID som skal brukes som en felles innlogging til offentlige tjenester. MinID med Direktorater for forvalting og IKT som ansvarlige, vil være sikrere enn OpenID. Den kan imidlertid bare benyttes med tilsendte pinkoder og kan i slutten av desember 2008 brukes på
- norge.no
- altinn.no
- skatteetaten.no
- nav.no
- lanekassen.no
- I tillegg bruker Posten og en rekke av kommunene MinID.
Les bruksanvisningen om MinID for å registrere deg som ny bruker på Norge.no. Så får tiden vise om MinID blir et så sikkert konsept, at det kan brukes til stemmegiving ved Stortingsvalg. Tenk på forenklingen og effektivitetsgevinstene. Den som har skrevet denne artikkelen er ikke i tvil om at digital sikkerhet kan være sikrere enn tradisjonell sikkehet bere det gjøres riktig. Det kan endog hevdes at dette vil være en fordel for demokratiet da det vil kunne øke oppslutningen om valgene, det vil si stemmeandelen i den stemmeberettigede del av befolkningen.
Microsoft er et av verdens største softwarefirmaer og leverer en rekke gratis tjenester og produkter. For å lette bruken av deres tjenester har de laget en egen Live ID som kan brukes hvor som helst på live ID tjenestene deres. Deres gratis eposttjeneste, hotmail, er muligens den mest brukte gratis eposttjenesten på nettet. Man kan dermed opprette påloggingsinformasjonen (e-post og passord) én gang, og deretter bruke den hvor som helst på Windows Live ID-tjenestene. La oss si at du heter Ola Nordmann og vil at epost til deg skal sendes til Ola@Nordmann.no er det mulig. Så heter du Ole Olsen, er det viktig å være tidelig ute. Navne konflikter er et eget område innen internett jus. Det er for eksempel ikke så lurt å opprette domenet apple.no eller apple.net om du har til hensikt å selge datamaskiner på nettet. Har du derimot til hensikt å selge epler, er risikoen for å havne i en rettssak med apple betydelig mindre.
Tenk over dette. Dersom du leser det som er skrevet nedenfor, vil det når du er ferdig være produsert mer ny informasjon på nettet enn du vil være i stand til å lese resten av ditt liv uansett hvor ung du er, hvor fort du leser og hvor gammel du blir. Dersom du tar deg tid til å bla i den informasjonen som finnes under lenkene på denne siden, kan du bruke dager, uker måneder og år på å studere innhold, avhengig av hvor grundig du går til verks. Denne siden er laget for å hjelpe deg som er helt ny på nettet og deg som er mer erfaren. Vi kan ikke garantere innholdet på de sidene disse lenkene fører deg til, men lenkene er ikke tilfeldig valgt. Det kjente norske nettstedet digi hevder også at tradisjonell IT sikkerhet ikke duger lenger heller. DigitalStart er et websted i et mininettverk av norske og internasjonale siter. Der finnes metoder å beskytte seg på, og selv om du er en erfaren surfer, kan det fort lønne seg å lese de rådene du får om "sikker" surfing på DigitalStart.net, for eksempel det enkle rådet om å teste en side du er usikker på med Googles diagnose for sikker surfing. Du erstatter bare digitalstart.no med den siden du vil teste i URL'en.
Den som har skrevet denne artiklen har oppholdt seg på internasjonale profesjonelle forum i flere år og vet hvor lett det er å manipulere innhold slik at det spretter opp foran annet innhold. Det beste innholdet kan du gå glipp av om du ikke går frem på riktig måte. Som et eksempel på en side med strengt rangert innhold, viser vi til RedCarpetRank. Alle som jobber i finans, som webredaktører, designere eller webutviklere bør kjenne til de fokuserte lenkene på denne siden. Her er noe å tygge på for deg som vil gå dypere inn i materien. En relatert post på WebProWorld.
Informasjonen på internett varierer fra ubrukelig til glimrende. Ingen sted er det så viktig med kritisk sans som når du søker informasjon på nettet. Den varierer fra kvakksalveri til topp informasjon på de beste universiteter. Har du et for åpent sinn når du surfer på nettet, er det ikke lenge før folk vil kaste søppel etter deg. Noe av den informasjonen som ligger der er kvalitetssikret mens annen informasjon ikke er det. Du kan ikke vite når den er det. Derfor må du være skjerpet og vurdere det du finner. Noe er plagiert fra andre steder, noe er syndikert fra en side ut på en annen og noe er ren svindel. Er dette fremtidens søkemotor?
Hvordan surfe med utgangspunkt i DigitalPunkt.
Merk at alle undersider til DigitalPunkt er laget i Adobe Dreamweaver maler og dermed vises de best på skjermer hvor oppløsningen ikke er for lav. Har du problemer med menylinjene og utseende på sidene, anbefales det at du høyreklikker på skjermen din og setter oppløsningen til middels (høyreklikk + egenskaper + Innstillinger + skjermoppløsning).
Dersom du klikker på lenken i overskriften ovenfor, ser du at DigitalPunkt.no åpnes i et nytt vindu. Dette er det første du må lære deg når du surfer på nettet. Åpnes siden til lenken du klikker på i et nytt vindu, kan du åpne nye sider i nye vinduer. Klikker du disse siden ned med X øverst til høyre i vinduet, er du tilbake til den siden hvor du startet. Klikker du og kommer til en ny side som ikke åpnes i et nytt vindu, må du benytte tilbakeknappen i nettleseren din for å komme til siden du stratet på. Du kommer tilbake et nivå for hvert klikk på tilbakeknappen. Noen dårlige sider (såkalt spagettiprogrammering elimnerer denne muligheten) og tvinger deg til å stå på siden. Da har du ingen annen mulighet til å kommet tilbake enn å åpne siden du vil tilbake til på nytt. DigitalPunkt har lenker til en rekke nettsteder. Klikker du på en lenke, kommer du til en ny webplass. Som regel kommer du tilbake til DigitalPunkt ved å klikke "Start" på verktøylinjen. På dette nettstedet finner du det like under navnet "DigitalStart". Du skal altså klikke på "Start" på hovedmenyen og ikke på en undermeny som for eksempel lenken til "MoteNorge".