atarionline.pl AOL Wayback Machine - Forum Atarum

Jeśli chcesz wziąć udział w dyskusjach na forum - zaloguj się. Jeżeli nie masz loginu - poproś o członkostwo.

  • :
  • :

Vanilla 1.1.4 jest produktem Lussumo. Więcej informacji: Dokumentacja, Forum.

    • 1:
       
      CommentAuthorKaz
    • CommentTime18 Jan 2020
     
    Pięknie! :)
    Dzięki Zbyti.
    • 2: CommentAuthorzbyti
    • CommentTime18 Jan 2020 zmieniony
     
    • 3: CommentAuthorzbyti
    • CommentTime18 Jan 2020
     
    No to jeszcze input na stronie wyników wyszukiwania który działa tak samo jak na głównej.

    Wpisujesz szukaną frazę i zatwierdzasz enterem, otrzymane wyniki filtrujesz drugim polem.
    • 4: CommentAuthorzbyti
    • CommentTime18 Jan 2020
     
    @Kaz jeżeli chcesz poinformować użytkowników o zamianach i jak ich używać etc. to ja już nic nie będę zmieniał. Do lutego na pewno nic nie ruszę w sprawie AOL.

    Jedyny wyjątek to jakby był VPS to mogę zautomatyzować aktualizację bazy danych wayback w cyklu dziennym.

    Nie wiem kto płaci za AOL ale jest on na OVH a tam można dokupić wystarczający VPS za 11,00 PLN netto miesięcznie ->link<- Na taki serwer można by zmigrować całe AOL, jest wystarczający nawet ten najtańszy i zrezygnować z hostingu współdzielonego (jeżeli na takim stoimi).

    Będzie dostęp po ssh, wszystko można puścić w kontenerach i takie tam.

    Tak tylko piszę jakby DevOps nie znalazł czasu.
    • 5: CommentAuthorjakubd
    • CommentTime18 Jan 2020
     
    Z tego co wiem to hosting został wykupiony dawno temu i mamy go na lata - po zbiórce, którą nawet pamiętam tu na AOL. Ja bym tego nie ruszał i traktował jak główny hosting, natomiast wszelkie bajery szmery rowery możemy trenować i eksperymentować na VPSie, które postawię na swoim serwerze VMek. Dzięki tobie wiem już ile potrzeba miejsca (niewiele), teraz tylko muszę dobrać się do hostingu, przelecieć go i ustalić jak najlepiej zrobić kopię/backup cokolwiek i środowisko testowe.
    Takie typowe SysOpowe zabawy.
    • 6:
       
      CommentAuthorKaz
    • CommentTime18 Jan 2020 zmieniony
     
    Hosting mamy wykupiony za każdym razem na rok. To jest w OVH Sp. z o.o. w postaci abonamentu na serwer wirtualny Pro na 12 miesięcy, liczony od 7 maja każdego roku, oraz usługi w Masternet.pl w postaci utrzymania domeny AtariOnline.pl, liczone od 14 lipca każdego roku. Czyli w tym cyklu mamy spokój do 6 maja 2020.

    Zbiórka na serwer i domenę odbyła się w 2016 roku i wystarczy nam do 2026 roku. Było o tym tutaj, łącznie z listą darczyńców:

    ->link<-
    • 7: CommentAuthorzbyti
    • CommentTime18 Jan 2020 zmieniony
     
    @jakubd no to działaj :]

    Skryptem jakim zrobiłem backup grafiki możesz generalnie zrzucić cały kod jaki tam jest dostępny po ftp.

    Bazę aol.db polecam tworzyć w pamięci bo inaczej wykona się kilkadziesiąt tysięcy zapisów dziennie jeżeli tak będzie cykl wydawniczy :>

    Jak byś mi dał dostęp po ssh do jakiegoś swojego VPS to ja to zrobię od razu jeszcze dziś bo jako autor rozwiązania niecierpliwię się, że to musi czekać skoro przecież mogło by działać ;)

    Na ten moment kodować nie zamierzam do lutego przynajmniej ale poświęcę (do póki nie zrobisz automatu, albo nie dasz mi dostępu) te 10 min na podbicie bazy danych archiwów co nowy artykuł.

    @Kaz "serwer wirtualny Pro" no to poproszę dostęp po ssh :]
    • 8: CommentAuthorzbyti
    • CommentTime18 Jan 2020 zmieniony
     
    Podobają mi się wpłaty darczyńców 65,02 PLN :D
    • 9:
       
      CommentAuthorKaz
    • CommentTime18 Jan 2020
     
    Ktoś kiedyś wpłacił 65,03 zł i powstała zagadka, czy chodziło o jakieś nielegale? :)
    • 10: CommentAuthorMADRAFi
    • CommentTime18 Jan 2020
     
    65,10 to pewnie komodorowiec jakis :)
    • 11: CommentAuthorzbyti
    • CommentTime19 Jan 2020 zmieniony
     
    Wrzucona nowa baza.

    Stan na: 2020-01-19 00:52

    Operacja zajęła mi minutę: download / update / upload :]

    Więc na ten moment, minutę raz dziennie to mogę na to poświęcić :D
    • 12:
       
      CommentAuthorKaz
    • CommentTime19 Jan 2020
     
    No proszę, minutę. Minuta w szachach błyskawicznych... to wieczność! :D

    A nie da się tego download/update/upload zrobić automatem?
    • 13: CommentAuthorzbyti
    • CommentTime19 Jan 2020 zmieniony
     

    Kaz:

    A nie da się tego download/update/upload zrobić automatem?

    No przecież już kilka razy pisałem: daj mi dostęp po ssh to zrobię automat jeszcze dziś!

    Zwłaszcza, że napisałeś co jest kupione i wygląda to na VPS a nie na hosting współdzielony.

    Jak można mieć dostęp po ssh i kazać biednemu developerowi męczyć się po ftp?! Przecież to sadyzm i średniowiecze! :D
    • 14:
       
      CommentAuthorKaz
    • CommentTime19 Jan 2020
     
    Panie kochany, ja tu o dostęp sam muszę prosić Zygę. Jutro będę człowieka spróbuję nękać, w nocy mu odpuszczę, bo praca, rodzina... :D
    • 15: CommentAuthorzbyti
    • CommentTime19 Jan 2020
     
    Pier... biurokracja, wszędzie to samo ;)
    • 16: CommentAuthorjakubd
    • CommentTime19 Jan 2020
     
    @zbyti - właśnie jestem teraz, żeby to wszystko uporządkować i pięknie w ramki oprawić Kazowi, co by wszystko było pod ręką. Także es es ejcz jak się da, czy inne takie.
    • 17: CommentAuthorzbyti
    • CommentTime19 Jan 2020 zmieniony
     
    @jakubd gut :]
    • 18: CommentAuthorzbyti
    • CommentTime20 Jan 2020 zmieniony
     
    No proszę, jakiś nicpoń (Ilmenit) wrzucił JS

    <script>alert("Test");</script>

    w treści artykuły ->link<-
    • 19:
       
      CommentAuthorKaz
    • CommentTime20 Jan 2020
     
    Z maila, którego dzisiaj dostałem:

    Czy ten WayBack zostanie? Jest zajebisty, lece po kolei artykuly.
    • 20: CommentAuthorVLX
    • CommentTime20 Jan 2020
     
    Proszę o przyciski "poprzedni artykuł" i "następny artykuł", żeby nie trzeba było po każdym wracać (albo zamykać zakładki) i klikać następnego z listy. :)
    • 21: CommentAuthorzbyti
    • CommentTime20 Jan 2020 zmieniony
     
    @VLX miałem już nie dotykać kodu bo wyjeżdżam, ale taką minutową zmianę mogłem jeszcze dodać ;)

    >> oddaje następny artykuł, do cofania użyj przycisku przeglądarki.

    Pasuje?
    • 22: CommentAuthorVLX
    • CommentTime20 Jan 2020
     
    Dzię! Ku! Je! My! :D
    • 23: CommentAuthorzbyti
    • CommentTime20 Jan 2020 zmieniony
     
    NOTKA DEV

    Rozważyć podczas konwersji artykułów (po użyciu TIDY, a może lepiej przed?)
    $text = str_replace('\r\n', ' ', $text);

    i w css word-wrap: break-word ->link<- by zapewnić RWD.
    • 24: CommentAuthorzbyti
    • CommentTime22 Jan 2020
     
    Baza wayback podbita na 22.01.2020 13:45. Niestety wciąż z ręki i minutę życia straciłem ;P
    • 25:
       
      CommentAuthorjhusak
    • CommentTime22 Jan 2020
     
    A ile to trwa? Może po każdym dodaniu nowinki odpalać skrypt?
    • 26: CommentAuthorzbyti
    • CommentTime22 Jan 2020 zmieniony
     
    @jhusak z racji tego, że redaktorzy mogą operować na całej obecnej "bazie" AOL i ją modyfikować to wytworzenie bay wayback polega na każdorazowym zaciągnięciu obecnego news.txt i comments.txt do bazy poskładanej z backupów na koniec 2012.

    Obecnie muszę pobrać po ftp ok 20MB danych i odopalić skrypt, który robi na archiwalnej bazie INSERT or REPLACE.

    Gdy robię to w RAM dysku to operacja kilkudziesięciu tysięcy zapisów trwa parę sekund, na fizycznym dysku było by dłużej.

    Po wytworzeniu nowego aol.db puszczam SQL który usuwa odnalezione duplikaty z bazy (w treści bo id mają inne) i uspójnia nazwy redaktorów zgodnie z wytycznymi @Kaza.

    Nie mogę tego zrobić na serwerze produkcyjnym bo Zyga pomimo monitów ani nie przekazuje dostępu do panelu OVH Jakubowi by ten to ogarną (bo jest chętny i gotowy) ani nie dał dostępu po ssh developerom.

    Co prawda wypadłem z gry na jakiś czas ale jak jeszcze się bawiłem trochę serwerami to taki dostęp można było komuś dać w czasie nie dłuższym niż wypicie kawy. Nie wiem dlaczego to tyle trwa.
    • 27: CommentAuthorzbyti
    • CommentTime22 Jan 2020 zmieniony
     
    Proszę ustawić albo odpowiedni tytuł albo status dla ->link<- to przy następnym wytworzeniu się aol.db będzie już OK.

    Chyba w ogóle jest do usunięcia bo finalnie ukazało się to ->link<-

    Dobra, sam dopisuje 1462985024 do usunięcia w SQL, także nikt nic nie musi robić.
    • 28: CommentAuthorzbyti
    • CommentTime24 Jan 2020 zmieniony
     
    Jako, że nie mam dostępu do crona ani możliwości instalacji niezbędnych modułów php automatyzacja posuneła się tylko o tyle, ze teraz mogę podbić wayback puszczając poniższy skrypt.

    Jakbyś Jakub chciał to zautomatyzować to ja robię to na ten moment tak:

    update-wayback.sh
    #!/bin/bash
    SECONDS=0
    echo -e "creating structure"
    mkdir -p /home/zbyti/Ramdisk/aol/current
    cd /home/zbyti/Ramdisk/aol
    echo -e "copy news.txt"
    sshpass -p "secret" scp login@domain:cn/data/news.txt current/news.txt
    echo -e "copy comments.txt"
    sshpass -p "secret" scp login@domain:cn/data/comments.txt current/comments.txt
    echo -e "copy converter"
    cp /home/zbyti/Projects/AOL_Converter/convert-and-populate.sh .
    cp /home/zbyti/Projects/AOL_Converter/comments-converter-inserter.php .
    cp /home/zbyti/Projects/AOL_Converter/news-converter-inserter.php .
    cp /home/zbyti/Projects/AOL_Converter/updates.sql .
    cp /home/zbyti/Projects/AOL_Converter/aol-archive-complete.db /home/zbyti/Ramdisk/aol/aol.db
    echo -e "aol.db updating..."
    ./convert-and-populate.sh 2
    cat updates.sql | sqlite3 aol.db
    echo -e "aol.db was updated"
    sshpass -p "secret" scp aol.db login@domain:wayback/
    echo -e "aol.db was uploaded"
    cd ..
    rm -r aol
    echo -e "Done in $SECONDS seconds"

    ./update-wayback.sh 
    creating structure
    copy news.txt
    copy comments.txt
    copy converter
    aol.db updating...
    Populating current data...
    Populating is now complete!
    aol.db was updated
    aol.db was uploaded
    Done in 30 seconds

    Oczywiście skrypt można skrócić przygotowując odpowiednią strukturę i kopiując folder rekursywnie, ale by było wiadomo co i jak jest jak powyżej, poniżej wersja skrócona ;)

    update-wayback-short.sh
    #!/bin/bash
    SECONDS=0
    echo -e "creating structure"
    cp -R /home/zbyti/Projects/AOL_update_wayback /home/zbyti/Ramdisk
    cd /home/zbyti/Ramdisk/AOL_update_wayback
    echo -e "copying data..."
    sshpass -p "secret" scp -T login@domain:"cn/data/news.txt cn/data/comments.txt" current
    echo -e "aol.db updating..."
    ./convert-and-populate.sh 2
    cat updates.sql | sqlite3 aol.db
    echo -e "aol.db was updated"
    sshpass -p "secret" scp aol.db login@domain:wayback/
    echo -e "aol.db was uploaded"
    cd ..
    rm -r AOL_update_wayback
    echo -e "Done in $SECONDS seconds"
    • 29: CommentAuthorzbyti
    • CommentTime5 Apr 2020 zmieniony
     
    @jakubd masz jakiś zakręt życiowy? Już od dłuższego czasu nie aktualizuję bazy Wayback bo czekam na ten VPS od Ciebie.

    Coś się u Ciebie zmieniło?

    Ja przeinstalowałem system i nie wrzucałem sobie PHP dlatego nie aktualizuję ze swojego kompa.

    Bez kitu, ja za chwile zapomnę jak to działa :D
    • 30:
       
      CommentAuthorDracon
    • CommentTime5 Apr 2020
     
    @Zbyti: zapisz co trzeba w swoim kajecie, teraz naprawdę szkoda byłoby stracić szansy na uporządkowanie AOL-u raz na zawsze!
    • 31: CommentAuthorzbyti
    • CommentTime5 Apr 2020
     
    @Dracon nigdy nie byłem mocny w posiadaniu zeszytów a co dopiero w notowaniu w nich ;)

    Będę musiał przeczytać odpowiednie wątki na forum jr. pewnie :]