1. Foren
  2. Kommentare
  3. Internet
  4. Alle Kommentare zum Artikel
  5. › Howto: Goodbye Google? Suchmaschinen…

yacy kann mehr

  1. Thema

Neues Thema Ansicht wechseln


  1. yacy kann mehr

    Autor: nicoledos 04.10.16 - 12:42

    yacy ist klasse.

    Vorteil, man kann Mitglied des Netzwerks werden, sich aber auch dagegen entscheiden. Als Proxy kann es bereits besuchte Seiten erfassen.

    Dazu lässt sich yacy ganz einfach als Suchmaschine für die eigene Internetseite einrichten. Sehr praktisch, wenn man eine Zentrale Suche über mehrere Tools (Blog, Wiki, Forum, ...) schaffen will. Man bracht "nur" einen Server mit java.

    Interessant es, wenn man damit im Intranet seine Verzeichnisse, NAS, ... mit den diversen Medien erfassen lässt.

    Es ist zwar nicht perfekt, aber doch sehr praktisch und vielseitig.

  2. Re: yacy kann mehr

    Autor: Squirrelchen 04.10.16 - 15:20

    nicoledos schrieb:
    --------------------------------------------------------------------------------
    > yacy ist klasse.
    >
    > Vorteil, man kann Mitglied des Netzwerks werden, sich aber auch dagegen
    > entscheiden. Als Proxy kann es bereits besuchte Seiten erfassen.
    >
    > Dazu lässt sich yacy ganz einfach als Suchmaschine für die eigene
    > Internetseite einrichten. Sehr praktisch, wenn man eine Zentrale Suche über
    > mehrere Tools (Blog, Wiki, Forum, ...) schaffen will. Man bracht "nur"
    > einen Server mit java.
    >
    > Interessant es, wenn man damit im Intranet seine Verzeichnisse, NAS, ...
    > mit den diversen Medien erfassen lässt.
    >
    > Es ist zwar nicht perfekt, aber doch sehr praktisch und vielseitig.

    Ist yacy denn mittlerweile stabiler? Ich hatte es mal vor ein paar Jahren laufen, da flog mir das Ding jedoch regelmäßig um die Ohren.
    Ich mag nicht ausschließen, dass dies am Java lag, aber es war eigentlich extrem langsam und instabil zu der Zeit.

  3. Re: yacy kann mehr

    Autor: TmoWizard 04.10.16 - 16:20

    Squirrelchen schrieb:
    > Ist yacy denn mittlerweile stabiler? Ich hatte es mal vor ein paar Jahren
    > laufen, da flog mir das Ding jedoch regelmäßig um die Ohren.
    > Ich mag nicht ausschließen, dass dies am Java lag, aber es war eigentlich
    > extrem langsam und instabil zu der Zeit.

    Ich habe nie bemerkt, daß YaCy instabil wäre! Könnte allerdings daran liegen, daß ich diese Suchmaschine erst seit relativ kurzer Zeit verwende. Erst hier auf meinem Produktivsystem, inzwischen auf einem alten Rechner in der Ecke, welcher mir als Server dient.

    Langsam ja, da ja der Index weltweit verteilt ist! Das hängt eben auch vom Zugang der anderen Peers ab, einen Kabelanschluß kann man ja kaum mit ISDN vergleichen! ;-)

    Derzeit bei YaCy aktiv:

    * 200 Aktive Senior/Principal-Peers wie meiner
    * 998 normale Senior-Peers
    * ~630 Junior-Peers

    * Index: derzeit ca. 4.000.000.000 (4 Milliarden) Dokumente

    1,8 Millionen Dokumente hat mein eigener Peer inzwischen, Tendenz steigend.

    Das einzige richtige Problem bei YaCy ist und bleibt, daß man hierfür am Besten einen eigenen Server in die Ecke stellen sollte!

    Die größte Sicherheitslücke ist aber Java, wobei das Browser-Plugin zum Glück nicht benötigt wird!

    Was in dem Artikel nicht erwähnt wird ist die Möglichkeit, daß man bei YaCy gar keinen Crawler losschicken muß. Ich habe hier einen gut gefüllten Feed-Reader, ich füttere YaCy schlicht mit meinen Feeds und lasse diese dann regelmäßig prüfen!
    Vorteil:

    Der verwendete Rechner wird nicht so arg belastet und der eigene Index wächst trotzdem mit der Zeit!

    Da dieser Index in meinem Fall als Principal-Peer auch noch auf andere Peers verteilt wird geht auch nichts verloren, sollte mein alter Rechner da in der Ecke einmal den Geist aufgeben.

    Das wirklich größte Problem solcher Suchmaschinen ist jedoch anderer Natur:

    Es machen einfach viel zu wenig Leute mit und wundern sich dann, wenn diese Suchmaschinen keine vernünftigen Ergebnisse bekommen!

    Google hat mehr als das zehnfache an Index wie YaCy, ja woher sollen wir die Ergebnisse denn ohne Helfer bekommen?

    Ich sage nicht, daß YaCy das "non plus ultra" sei, das wäre derzeit klar übertrieben. Bei einer entsprechenden Teilnehmerzahl könnte man damit allerdings locker sämtliche anderen Suchmaschinen in die Tasche stecken... wenn die Geschwindigkeit nicht wäre!

    ...

    ..

    .

    Eigentlich könnte ich darüber nun einen neuen Artikel auf meinem Blog schreiben, interessant genug für mich ist das Thema jedenfalls! ;-)

    Grüße aus TmoWizard's Castle zu Augsburg

    Mike

    *** TmoWizard ***

    Kleinigkeiten erledige ich sofort, Wunder dauern etwas länger und ab Mitternacht wird gezaubert! ;)

  4. Re: yacy kann mehr

    Autor: Squirrelchen 04.10.16 - 16:51

    Danke für dein Feedback, dann werde ich es wohl, sollte ich mal wieder Zeit finden, wohl nochmal ausprobieren.

    PS: Beim ersten mal lief es bei mir auf einem Windows Server. Ggf. kam da noch der Faktor Windows dazu.

    Definitiv wird er zukünftig dann eher in einer geschlossenen Ubuntu (oder Debian) VM laufen.

  5. Re: yacy kann mehr

    Autor: Moe479 04.10.16 - 17:06

    edonky war am anfang auch toll, torrent zwischdendurch auch, und dann kamen die verwerter mit/durch(?) ihren anwälten darauf ... wenn yacy zu groß wird, wird sie auch dieses netwerk interessieren, gerade auch weil die nutzer es garnicht wirklich mitbekommen, dass sie gegebenenfalls fahrlässig geschützten kram verteilen, man potzenziell viel mehr nutzer abmahnen und abkassieren kann ...

    das abselute nicht filtern von einträgen aus dem index ist ja gerade erklärtes ziel auch dieses projektes, damit nicht im einklang mit der gesetzgebung diverser nationen (wie auch unserer) und lässt außerdem damit einen vorteil gegenüber zentralisiert kontrollierten angeboten zu.

    ich bin durchaus dafür alles zu listen/nichts zu filtern, nur so kann man alles kennenlernen, um sich z.b. auch maximal fundiert dagegen positionieren zu können. nur um soetwas nachaltig rechtlich sauber hinzubekommen, müssten auch wir erst einmal unsere aus dem letztem jahrtausend stammenden gesetze im hinblick auf freien zugang zu jeglicher publizierter information anpassen ... damit auch die in tv gehostete site, die deinen und meinen namen unter 'sittenstrolche' nebst aufruf zur selbstjustiz auflistet im peer-to-peer-index verbreitung finden darf ... zwei seiten einer münze ... die müssen einem erst einmal bewust werden, damit man damit umgehen lernen kann.



    2 mal bearbeitet, zuletzt am 04.10.16 17:12 durch Moe479.

  6. Re: yacy kann mehr

    Autor: knaxx 04.10.16 - 17:19

    TmoWizard schrieb:
    --------------------------------------------------------------------------------
    > Squirrelchen schrieb:
    > > Ist yacy denn mittlerweile stabiler? Ich hatte es mal vor ein paar
    > > Jahren
    > > laufen, da flog mir das Ding jedoch regelmäßig um die Ohren.
    > > Ich mag nicht ausschließen, dass dies am Java lag, aber es war
    > > eigentlich
    > > extrem langsam und instabil zu der Zeit.
    >
    > Ich habe nie bemerkt, daß YaCy instabil wäre!

    Also mir ist es auf einem Odroid U3 unter ubuntu 14 regelmäßig eingefroren, irgendwann nach ein paar Tagen reagierte es nicht mehr und ließ sich auch erst nach Löschen des Indexes neu starten.
    Vielleicht probiere ich es jetzt mit ubuntu 16 nochmal aus, der Odroid hat ja sonst nichts zu tun.....

    °l°(,,,,);

  7. Re: yacy kann mehr

    Autor: SelfEsteem 04.10.16 - 17:45

    Squirrelchen schrieb:
    --------------------------------------------------------------------------------
    > Ist yacy denn mittlerweile stabiler? Ich hatte es mal vor ein paar Jahren
    > laufen, da flog mir das Ding jedoch regelmäßig um die Ohren.
    > Ich mag nicht ausschließen, dass dies am Java lag, aber es war eigentlich
    > extrem langsam und instabil zu der Zeit.

    Ich glaube ich hatte das damals durch Kastration des Crawlers halbwegs in den Griff bekommen.
    Wenn ich das richtig in Erinnerung habe, konnte man ihm sagen, wie viele Prozesse maximal gestartet werden duerfen und damit hatte ich rumgespielt, bis es ueber laengere Zeitraeume stabil lief.

    Insgesamt wirkte es, als haette das Ding einen boesen Memoryleak.
    Ich glaub haette ich damals als Homeserver etwas besseres als einen Atom mit 2gb Ram eingesetzt, waere es insgesamt angenehmer gelaufen.

    TmoWizards Idee, den Crawler komplett auszuschalten und nur RSS-Feeds zuzufuettern, klingt jedenfalls recht Vernuenftig.

  8. Re: yacy kann mehr

    Autor: Squirrelchen 05.10.16 - 03:43

    SelfEsteem schrieb:
    --------------------------------------------------------------------------------
    > Squirrelchen schrieb:
    > ---------------------------------------------------------------------------
    > -----
    > > Ist yacy denn mittlerweile stabiler? Ich hatte es mal vor ein paar
    > Jahren
    > > laufen, da flog mir das Ding jedoch regelmäßig um die Ohren.
    > > Ich mag nicht ausschließen, dass dies am Java lag, aber es war
    > eigentlich
    > > extrem langsam und instabil zu der Zeit.
    >
    > Ich glaube ich hatte das damals durch Kastration des Crawlers halbwegs in
    > den Griff bekommen.
    > Wenn ich das richtig in Erinnerung habe, konnte man ihm sagen, wie viele
    > Prozesse maximal gestartet werden duerfen und damit hatte ich rumgespielt,
    > bis es ueber laengere Zeitraeume stabil lief.
    >
    > Insgesamt wirkte es, als haette das Ding einen boesen Memoryleak.
    > Ich glaub haette ich damals als Homeserver etwas besseres als einen Atom
    > mit 2gb Ram eingesetzt, waere es insgesamt angenehmer gelaufen.
    >
    > TmoWizards Idee, den Crawler komplett auszuschalten und nur RSS-Feeds
    > zuzufuettern, klingt jedenfalls recht Vernuenftig.

    Ok, also habe ich es mir doch nicht eingebildet. Wobei ich immer noch betonen möchte, dass dies durchaus an der verndeten Java Version bei mir gelegen haben könnte.

    Die Zufütterung rein über RSS Feeds mag gehen, wenn man dies nur für seine eigenen Projekte als interne Suchmachine verwenden möchte, wenn ich jedoch das Netz abbilden möchte, wird es auf diese Art und Weise dann doch eher schwierig. Hier muss man dann ebend doch ein bisschen crawlen. Soweit ich weiß, hat der Yaci sich hier einwandfrei an die robots text gehalten, sodass ich hier auch keine rechtlichen Bedenken sehe für alles gilt der gleiche Disclaimer wie bei Short URL Service: Informier mich und es fliegt raus, insoweit sehe ich hier noch keine echten Probleme.

  9. Re: yacy kann mehr

    Autor: Ach 05.10.16 - 12:03

    >edonky war am anfang auch toll, torrent zwischdendurch auch, und dann kamen die verwerter mit/durch(?) ihren anwälten darauf ... wenn yacy zu groß wird, wird sie auch dieses netwerk interessieren, gerade auch weil die nutzer es garnicht wirklich mitbekommen, dass sie gegebenenfalls fahrlässig geschützten kram verteilen, man potzenziell viel mehr nutzer abmahnen und abkassieren kann ...

    Yacy ist aber doch "nur" eine Suchmaschine. Yacy liefert also nur die Adressen und keine Inhalte. Anders als bei Edonkey, anders als bei den ganzen Torrent Clients und auch anders als beim J-Downloader, wird bei Yacy doch der Systembrowser gestartet sobald man einen Download anstößt. Dabei kann man die eigentliche Suche ja kaum verbieten und auch nicht abmahnen. Außerdem muss man auch mit Yacy erst mal den Content finden nach dem man sucht, und das geht selbst bei fraglichen Quellen mit Google potenziell einfacher von der Hand.

    Der Vorteil liegt, zumindest derzeit, weniger im Finden und eher in der Unabhängigkeit und im Schutz vor Werbetrackern bei der Suche.

    Hab´s mir vor 2 Jahren auch mal installiert, war aber auch etwas enttäuscht. Der Artikel beschreibt das ziemlich gut. Interessant ist es aber trotzdem. Was mich freut ist, dass es ja tatsächlich weiterentwickelt wird. Den Eindruck hat ich damals nämlich nicht. Da werde ich es mir demnächst nochmal anschauen.

  10. Re: yacy kann mehr

    Autor: dS810 05.10.16 - 12:30

    Ich nutze Yacy schon seit mehreren Jahren. Nutze Yacy u.a. auch als Proxy-Server, welcher die Werbung aus dem Traffic filtert. Meinen eigenen Proxy auf dem Handy eingerichtet und siehe da... Eigener AdBlocker.
    Was die Suchergebnisse angeht: Ja, google ist besser. Aber dennoch lässt sich Yacy sehr gut konfigurieren. Das Rausfiltern unpassender Treffer lässt sich einfach per RegEx steuern. Damit meine ich keine "Zensur", sondern wenn irgend welche TimeStamps in den URLs versteckt sind.

  11. Re: yacy kann mehr

    Autor: Ach 05.10.16 - 12:51

    dS810 schrieb:
    --------------------------------------------------------------------------------
    > Ich nutze Yacy schon seit mehreren Jahren. Nutze Yacy u.a. auch als
    > Proxy-Server, welcher die Werbung aus dem Traffic filtert. Meinen eigenen
    > Proxy auf dem Handy eingerichtet und siehe da... Eigener AdBlocker.
    > Was die Suchergebnisse angeht: Ja, google ist besser. Aber dennoch lässt
    > sich Yacy sehr gut konfigurieren.

    Hmm, wenn du dein Handy für deinen Proxy Server eingerichtet hast, filtert der dir dann alle Werbung raus, egal welche Suchmaschine du auf dem Handy benutzt? Und liefert dir dein Handy dann nur noch die Ergebnisse die dein Server bereitstellt? Sry wenn ich so grundlegenden Sachen Frage, aber ich kenne mich mit in der Materie nicht so wirklich aus :].


    > Das Rausfiltern unpassender Treffer lässt
    > sich einfach per RegEx steuern. Damit meine ich keine "Zensur", sondern
    > wenn irgend welche TimeStamps in den URLs versteckt sind.

    Klingt spannend, aber soweit bin ich leider noch nicht. Ich schaue gerade nochmal rein in Yacy, nach 2 Jahren, und denke mich auch gerade nochmal rein. Das wird noch etwas Gehirnschmalz fließen müssen bis der Groschen fällt, also sorry aber trotzdem danke :].



    1 mal bearbeitet, zuletzt am 05.10.16 13:07 durch Ach.

  12. Crawling durch einen Proxy oder Tor?

    Autor: mnementh 05.10.16 - 14:01

    nicoledos schrieb:
    --------------------------------------------------------------------------------
    > yacy ist klasse.
    >
    Mal als Frage: Die im Artikel angesprochene Rechtsproblematik ist schon doof. Kann man da nicht Stress vermeiden, indem man den Crawler anweist durch einen anonymisierenden Proxy wie Tor hindurch das Crawling zu machen? Latenz ist egal wenn es auf dem Server nebenbei läuft, Bandbreite sollte man wahrscheinlich eh begrenzen wenn man das Web durchsucht. Wie sieht es damit aus, ist das technisch möglich?

  13. Re: yacy kann mehr

    Autor: dS810 05.10.16 - 15:10

    Ach schrieb:
    --------------------------------------------------------------------------------
    > dS810 schrieb:
    > ---------------------------------------------------------------------------
    > -----
    > > Ich nutze Yacy schon seit mehreren Jahren. Nutze Yacy u.a. auch als
    > > Proxy-Server, welcher die Werbung aus dem Traffic filtert. Meinen
    > eigenen
    > > Proxy auf dem Handy eingerichtet und siehe da... Eigener AdBlocker.
    > > Was die Suchergebnisse angeht: Ja, google ist besser. Aber dennoch lässt
    > > sich Yacy sehr gut konfigurieren.
    >
    > Hmm, wenn du dein Handy für deinen Proxy Server eingerichtet hast, filtert
    > der dir dann alle Werbung raus, egal welche Suchmaschine du auf dem Handy
    > benutzt? Und liefert dir dein Handy dann nur noch die Ergebnisse die dein
    > Server bereitstellt? Sry wenn ich so grundlegenden Sachen Frage, aber ich
    > kenne mich mit in der Materie nicht so wirklich aus :].
    Alle Anfragen an das INet gehen über mein YACY-Proxy. Dieser filtert anhand von selbst erstellten (können auch von anderen Peers importiert werden) Blacklisten die ungewünschten URLs aus dem Traffic heraus (Bspl.: .*doubleclick.* bzw. ad\..* oder andere Werbebanner).

    > > Das Rausfiltern unpassender Treffer lässt
    > > sich einfach per RegEx steuern. Damit meine ich keine "Zensur", sondern
    > > wenn irgend welche TimeStamps in den URLs versteckt sind.
    >
    > Klingt spannend, aber soweit bin ich leider noch nicht. Ich schaue gerade
    > nochmal rein in Yacy, nach 2 Jahren, und denke mich auch gerade nochmal
    > rein. Das wird noch etwas Gehirnschmalz fließen müssen bis der Groschen
    > fällt, also sorry aber trotzdem danke :].

  14. Re: yacy kann mehr

    Autor: Ach 06.10.16 - 09:44

    >Alle Anfragen an das INet gehen über mein YACY-Proxy. Dieser filtert anhand von selbst erstellten (können auch von anderen Peers importiert werden) Blacklisten die ungewünschten URLs aus dem Traffic heraus (Bspl.: .*doubleclick.* bzw. ad\..* oder andere Werbebanner).

    Fielen Dank für die Info. Ich denke ich hab das in seinen Grundzügen verstanden und es hört sich gut an. Ist natürlich dann so, dass dabei der Proxy Server als eigenes Gerät im Hintergrund laufen muss oder? Auf Youtube findet man ja einiges zu Yacy. Das werde ich mir mal anschauen und dann ebenfalls mal versuchen so einen Proxy einzurichten, direkt auf meinem Arbeitscomputer. Mal schauen ob ich das hinbekomme :].

    Grüße, Ach

  1. Thema

Neues Thema Ansicht wechseln


Um zu kommentieren, loggen Sie sich bitte ein oder registrieren Sie sich. Sie müssen ausserdem in Ihrem Account-Profil unter Forum einen Nutzernamen vergeben haben. Zum Login

Stellenmarkt
  1. ING Deutschland, Frankfurt
  2. Bayerische Versorgungskammer, München
  3. ITZ Informationstechnologie GmbH, Essen
  4. mgm technology partners GmbH, München

Golem pur
  • Golem.de ohne Werbung nutzen

Anzeige
Top-Angebote
  1. (u. a. Microsoft Surface Book 2 Convertible mit 13,5 Zoll Display i5-8350U 256GB SSD für 1.258...
  2. 99,99€ (Vergleichspreis 198€)
  3. (u. a. Zotac Gaming GeForce RTX 3080 Trinity für 1.211,08€, Gigabyte GeForce RTX 3080 Eagle OC...


Haben wir etwas übersehen?

E-Mail an news@golem.de


Beoplay H95 im Test: Toller Klang, aber für 800 Euro zu schwache ANC-Leistung
Beoplay H95 im Test
Toller Klang, aber für 800 Euro zu schwache ANC-Leistung

Der Beoplay H95 ist ein ANC-Kopfhörer mit einem tollen Klang. Aber wer dafür viel Geld ausgibt, muss sich mit einigen Kompromissen abfinden.
Ein Test von Ingo Pakalski


    Golem on Edge: Ein Sekt auf Glasfiber!
    Golem on Edge
    Ein Sekt auf Glasfiber!

    Meine Datsche bekommt bald FTTH, darauf muss angestoßen werden! Das Verständnis für Glasfaser fehlt leider bei Nachbarn wie bei Kollegen.
    Eine Kolumne von Sebastian Grüner

    1. EU-Kommission Glasfaser darf auch in Vectoringgebieten gefördert werden
    2. DNS:NET Cottbus bekommt Glasfaser
    3. Deutsche Telekom Gewerbegebiete bekommen bis zu 100 GBit/s

    Thinkpad T14s (AMD) im Test: Lenovos kleines Schwarzes kann noch immer überzeugen
    Thinkpad T14s (AMD) im Test
    Lenovos kleines Schwarzes kann noch immer überzeugen

    Sechs Kerne und die beste Tastatur: Durch AMDs Renoir gehört das Thinkpad T14s zu Lenovos besten Geräten - trotz verlötetem RAM.
    Ein Test von Oliver Nickel und Marc Sauter

    1. Ubuntu Lenovo baut sein Linux-Angebot massiv aus
    2. Yoga (Slim) 9i Tiger-Lake-Notebooks mit hellem 4K-Display
    3. Smart Clock Essential Smartes Display mit Google Assistant hat ein Nachtlicht