Beautifulsoup div提取物 Download


我想从以下网站的所有页面中提取FIRMA，STADT，BEWORBENFÜRPOSITION，JAHR DER BEWERBUNG，ERGEBNIS信息。这是我使用的代码。它从所有页面中提取所需的数据，但是重复输出并保持运行。有什么办法可以解决此问题？也许还有其他解决方案？

data=[]
with requests.Session() as session:
    session.headers = {
        'x-requested-with': 'XMLHttpRequest'
    }
    page = 1
    while True:
        print(f"Processing page {page}..")
        url = f'https://www.kununu.com/de/volkswagen/bewerbung/{page}'
        response = session.get(url)
        soup = BeautifulSoup(response.text, 'html.parser')
        new_comments = [
            data.get_text()
            for data in soup.find_all('div', {'class':'review-details user-content hidden-xs'})
        ]
        if not new_comments:
            print(f"No more comments. Page: {page}")
            break
        data += new_comments
        print(data)
        print(len(data))
        page += 1
print(data)

1 个答案:

答案 0 :(得分：1)

页面向下滚动到10，但是页面参数为unlimited，Check。

但是我会给你一个hint来停止基于while loop的{​​{1}}，例如，如果Jahr der Bewerbun不在数据中，则可以停止循环。因此您可以根据年份进行解析：）

2019

输出：

import requests
from bs4 import BeautifulSoup


result = []
for page in range(1, 11):
    print(f"Extracting Page# {page}")
    r = requests.get(f"https://www.kununu.com/de/volkswagen/bewerbung/{page}")
    soup = BeautifulSoup(r.text, 'html.parser')

    for item in soup.findAll("div", {'class': 'review-details user-content hidden-xs'}):
        data = [div.get_text(strip=True) for div in item.findAll("div")]
        if data not in result:
            result.append(data)

for what in result:
    print(what)
  

以下是循环版本，请随时根据您的选择更改年份。

['Firma', 'VW Volkswagen AG', 'Stadt', 'Wolfsburg', 'Beworben für Position', 'Trainee', 'Jahr der Bewerbung', '2019', 'Ergebnis', 'Absage']
['Firma', 'Volswagen AG', 'Stadt', 'Wolfsburg', 'Beworben für Position', 'Desing', 'Jahr der Bewerbung', 
'2019', 'Ergebnis', 'für spätere Berücksichtigung vorgemerkt']
['Firma', 'Vw', 'Stadt', 'Wolfsburg', 'Beworben für Position', 'Ausbildungsplatz Fakultät 73', 'Jahr der 
Bewerbung', '2019', 'Ergebnis', 'Zusage']
['Firma', 'VW Volkswagen AG', 'Stadt', 'Wolfsburg', 'Beworben für Position', 'Functional Owner', 'Jahr der Bewerbung', '2019', 'Ergebnis', 'Zusage']
['Firma', 'Volkswagen', 'Stadt', 'Wolfsburg', 'Beworben für Position', 'Personalwesen', 'Jahr der Bewerbung', '2018', 'Ergebnis', 'Absage']
['Firma', 'VW Volkswagen AG', 'Stadt', 'Wolfsburg', 'Beworben für Position', 'IT Project Manager Procurement', 'Jahr der Bewerbung', '2019', 'Ergebnis', 'Zusage']
['Firma', 'Volkswagen', 'Stadt', 'Wolfsburg', 'Beworben für Position', 'Praktikum', 'Jahr der Bewerbung', '2019', 'Ergebnis', 'Zusage']
['Firma', 'VW Volkswagen AG', 'Stadt', 'Wolfsburg', 'Jahr der Bewerbung', '2019', 'Ergebnis', 'Absage']  
['Firma', 'Volkswagen', 'Stadt', 'Wolfsburg', 'Beworben für Position', 'Trainee', 'Jahr der Bewerbung', '2019', 'Ergebnis', 'Absage']
['Firma', 'Volkswagen', 'Stadt', 'Wolfsburg', 'Beworben für Position', 'Projektbetreuer Nutzfahrzeuge Elektronikentwiklung', 'Jahr der Bewerbung', '2019', 'Ergebnis', 'Zusage']
['Firma', 'Volkswagen AG - Werk Kassel', 'Stadt', 'Baunatal', 'Beworben für Position', 'Mechatroniker', 'Jahr der Bewerbung', '2019', 'Ergebnis', 'Zusage']
['Firma', 'VW Volkswagen AG', 'Stadt', 'Wolfsburg', 'Beworben für Position', 'Praktikant im Controlling', 'Jahr der Bewerbung', '2019', 'Ergebnis', 'Zusage']
['Firma', 'VOLKSWAGEN AG', 'Stadt', 'Wolfsburg', 'Beworben für Position', 'Recruiter', 'Jahr der Bewerbung', '2019', 'Ergebnis', 'Zusage']
['Firma', 'VOLKSWAGEN AG', 'Stadt', 'Wolfsburg', 'Jahr der Bewerbung', '2018', 'Ergebnis', 'Zusage']     
['Firma', 'VW', 'Stadt', 'WOB', 'Beworben für Position', 'Einkauf', 'Jahr der Bewerbung', '2019', 'Ergebnis', 'Absage']
['Firma', 'Volkswagen AG', 'Stadt', 'Kassel', 'Jahr der Bewerbung', '2019', 'Ergebnis', 'k.A.']
['Firma', 'VW Volkswagen AG', 'Stadt', 'Wolfsburg', 'Beworben für Position', 'Projektleiter', 'Jahr der Bewerbung', '2019', 'Ergebnis', 'Zusage']
['Firma', 'VOLKSWAGEN AG', 'Stadt', 'Wolfsburg', 'Beworben für Position', 'Berufserfahrener', 'Jahr der Bewerbung', '2019', 'Ergebnis', 'k.A.']
['Firma', 'VW Volkswagen AG', 'Stadt', 'Wolfsburg', 'Jahr der Bewerbung', '2019', 'Ergebnis', 'k.A.']
['Firma', 'VW Volkswagen AG', 'Stadt', 'Wolfsburg', 'Jahr der Bewerbung', '2018', 'Ergebnis', 'selbst anders entschieden']
['Firma', 'Volkswagen', 'Stadt', 'Wolfsburg', 'Beworben für Position', 'Praktikantin UX Design', 'Jahr der Bewerbung', '2019', 'Ergebnis', 'Zusage']
['Firma', 'Volkswagen', 'Stadt', 'Wolfsburg', 'Beworben für Position', 'Legal Counsel', 'Jahr der Bewerbung', '2019', 'Ergebnis', 'Absage']
['Firma', 'Volkswagen', 'Stadt', 'Berlin', 'Beworben für Position', 'Data Scientist', 'Jahr der Bewerbung', '2019', 'Ergebnis', 'Absage']
['Firma', 'Volkswagen', 'Stadt', 'Wolfsburg', 'Jahr der Bewerbung', '2019', 'Ergebnis', 'Absage']        
['Firma', 'VOLKSWAGEN AG', 'Stadt', 'Wolfsburg', 'Beworben für Position', 'Manager', 'Jahr der Bewerbung', '2018', 'Ergebnis', 'selbst anders entschieden']
['Firma', 'Volkswagen', 'Stadt', 'Wolfsburg', 'Beworben für Position', 'Data Analytics', 'Jahr der Bewerbung', '2019', 'Ergebnis', 'Absage']
['Firma', 'Volkswagen', 'Stadt', 'Wolfsburg', 'Beworben für Position', 'Produktionsmanager', 'Jahr der Bewerbung', '2018', 'Ergebnis', 'Zusage']
['Firma', 'Vw', 'Stadt', 'Wolfsburg', 'Beworben für Position', 'Praktikum', 'Jahr der Bewerbung', '2018', 'Ergebnis', 'selbst anders entschieden']
['Firma', 'Volkswagen', 'Stadt', 'Wolfsburg', 'Beworben für Position', 'Promotionstelle', 'Jahr der Bewerbung', '2018', 'Ergebnis', 'Absage']
['Firma', 'VW Volkswagen AG', 'Stadt', 'Wolfsburg', 'Beworben für Position', 'Automechaniker', 'Jahr der 
Bewerbung', '2018', 'Ergebnis', 'selbst anders entschieden']
['Firma', 'Volkswagen', 'Stadt', 'Wolfsburg', 'Beworben für Position', 'Doktorand im Bereich Cyber Security', 'Jahr der Bewerbung', '2017', 'Ergebnis', 'Absage']
['Firma', 'Volkswagen', 'Stadt', 'Wolfsburg', 'Beworben für Position', 'Praktikantin', 'Jahr der Bewerbung', '2018', 'Ergebnis', 'selbst anders entschieden']
['Firma', 'VOLKSWAGEN AG', 'Stadt', 'Wolfsburg', 'Beworben für Position', 'Management / F&E', 'Jahr der Bewerbung', '2018', 'Ergebnis', 'Absage']
['Firma', 'Volkswagen', 'Stadt', 'Hannover', 'Beworben für Position', 'Wirtschaftsingenieur/in technischer Vertrieb', 'Jahr der Bewerbung', '2018', 'Ergebnis', 'Zusage']
['Firma', 'VW Volkswagen AG', 'Stadt', 'hannover', 'Beworben für Position', 'Praktikum im Bereich Marketing', 'Jahr der Bewerbung', '2018', 'Ergebnis', 'selbst anders entschieden']
['Firma', 'VOLKSWAGEN AG', 'Stadt', 'Wolfsburg', 'Beworben für Position', 'Recruiter', 'Jahr der Bewerbung', '2018', 'Ergebnis', 'Zusage']
['Firma', 'VOLKSWAGEN AG', 'Stadt', 'Wolfsburg', 'Beworben für Position', 'Management', 'Jahr der Bewerbung', '2018', 'Ergebnis', 'k.A.']
['Firma', 'VOLKSWAGEN AG', 'Stadt', 'Wolfsburg', 'Beworben für Position', 'Designer/in', 'Jahr der Bewerbung', '2018', 'Ergebnis', 'Absage']
['Firma', 'VOLKSWAGEN AG', 'Stadt', 'Wolfsburg', 'Beworben für Position', 'Management', 'Jahr der Bewerbung', '2018', 'Ergebnis', 'Absage']
['Firma', 'VW Volkswagen AG', 'Stadt', 'Wolfsburg', 'Beworben für Position', 'Praktikum', 'Jahr der Bewerbung', '2018', 'Ergebnis', 'selbst anders entschieden']
['Firma', 'Volkswagen AG', 'Stadt', 'Berlin', 'Beworben für Position', 'Praxissemester', 'Jahr der Bewerbung', '2018', 'Ergebnis', 'Zusage']
['Firma', 'Volkswagen', 'Stadt', 'Kassel', 'Beworben für Position', 'Entwicklungsingenieur', 'Jahr der Bewerbung', '2018', 'Ergebnis', 'Absage']
['Firma', 'Volkswagen AG', 'Stadt', 'Berlin', 'Beworben für Position', 'Legal Counsel', 'Jahr der Bewerbung', '2017', 'Ergebnis', 'Absage']
['Firma', 'VOLKSWAGEN AG', 'Stadt', 'Wolfsburg', 'Beworben für Position', 'Praktikum', 'Jahr der Bewerbung', '2018', 'Ergebnis', 'Absage']
['Firma', 'Volkswagen', 'Stadt', 'Wolfsburg', 'Beworben für Position', 'Masterarbeit', 'Jahr der Bewerbung', '2017', 'Ergebnis', 'Zusage']
['Firma', 'VOLKSWAGEN AG', 'Stadt', 'Wolfsburg', 'Jahr der Bewerbung', '2018', 'Ergebnis', 'Absage']     
['Firma', 'VW Volkswagen AG', 'Stadt', 'Wolfsburg', 'Beworben für Position', 'Entwicklungsingenieur', 'Jahr der Bewerbung', '2017', 'Ergebnis', 'Absage']
['Firma', 'Volkswagen', 'Stadt', 'Wolfsburg', 'Jahr der Bewerbung', '2016', 'Ergebnis', 'Absage']
['Firma', 'VOLKSWAGEN AG', 'Stadt', 'Emden', 'Beworben für Position', 'Duales Studium- Vorstellungsgespräch', 'Jahr der Bewerbung', '2018', 'Ergebnis', 'Absage']
['Firma', 'VOLKSWAGEN AG', 'Stadt', 'Wolfsburg', 'Jahr der Bewerbung', '2017', 'Ergebnis', 'Absage']     
['Firma', 'VOLKSWAGEN AG', 'Stadt', 'Wolfsburg', 'Beworben für Position', 'Abschlussarbeit', 'Jahr der Bewerbung', '2017', 'Ergebnis', 'selbst anders entschieden']
['Firma', 'Volkswagen', 'Stadt', 'Wolfsburg', 'Jahr der Bewerbung', '2017', 'Ergebnis', 'Absage']        
['Firma', 'Volkswagen AG', 'Stadt', 'Wolfsburg und Umgebung', 'Beworben für Position', 'Senior Venture Developer', 'Jahr der Bewerbung', '2017', 'Ergebnis', 'selbst anders entschieden']
['Firma', 'Volkswagen', 'Stadt', 'Wolfsburg', 'Beworben für Position', 'Entwicklungsingenieurin', 'Jahr der Bewerbung', '2017', 'Ergebnis', 'Zusage']
['Firma', 'VOLKSWAGEN AG', 'Stadt', 'Wolfsburg', 'Beworben für Position', 'technischer Sachbearbeiter', 'Jahr der Bewerbung', '2017', 'Ergebnis', 'Zusage']
['Firma', 'VOLKSWAGEN AG', 'Stadt', 'Wolfsburg', 'Beworben für Position', 'Softwareentwickler im SDC', 'Jahr der Bewerbung', '2017', 'Ergebnis', 'Absage']
['Firma', 'VOLKSWAGEN AG', 'Stadt', 'Wolfsburg', 'Beworben für Position', 'Praktikant', 'Jahr der Bewerbung', '2017', 'Ergebnis', 'selbst anders entschieden']
['Firma', 'Volkswagen', 'Stadt', 'Wolfsburg', 'Beworben für Position', 'Dualer Student Elektro- und Informationstechnik', 'Jahr der Bewerbung', '2017', 'Ergebnis', 'Zusage']
['Firma', 'VOLKSWAGEN AG', 'Stadt', 'Norderstedt', 'Beworben für Position', 'Praktikantin  im Marketing', 'Jahr der Bewerbung', '2015', 'Ergebnis', 'Zusage']
['Firma', 'VW Volkswagen AG', 'Stadt', 'hannover', 'Beworben für Position', 'Praktikant', 'Jahr der Bewerbung', '2016', 'Ergebnis', 'Absage']
['Firma', 'Volkswagen AG', 'Stadt', 'Berlin', 'Jahr der Bewerbung', '2016', 'Ergebnis', 'Absage']        
['Firma', 'VW Volkswagen AG', 'Stadt', 'Wolfsburg', 'Jahr der Bewerbung', '2015', 'Ergebnis', 'k.A.']    
['Firma', 'Volkswagen', 'Stadt', 'Wolfsburg', 'Beworben für Position', 'Praktikant', 'Jahr der Bewerbung', '2015', 'Ergebnis', 'Absage']
['Firma', 'Volkswagen AG (Emden)', 'Stadt', 'Emden', 'Beworben für Position', 'Industriemechaniker mit Studium', 'Jahr der Bewerbung', '2016', 'Ergebnis', 'selbst anders entschieden']
['Firma', 'Volkswagen AG', 'Stadt', 'Hannover', 'Beworben für Position', 'Dipl.-Ing.', 'Jahr der Bewerbung', '2014', 'Ergebnis', 'Absage']
['Firma', 'Volkswagen AG', 'Stadt', 'Kassel', 'Beworben für Position', 'Projektmanager', 'Jahr der Bewerbung', '2015', 'Ergebnis', 'Absage']
['Firma', 'Volkswagen AG', 'Stadt', 'Hannover', 'Beworben für Position', 'Industrial Engineer', 'Jahr der Bewerbung', '2015', 'Ergebnis', 'für spätere Berücksichtigung vorgemerkt']
['Firma', 'VOLKSWAGEN AG', 'Stadt', 'Wolfsburg', 'Beworben für Position', 'Software Tools-Entwickler, Testautomatisierung / Systemverifikation - Mobile Connectivity', 'Jahr der Bewerbung', '2015', 'Ergebnis', 'Zusage']
['Firma', 'Volkswagen AG', 'Stadt', 'Baunatal', 'Beworben für Position', 'Werksstudent', 'Jahr der Bewerbung', '2015', 'Ergebnis', 'selbst anders entschieden']
['Firma', 'Volkswagen AG - Werk Kassel', 'Stadt', 'Kassel', 'Beworben für Position', 'Doktorand', 'Jahr der Bewerbung', '2015', 'Ergebnis', 'k.A.']
['Firma', 'Volkswagen', 'Stadt', 'Kassel', 'Beworben für Position', 'Initiativ', 'Jahr der Bewerbung', '2015', 'Ergebnis', 'Absage']
['Firma', 'Volkswagen', 'Stadt', 'Wolfsburg', 'Beworben für Position', 'IT-Umfeld', 'Jahr der Bewerbung', '2012', 'Ergebnis', 'k.A.']
['Firma', 'Volkswagen', 'Stadt', 'Wolfsburg', 'Jahr der Bewerbung', '2013', 'Ergebnis', 'Zusage']        
['Firma', 'Volkswagen AG', 'Stadt', 'Hannover', 'Beworben für Position', 'Direkteinstieg , Controller', 'Jahr der Bewerbung', '2015', 'Ergebnis', 'k.A.']
['Firma', 'Volkswagen', 'Stadt', 'Wolfsburg', 'Beworben für Position', 'Praktikant Human Resources', 'Jahr der Bewerbung', '2014', 'Ergebnis', 'Absage']
['Firma', 'Volkswagen', 'Stadt', 'Wolfsburg', 'Beworben für Position', 'Forschungsingenieur', 'Jahr der Bewerbung', '2014', 'Ergebnis', 'Absage']
['Firma', 'Volkswagen', 'Stadt', 'Kassel', 'Beworben für Position', 'Initiativbewerbung', 'Jahr der Bewerbung', '2014', 'Ergebnis', 'Absage']
['Firma', 'VOLKSWAGEN AG', 'Stadt', 'Wolfsburg', 'Jahr der Bewerbung', '2014', 'Ergebnis', 'k.A.']       
['Firma', 'VOLKSWAGEN AG', 'Stadt', 'Wolfsburg', 'Jahr der Bewerbung', '2014', 'Ergebnis', 'Absage']     
['Firma', 'VOLKSWAGEN AG', 'Stadt', 'Wolfsburg', 'Beworben für Position', 'Entwickler', 'Jahr der Bewerbung', '2014', 'Ergebnis', 'Zusage']
['Firma', 'VOLKSWAGEN AG', 'Stadt', 'Wolfsburg', 'Jahr der Bewerbung', '2012', 'Ergebnis', 'selbst anders entschieden']
['Firma', 'VOLKSWAGEN AG', 'Stadt', 'Wolfsburg', 'Beworben für Position', 'Kundenberater - App-Factory', 
'Jahr der Bewerbung', '2013', 'Ergebnis', 'für spätere Berücksichtigung vorgemerkt']
['Firma', 'VOLKSWAGEN AG', 'Stadt', 'Wolfsburg', 'Beworben für Position', 'Beschaffung', 'Jahr der Bewerbung', '2013', 'Ergebnis', 'Zusage']
['Firma', 'Volkswagen AG', 'Stadt', 'Salzgitter', 'Beworben für Position', 'Personalreferent', 'Jahr der 
Bewerbung', '2012', 'Ergebnis', 'Absage']
['Firma', 'VOLKSWAGEN AG', 'Stadt', 'Wolfsburg', 'Beworben für Position', 'Systemanalytiker', 'Jahr der Bewerbung', '2011', 'Ergebnis', 'k.A.']
['Firma', 'Volkswagen AG', 'Stadt', 'Braunschweig', 'Beworben für Position', 'Projektleiter', 'Jahr der Bewerbung', '2012', 'Ergebnis', 'Absage']
['Firma', 'VOLKSWAGEN AG', 'Stadt', 'Wolfsburg', 'Beworben für Position', 'IT', 'Jahr der Bewerbung', '2012', 'Ergebnis', 'Absage']
['Firma', 'VOLKSWAGEN AG', 'Stadt', 'Wolfsburg', 'Beworben für Position', 'Projektingenieur', 'Jahr der Bewerbung', '2011', 'Ergebnis', 'Zusage']
['Firma', 'VOLKSWAGEN AG', 'Stadt', 'Wolfsburg', 'Beworben für Position', 'Praktikant Marketingkommunikation', 'Jahr der Bewerbung', '2011', 'Ergebnis', 'selbst anders entschieden']
['Firma', 'Volkswagen AG', 'Stadt', 'Hannover', 'Beworben für Position', 'Werkstudent', 'Jahr der Bewerbung', '2015', 'Ergebnis', 'Absage']
['Firma', 'VOLKSWAGEN AG', 'Stadt', 'Wolfsburg', 'Beworben für Position', 'Sachbearbeiter', 'Jahr der Bewerbung', '2014', 'Ergebnis', 'Zusage']
['Firma', 'Volkswagen', 'Stadt', 'Kassel', 'Beworben für Position', 'Vertrieb Original Teile, Customer Care; im OTC', 'Jahr der Bewerbung', '2015', 'Ergebnis', 'selbst anders entschieden']
['Firma', 'Volkswagen AG', 'Stadt', 'Hannover', 'Beworben für Position', 'Trainee', 'Jahr der Bewerbung', '2014', 'Ergebnis', 'Absage']
['Firma', 'Volkswagen AG', 'Stadt', 'Baunatal', 'Beworben für Position', 'Pratikant in Getriebeentwicklung', 'Jahr der Bewerbung', '2010', 'Ergebnis', 'Absage']
['Firma', 'VOLKSWAGEN AG', 'Stadt', 'Wolfsburg', 'Jahr der Bewerbung', '2011', 'Ergebnis', 'Absage']     
['Firma', 'VOLKSWAGEN AG', 'Stadt', 'Wolfsburg', 'Beworben für Position', 'Ingenieur', 'Jahr der Bewerbung', '2012', 'Ergebnis', 'Zusage']
['Firma', 'VOLKSWAGEN AG', 'Stadt', 'Wolfsburg', 'Jahr der Bewerbung', '2011', 'Ergebnis', 'für spätere Berücksichtigung vorgemerkt']
['Firma', 'VOLKSWAGEN AG', 'Stadt', 'Wolfsburg', 'Jahr der Bewerbung', '2011', 'Ergebnis', 'Zusage']     
['Firma', 'VOLKSWAGEN AG', 'Stadt', 'Wolfsburg', 'Ergebnis', 'k.A.']



Similar searches