Του καθηγητή Νικ Μπρόστρομ (Nick Bostrom)
Με την χρήση υπερτεχνολογίας, ένας πολύ τεράστιος πληθυσμός ανθρώπων θα μπορούσε να ευημερήσει στις εύκολα προσβάσιμες περιοχές του κοντινού μας σύμπαντος. Για κάθε χρόνο που καθυστερεί η ανάπτυξη τέτοιων τεχνολογιών και ως εκ τούτου ο αποικισμός του σύμπαντος, υπάρχει ένα κόστος ευκαιρίας: ένα δυνητικό αγαθό -μοναδικές ανθρώπινες ζωές- δεν υλοποιείται. Λαμβάνοντας υπόψη ορισμένες εύλογες υποθέσεις, αυτό το κόστος είναι εξαιρετικά μεγάλο. Ωστόσο, το μάθημα για τους ωφελιμιστές δεν είναι ότι πρέπει να μεγιστοποιήσουμε τον ρυθμό της τεχνολογικής ανάπτυξης, αλλά μάλλον ότι πρέπει να μεγιστοποιήσουμε την ασφάλειά της, και τελικώς την πιθανότητα να συμβεί τελικά ο αποικισμός του σύμπαντος.
Ο ρυθμός της απώλειας των εν δυνάμει ζωών
Καθώς γράφω αυτές τις λέξεις, οι ήλιοι του Σύμπαντος μας φωτίζουν και θερμαίνουν αχανείς κενούς χώρους, ασύλληπτα μεγέθη αχρησιμοποίητης ενέργειας απορροφούνται από μαύρες τρύπες και το μεγάλο κοινό μας κληροδότημα της νεγεντροπίας υποβαθμίζεται αμετάκλητα σε εντροπία σε κοσμική κλίμακα. Αυτοί είναι πόροι που ένας προηγμένος πολιτισμός θα μπορούσε να είχε χρησιμοποιήσει για να δημιουργήσει αξιακές δομές, όπως αποικίες έλλογων όντων που ζουν αξιόλογες ζωές.
Το ποσοστό αυτής της απώλειας πραγματικά ζαλίζει το μυαλό. Ένα πρόσφατο έγγραφο εικάζει -χρησιμοποιώντας χαλαρές θεωρητικές εκτιμήσεις που βασίζονται στον ρυθμό αύξησης της εντροπίας- ότι η απώλεια πιθανών ανθρώπινων ζωών στο δικό μας γαλαξιακό υπερσμήνος είναι τουλάχιστον ~10^46 ανά αιώνα καθυστέρησης του αποικισμού.[1]
Αυτή η εκτίμηση προϋποθέτει ότι όλη η χαμένη εντροπία θα μπορούσε να είχε χρησιμοποιηθεί για παραγωγικούς σκοπούς, αν και κανένας επί του παρόντος γνωστός τεχνολογικός μηχανισμός δεν είναι έστω και εξ αποστάσεως ικανός να το κάνει αυτό. Δεδομένου ότι η εκτίμηση προορίζεται να είναι ένα κατώτερο όριο, αυτή η ριζικά μη συντηρητική υπόθεση είναι ανεπιθύμητη.
Μπορούμε, ωστόσο, να πάρουμε ένα κατώτερο όριο πιο ξεκάθαρα μετρώντας απλώς τον αριθμό ή τα αστέρια στο γαλαξιακό μας υπερσμήνος και πολλαπλασιάζοντας αυτόν τον αριθμό με την ποσότητα υπολογιστικής ισχύος που θα μπορούσαν να χρησιμοποιηθούν για να δημιουργήσουν οι πόροι κάθε αστεριού χρησιμοποιώντας τεχνολογίες για τη σκοπιμότητα των οποίων υπάρχει ισχυρή έχει ήδη γίνει υπόθεση. Στη συνέχεια, μπορούμε να διαιρέσουμε αυτό το σύνολο με την εκτιμώμενη ποσότητα υπολογιστικής ισχύος που απαιτείται για την προσομοίωση μιας ανθρώπινης ζωής.
Σαν χονδρική προσέγγιση, ας πούμε ότι το υπερσμήνος της Παρθένου περιέχει 10^13 αστέρια. Μια εκτίμηση της υπολογιστικής ισχύος που μπορεί να εξαχθεί από ένα αστέρι και με μια σχετική υπολογιστική δομή μεγέθους πλανήτη, χρησιμοποιώντας προηγμένη μοριακή νανοτεχνολογία[2], είναι 10^42 πράξεις ανά δευτερόλεπτο.[3]
Μια τυπική εκτίμηση της ικανότητας επεξεργασίας του ανθρώπινου εγκεφάλου είναι περίπου 10^17 λειτουργίες ανά δευτερόλεπτο ή λιγότερο.[4] Δεν φαίνεται να χρειάζονται πολλά περισσότερα για την προσομοίωση των σχετικών τμημάτων του περιβάλλοντος με επαρκή λεπτομέρεια ώστε να μπορούν τα προσομοιωμένα μυαλά να έχουν εμπειρίες που δεν διακρίνονται από τις τυπικές τρέχουσες ανθρώπινες εμπειρίες.[5] Δεδομένων αυτών των εκτιμήσεων, προκύπτει ότι η πιθανότητα για περίπου 10^38 ανθρώπινες ζωές χάνεται κάθε αιώνα που καθυστερεί ο αποικισμός του τοπικού μας υπερσμήνους ή ισοδύναμα, περίπου 10^29 πιθανές ανθρώπινες ζωές ανά δευτερόλεπτο.
Αν και αυτή η εκτίμηση είναι συντηρητική καθώς προϋποθέτει μόνο υπολογιστικούς μηχανισμούς των οποίων η εφαρμογή έχει τουλάχιστον περιγραφεί στη βιβλιογραφία, είναι χρήσιμο να έχουμε μια ακόμη πιο συντηρητική εκτίμηση που δεν προϋποθέτει μια μη βιολογική παρουσίαση των πιθανών προσώπων.
Ας υποθέσουμε ότι περίπου 10^10 βιολογικοί -όπως τους αντιλαμβανόμαστε- άνθρωποι θα μπορούσαν να συντηρηθούν γύρω από ένα μέσο αστέρι. Τότε το υπερσμήνος της Παρθένου θα μπορούσε να περιέχει 10^23 βιολογικούς ανθρώπους. Αυτό αντιστοιχεί σε απώλεια δυναμικού ίση με περίπου 10^14 πιθανές ανθρώπινες ζωές ανά δευτερόλεπτο καθυστερημένου αποικισμού.
Αυτό που έχει σημασία για το παρόν δεν είναι οι ακριβείς αριθμοί αλλά το γεγονός ότι είναι τεράστιοι. Ακόμη και με την πιο συντηρητική εκτίμηση, η δυνατότητα για εκατό τρισεκατομμύρια γεννήσεις νέων ανθρώπων στο μέλλον χάνεται για κάθε δευτερόλεπτο αναβολής στο παρόν του αποικισμού του υπερσμήνους μας.[6]
Το κόστος ευκαιρίας της καθυστέρησης του αποικισμού
Από ωφελιμιστική άποψη, αυτή η τεράστια απώλεια πιθανών ανθρώπινων ζωών συνιστά μια αντίστοιχα τεράστια απώλεια δυνητικής αξίας. Υποθέτω εδώ ότι οι ανθρώπινες ζωές που θα μπορούσαν να είχαν δημιουργηθεί θα ήταν αξιόλογες ζωές που “θα άξιζαν τον κόπο”.
Δεδομένου ότι συνήθως υποτίθεται ότι ακόμη και οι τρέχουσες ανθρώπινες ζωές αξίζουν, αυτή είναι μια αδύναμη υπόθεση. Οποιοσδήποτε πολιτισμός προηγμένος αρκετά ώστε να αποικίσει το τοπικό του υπερσμήνος θα έχει επίσης τη δυνατότητα να δημιουργήσει -τουλάχιστον- τις ελάχιστα ευνοϊκές συνθήκες που απαιτούνται ώστε οι μελλοντικές ζωές να αξίζει να ζουν.
Η επίδραση στη συνολική αξία, λοιπόν, φαίνεται μεγαλύτερη για ενέργειες που επιταχύνουν την τεχνολογική ανάπτυξη από ό,τι για οποιαδήποτε άλλη πιθανή ενέργεια. Η πρόοδος της τεχνολογίας (ή οι ευνοϊκοί της παράγοντες, όπως η οικονομική παραγωγικότητα) ακόμη και σε τόσο μικροσκοπικό βαθμό που οδηγεί σε αποικισμό του τοπικού υπερσμήνους μόλις ένα δευτερόλεπτο νωρίτερα από ό,τι θα συνέβαινε διαφορετικά, ισοδυναμεί με περισσότερες από 10^29 ανθρώπινες ζωές (ή 10^14 ανθρώπινες ζωές αν χρησιμοποιήσουμε το πιο συντηρητικό κάτω όριο) που διαφορετικά δεν θα υπήρχαν. Λίγες άλλες φιλανθρωπικές αιτίες θα μπορούσαν να ελπίζουν να ταιριάζουν με αυτό το επίπεδο ωφελιμιστικής ανταμοιβής.
Οι ωφελιμιστές δεν είναι οι μόνοι που πρέπει να αντιταχθούν σθεναρά στην αστρονομική σπατάλη. Υπάρχουν πολλές απόψεις σχετικά με το τι έχει αξία που θα συμφωνούσαν με την εκτίμηση ότι ο τρέχων ρυθμός σπατάλης συνιστά τεράστια απώλεια δυνητικής αξίας.
Για παράδειγμα, μπορούμε να πάρουμε μια πιο χοντροκομμένη αντίληψη για την ανθρώπινη ευημερία από ό,τι συνήθως εννοείται από τους ωφελιμιστές (είτε είναι ηδονιστικής, βιωματικής απόκλισης ή επικεντρωμένοι στην ικανοποίηση επιθυμιών), όπως μια αντίληψη που εντοπίζει αξία και στην ανθρώπινη άνθηση, στις ουσιαστικές σχέσεις, στον ευγενή χαρακτήρα, στην ατομική έκφραση, στην αισθητική εκτίμηση και ούτω καθεξής. Εφόσον η συνάρτηση αξιολόγησης είναι αθροιστική (δεν μετράει λιγότερο την ευημερία ενός ατόμου μόνο και μόνο επειδή υπάρχουν πολλά άλλα άτομα που απολαμβάνουν επίσης ευτυχισμένη ζωή) και δεν σχετίζεται με μια συγκεκριμένη χρονική στιγμή (χωρίς έκπτωση χρόνου), το συμπέρασμα θα συνεχίσει να ισχύει.
Αυτές οι συνθήκες μπορούν να χαλαρώσουν περαιτέρω. Ακόμα κι αν η συνάρτηση ευημερίας δεν είναι απόλυτα αθροιστική (ίσως επειδή ένα συστατικό του αγαθού είναι η ποικιλομορφία, ο οριακός ρυθμός παραγωγής της οποίας μπορεί να μειωθεί με την αύξηση του πληθυσμού), μπορεί να αποφέρει παρόμοιο συμπέρασμα με την προϋπόθεση ότι τουλάχιστον κάποιο σημαντικό συστατικό του αγαθού είναι επαρκώς αθροιστικό. Ομοίως, κάποιου βαθμού χρονικής έκπτωσης μελλοντικών αγαθών θα μπορούσε να προσμετρηθεί χωρίς να αλλάξει το συμπέρασμα.[7]
Ο κύριος στόχος των ωφελιμιστών πρέπει να είναι η μείωση του υπαρξιακού κινδύνου
Υπό το πρίσμα της παραπάνω συζήτησης, μπορεί να διαφανεί πως ένας ωφελιμιστής θα έπρεπε να επικεντρώσει τις προσπάθειές του στην επιτάχυνση της τεχνολογικής ανάπτυξης. Η ανταμοιβή έστω και από μια πολύ μικρή επιτυχία σε αυτό το εγχείρημα είναι τόσο τεράστια που ξεπερνά εκείνη σχεδόν κάθε άλλης δραστηριότητας. Θα έλεγε κανείς πως φαίνεται ότι έχουμε ένα χρηστικό επιχείρημα για τη μεγαλύτερη δυνατή επείγουσα ανάγκη ανάπτυξης της τεχνολογικής.
Ωστόσο, το αληθινό μάθημα είναι διαφορετικό. Εάν αυτό που μας απασχολεί είναι η μεγιστοποίηση του αναμενόμενου αριθμού αξιόλογων ζωών που θα δημιουργήσουμε, τότε εκτός από το κόστος ευκαιρίας του καθυστερημένης αποικισμού, πρέπει να λάβουμε υπόψη και τον κίνδυνο αποτυχίας αποικισμού.
Μπορεί να πέσουμε θύματα ενός υπαρξιακού κινδύνου, όπου ένα δυσμενές αποτέλεσμα είτε θα εξόντωσε την ευφυή ζωή που προέρχεται από τη Γη είτε θα περιόριζε μόνιμα και δραστικά τις δυνατότητές της.[8]
Επειδή η διάρκεια ζωής των γαλαξιών μετριέται σε δισεκατομμύρια χρόνια, ενώ η χρονική κλίμακα οποιωνδήποτε καθυστερήσεων που θα μπορούσαμε να επηρεάσουμε ρεαλιστικά θα μετρηθεί μάλλον σε χρόνια ή δεκαετίες, η συνεκτίμηση του κινδύνου υπερισχύει της συνεκτίμησης του κόστους ευκαιρίας. Για παράδειγμα, μια ενιαία ποσοστιαία μονάδα μείωσης των υπαρξιακών κινδύνων θα άξιζε μια καθυστέρηση άνω των 10 εκατομμυρίων ετών.
Επομένως, εάν οι ενέργειές μας έχουν έστω και την παραμικρή επίδραση στην πιθανότητα τελικού αποικισμού, αυτό θα αντισταθμίσει την επίδρασή τους στο πότε θα πραγματοποιηθεί ο αποικισμός. Συνεπώς η νούμερο ένα προτεραιότητα, (αλλά και νούμερο δύο, τρία και τέσσερα) θα πρέπει να είναι η μείωση του υπαρξιακού κινδύνου.
Οι επιπτώσεις
Το παραπάνω επιχείρημα προϋποθέτει ότι το μέλημά μας είναι να μεγιστοποιήσουμε το συνολικό ποσό της ευημερίας. Όμως ας υποθέσουμε αντ ‘αυτού ότι υιοθετούμε μια εκδοχή του ωφελιμισμού σύμφωνα με την οποία οι υποχρεώσεις μας είναι πρωτίστως προς τα υπάρχοντα άτομα και προς εκείνα τα πρόσωπα που μελλοντικά θα υπάρξουν.[9] Σύμφωνα με μια τέτοια άποψη, η ανθρώπινη εξαφάνιση θα ήταν κακή μόνο επειδή κάνει χειρότερες τις παρούσες και τις προηγούμενες ανθρώπινες ζωές και όχι επειδή συνιστά απώλεια πιθανών αξιόλογων μελλοντικών ζωών. Τι πρέπει να κάνει κάποιος που ασπάζεται αυτό το δόγμα; Πρέπει να δώσει έμφαση στην ταχύτητα ή την ασφάλεια ή σε κάτι άλλο;
Για να απαντήσουμε σε αυτό, πρέπει να εξετάσουμε ορισμένα περαιτέρω θέματα. Ας υποθέσουμε ότι κάποιος πιστεύει ότι η πιθανότητα κάθε υπάρχον άτομο να επιβιώσει αρκετά ώστε να χρησιμοποιήσει ένα σημαντικό μέρος των προσβάσιμων αστρονομικών πόρων, οι οποίοι -όπως περιγράφηκε στην αρχική ενότητα αυτού του άρθρου- σταδιακά θα χαθούν, είναι αμελητέα.
Τότε ο λόγος που κάποιος οφείλει να εργασθεί για την ελαχιστοποίηση του υπαρξιακού κινδύνου είναι ότι η ξαφνική εξαφάνιση του ανθρωπίνου είδους θα απέκοπτε κατά μέσο όρο, ας πούμε, 40 χρόνια από κάθε μία από τις σημερινές (έξι δισεκατομμύρια περίπου) ανθρώπινες ζωές.[10]
Αν και αυτό θα ήταν σίγουρα μια μεγάλη καταστροφή, ισοδυναμεί με άλλες ανθρώπινες τραγωδίες, όπως η παγκόσμια φτώχεια, η πείνα και οι ασθένειες. Με αυτή την υπόθεση, λοιπόν, ένας ωφελιμιστής που επηρεάζει το άτομο θα πρέπει να θεωρεί τη μείωση του υπαρξιακού κινδύνου ως πολύ σημαντική αλλά όχι εντελώς κυρίαρχη ανησυχία. Σε αυτή την περίπτωση δεν θα υπήρχε εύκολη απάντηση στο τι θα έπρεπε να κάνει. Το πού θα έπρεπε να επικεντρώσει τις προσπάθειές του θα εξαρτιόταν από λεπτομερείς υπολογισμούς σχετικά με τον τομέα της φιλανθρωπικής δραστηριότητας στον οποίο θα τύχαινε να είναι ο καταλληλότερος για να συνεισφέρει.
Αναμφισβήτητα, ωστόσο, θα έπρεπε να αποδώσουμε μια μη αμελητέα πιθανότητα σε κάποιους σημερινούς ανθρώπους να επιβιώσουν αρκετά για να καρπωθούν τα οφέλη μιας κοσμικής διασποράς.
Η αποκαλούμενη τεχνολογική «μοναδικότητα» (singularity) μπορεί να συμβεί στη διάρκεια του φυσικού μας βίου[11], ή θα μπορούσε να υπάρξει μια σημαντική ανακάλυψη στην παράταση της ζωής, που θα προέκυψε, ίσως, ως αποτέλεσμα της νανοτεχνολογίας στη φάση της μηχανής που θα μας έδινε άνευ προηγουμένου έλεγχο των βιοχημικών διεργασιών στο σώμα μας που θα μας επιτρέπουν να σταματήσουμε και να αντιστρέψουμε τη διαδικασία γήρανσης.[12]
Πολλοί κορυφαίοι τεχνολόγοι και μελλοντολόγοι διανοητές δίνουν μια αρκετά μεγάλη πιθανότητα να συμβούν αυτές οι εξελίξεις μέσα στις επόμενες δεκαετίες.[13] Ακόμα κι αν δεν είστε δύσπιστοι σχετικά με τις προβλέψεις τους, θα πρέπει να λάβετε υπόψη το κακό ιστορικό που είχαν στο παρελθόν παρόμοιες τεχνολογικές προβλέψεις. Δεδομένης της τεκμηριωμένης αναξιοπιστίας πολλών τέτοιων προβλέψεων, φαίνεται αδικαιολόγητο να είναι κανείς τόσο σίγουρος για την πρόβλεψή του ότι οι απαραίτητες ανακαλύψεις δεν θα συμβούν στην εποχή μας ώστε να δοθεί η υπόθεση ότι θα έχουν πιθανότητα μικρότερη από, ας πούμε, 1%.
Η αναμενόμενη χρησιμότητα μιας πιθανότητας 1% να λάβει χώρα ένα αστρονομικά μεγάλο αγαθό θα μπορούσε να είναι ακόμα αστρονομική. Αλλά πόσο καλό θα ήταν για (κάποιο σημαντικό υποσύνολο) ανθρώπων που ζουν σήμερα να έχουν πρόσβαση σε αστρονομικές ποσότητες πόρων;
Η απάντηση δεν είναι προφανής. Από τη μία πλευρά, θα μπορούσε κανείς να σκεφτεί ότι στον σημερινό κόσμο, η οριακή χρησιμότητα των υλικών πόρων για ένα άτομο μειώνεται αρκετά γρήγορα μόλις ικανοποιηθούν οι βασικές του ανάγκες. Για παράδειγμα, το επίπεδο ευημερίας του Μπιλ Γκέιτς δεν φαίνεται να ξεπερνά δραματικά αυτό πολλών ανθρώπων με πολύ πιο μέτρια μέσα.
Από την άλλη πλευρά, οι προηγμένες τεχνολογίες των ειδών που πιθανότατα θα αναπτυχθούν μέχρι να αποικίσουμε το τοπικό υπερσμήνος μπορεί κάλλιστα να παρέχουν νέους τρόπους μετατροπής των πόρων σε ευημερία. Συγκεκριμένα, οι υλικοί πόροι θα μπορούσαν να χρησιμοποιηθούν για να επεκτείνουμε πολύ παραπάνω τις νοητικές μας ικανότητες και να παρατείνουμε επ’ αόριστον την υποκειμενική μας διάρκεια ζωής. Και δεν είναι καθόλου σαφές ότι η οριακή χρησιμότητα της εκτεταμένης διάρκειας της υγείας και των αυξημένων νοητικών δυνάμεων πρέπει να μειώνεται απότομα πάνω από κάποιο επίπεδο.
- Διαγραφή Σαμαρά
- Θρίαμβος Τραμπ
- Οχι, δεν είναι ο Δένδιας υπεύθυνος για την μείωση κυριαρχίας στο Αιγαίο – Είναι όλοι τους
Εάν δεν υπάρχει τέτοια μείωση στην οριακή χρησιμότητα, πρέπει να συμπεράνουμε ότι η αναμενόμενη χρησιμότητα για τα σημερινά άτομα επιτυχούς αποικισμού του υπερσμήνους μας είναι αστρονομικά μεγάλη, και αυτό το συμπέρασμα ισχύει ακόμη κι αν κάποιος δώσει μια αρκετά μικρή πιθανότητα σε αυτό το αποτέλεσμα.
Μπορεί να είναι μακρινό, αλλά για έναν αναμενόμενο μεγιστοποιητή χρησιμότητας, το όφελος του να ζεις για ίσως δισεκατομμύρια χρόνια με πολύ διευρυμένες χωρητικότητες κάτω από φανταστικά ευνοϊκές συνθήκες θα μπορούσε να αντισταθμίσει περισσότερο τα απομακρυσμένα ποσοστά επιτυχίας.
Τώρα, εάν γίνουν αυτές οι υποθέσεις, τι ακολουθεί σχετικά με το πώς πρέπει να ενεργεί ένας ωφελιμιστής που έχει την δυνατότητα να επηρεάζει τιε εξελίξεις; Σαφώς, η αποφυγή υπαρξιακών καταστροφών είναι σημαντική, όχι μόνο επειδή θα περικόψει τη φυσική διάρκεια ζωής περίπου έξι δισεκατομμυρίων ανθρώπων, αλλά επίσης –και λαμβάνοντας υπόψη τις υποθέσεις αυτό είναι ακόμη πιο σημαντικό– γιατί θα εκμηδενίσει τις πιθανότητες που έχουν οι σημερινοί άνθρωποι να θερίσουν τα τεράστια οφέλη του τελικού αποικισμού.
Ωστόσο, σε αντίθεση με τον ολοκληρωτικά ωφελιμιστή, ο ωφελιμιστής με επιρροή θα έπρεπε να εξισορροπήσει αυτόν τον στόχο με ένα άλλο εξίσου σημαντικό πόθο, δηλαδή αυτό της μεγιστοποίησης των πιθανοτήτων επιβίωσης των σημερινών ανθρώπων για να επωφεληθούν από τον αποικισμό. Για τον ωφελιμιστή που επηρεάζει την ανθρωπότητα, δεν αρκεί να επιβιώσει η ανθρωπότητα για να αποικίσει. Είναι σημαντικό να σωθούν οι ήδη υπάρχοντες άνθρωποι.
Αυτό θα τον οδηγήσει να δώσει έμφαση στην ταχύτητα της τεχνολογικής ανάπτυξης, καθώς η ταχεία άφιξη προηγμένης τεχνολογίας θα χρειαζόταν σίγουρα για να βοηθήσει τους σημερινούς ανθρώπους να παραμείνουν ζωντανοί έως ότου συγκομιστούν οι καρποί του αποικισμού.
Εάν ο στόχος της ταχύτητας έρχεται σε σύγκρουση με τον στόχο της παγκόσμιας ασφάλειας, ο συνολικός ωφελιμιστής θα πρέπει πάντα να επιλέγει τη μεγιστοποίηση της ασφάλειας, αλλά ο ωφελιμιστής που επηρεάζει τους ανθρώπους θα πρέπει να εξισορροπήσει τον κίνδυνο να πεθάνουν άτομα από γεράματα σε μεγάλη ηλικία με τον κίνδυνο να υποκύψουν σε μια καταστροφή που θα αφανίσει το ανθρώπινο είδος.[14]
ΠΗΓΗ
[1] M. Cirkovic, ‘Cosmological Forecast and its Practical Significance’, Journal of Evolution and Technology, xii (2002).
[2]K. E. Drexler, Nanosystems: Molecular Machinery, Manufacturing, and Computation, New York, John Wiley & Sons, Inc., 1992.
[3]R. J. Bradbury, ‘Matrioshka Brains’, Manuscript, 2002,
[4] N. Bostrom, ‘How Long Before Superintelligence?’, International Journal of Futures Studies ii (1998); R. Kurzweil, The Age of Spiritual Machines: When Computers Exceed Human Intelligence, New York, Viking, 1999. The lower estimate is in H. Moravec, Robot: Mere Machine to Transcendent Mind, Oxford, 1999.
[5]N. Bostrom, ‘Are You Living in a Simulation?’, Philosophical Quarterly, liii (211). See also http://www.simulation-argument.com.
[6]The Virgo Supercluster contains only a small part of the colonizable resources in the universe, but it is sufficiently big to make the point. The bigger the region we consider, the less certain we can be that significant parts of it will not have been colonized by a civilization of non-terrestrial origin by the time we could get there.
[7]Utilitarians commonly regard time-discounting as inappropriate in evaluating moral goods (see e.g. R. B. Brandt, Morality, Utilitarianism, and Rights, Cambridge, 1992, pp. 23f.). However, it is not clear that utilitarians can avoid compromising on this principle in view of the possibility that our actions could conceivably have consequences for an infinite number of persons (a possibility that we set aside for the purposes of this paper).
[8]N. Bostrom, ‘Existential Risks: Analyzing Human Extinction Scenarios and Related Hazards’, Journal of Evolution and Technology, ix (2002), http://www.jetpress.org/volume9/risks.html.
[9]This formulation of the position is not necessarily the best possible one, but it is simple and will serve for the purposes of this paper.
[10]Or whatever the population is likely to be at the time when doomsday would occur.
[11]See e.g. V. Vinge, ‘The Coming Technological Singularity’, Whole Earth Review, Winter issue (1993).
[12]R. A. Freitas Jr., Nanomedicine, Vol. 1, Georgetown, Landes Bioscience, 1999.
[13]E.g. Moravec, Kurzweil, and Vinge op. cit.; E. Drexler, Engines of Creation, New York, Anchor Books, 1986.
[14]I’m grateful for the financial support of a British Academy Postdoctoral Award.
