فاستجاب لهم وكلف بذلك ولده أحد قادة حامية أسوان فقاد المصريين وجنودًا آخرين وهدموا المعبد، وأقاموا على جزء من أنقاضه مدخلًا إلى ناحية معبد خنوم المصري، وفي سبيل إقامة هذا المدخل استغلوا جزءًا يحد مخزنًا ملكيًّا مجاورًا له وأقاموا سورًا في وسط الحصن وعطلوا "حين بنائه" بئرًا كانت تمد المعسكر اليهودي بالماء، وهكذا ألقى اليهود جانبًا كبيرًا من مسئولية ما حدث على الحاكم الفارسي المحلي وولده، مما يعني أن مسلكهم لم يرض بعض الفرس أيضًا، وإن ادعوا في رسائلهم أن هذا الحاكم فعل ما فعله مقابل رشوة كبيرة، وهو ادعاء يصعب أن يعرض الرجدل به سمعته وسمعة ولده للمساءلة أمام ملكه نصير اليهود.
وعلى أية حال ففي ثلاث رسائل للوالي الفارسي الكبير أرشام وهو بالخارج ما يشير إلى "وقت ثورة مصر"، مما يعني قيام ثورة في غيابه، وأن إجراء أهل أسوان ضد المعبد اليهودي كان صدى لثورة عامة ضد المحتلين وأعوانهم أو على الأقل قد صادفها وانتفع بآثارها. وقد يزكي هذا الاستنتاج بردية ذكرت أسماء خمسة من كبار اليهود وأكثر من ست نساء عوقبوا وربما اعتقلوا في البوابة في مدينة طيبة، وروت أنه جرى استرداد المقتنيات التي كانت قد سلبت من بعض المساكن، وفرضت عقوبة مالية. وربما دل هذا على سبق اعتداءات يهودية ثم تعرض المعتدين للعقوبة والتغريم في مدينة طيبة على أيدي قضاة وطنيين في فترة من فترات ازدهار الشعور الوطني ضد المحتلين وأعوانهم.
وتسامح المصريون بعض الشيء، فتركوا اليهود حيث هم، وربما لم يعترضوا على بناء معبدهم في موضع آخر خارج حصن إلفنتيني. فلم يقنع اليهود بهذا التسامح وأبوا إلا أن يعاد بناء المعبد في نفس موضعه بحجة أن الملوك المصريين السابقين لم يعترضوا عليه وعندما احتل الفرس مصر أبقوا عليه وحينما اعتدوا على معباد كل آلهة مصر لم ينالوه بسوء. ولاستثارة العطف عليهم ادعى اليهود أنهم حرموا على أنفسهم شرب الخمر والتمضخ بالزيوت ومضاجعة النساء حتى يعاد بناء معبدهم. وتوالت رسائل رؤسائهم إلى كل من أملوا في مساعدته لهم، فكتبوا إلى باجوهي الوالي الفارسي على يهوذا "وثمة احتمال بيهوديته على الرغم من اسمه الفارسي" وإلى يوهانان حاخام أورشليم وزملائه الكهنة وإلى كبرائها، ولكن لم يستجب لعويلهم أحد.
وعاودوا الشكاية والاستعطاف في رسائلهم بعد ثلاث سنوات، إلى باجوهي مرة أخرى وإلى داليا وشليمنا ولدى سنبلاط حاكم السامرة عساهما أن يقنعا أباهما بمعاوتهم. وكان من تزلفهم في افتتاحية إحدى رسائلهم إلى باجوهي في عام ٤٠٧ق. م ما يقول "أعز رب السماء مولانا كثيرًا وعلى امتداد العمر، وحباه الحظوة لدى جلالة الملك دارا ونبلاء الفرس أكثر مما هو عليه الآن ألف مرة ... "، إلخ. ثم وعدوه إن استجاب لهم وكتب إلى أصدقائه في مصر لإعادة بناء المعبد وإعادة القرابين والبخور والمحروقات "على نفقة الدولة؟ " أن يقدموا كل هذا باسمه ويصلوا من أجله هم ونساؤهم وأطفالهم وكل اليهود الموجودين معهم. ولعلهم أرفقوا برسالتهم هدايا ملائمة مما جعل باجوهي وداليا يعدان رسولهم شفاهة وليس كتابة بالسعي لتحقيق أملهم دون الالتزام بتقديم الأضاحي المحروقة التي كان يجب أن يقتصر تقديمها على معبد أورشليم وحده. والتزم يهود إلفنتيني بهذا الأمر فكتبوا إلى أحد أصحاب النفوذ في مصر ولعله أرشام والي مصر الفارسي يعدونه إن هو سمح بإعادة بناء المعبد حيث كان بأنهم لن يقدموا أغنامًا أو ثيرانًا أو ماعز كأضاحي محروقة وسوف يكتفون بالبخور وقرابين الطعام والشراب، وأنهم سوف يقدمون إلى بيت مولاهم في مقابل